Te restan los ingresos que tengas, no es solo lo que aparezca en el IRPF porque hay cosas que se descuentan, pero no aparecen en el IRPF de cada uno, como por ejemplo las pensiones de alimentos recibidas.
Si has percibido desempleo, prestaciones o trabajado por cuenta ajena, hablaríamos de la casilla 0018 del IRPF, pero ya te digo que hay más cosas y en tu caso parece que también han considerado los ingresos de la otra persona empadronada para descontároslo del IMV.
Al desestimarte la reclamación previa, pues te toca acudir a la vía judicial como indicas, y ahí es lo que tu abogado te diga y recomiende, claro.