Hola:
Antes de otra cosa, debes saber que las consultas verbales y teléfonicas se las lleva el viento. Te vendría bien buscar una consulta vinculante (mejor que una no vinculante) de algún caso parecido al tuyo. La postura de la AEAT en las consultas vinculantes se considera jurisprudencia. Por tanto, si encuentras un caso similar y te interesa cómo se interpretó, puedes hacerla valer.
En lo concerniente al caso, yo he revisado muchas consultas vinculantes y creo poder afirmar que se trata de uno de los supuestos que más consultas genera y más conflictos de interpretación suscita, sobre todo porque parece existir cierta discrecionalidad por parte de la AEAT. POr eso insisto en que busques las consultas que te puedan interesar.
Creo que el caso que tú expones se justifica solo. Sin embargo, no sé cómo lo podrán interpretar, y más si existe ánimo confiscatorio.
Intenta recopilar todos los datos y documentos que puedas: empadronamientos, informes médicos, y todo lo que pueda apoyar tus argumentos.
De no estimarse tus alegaciones, segruramente te aplicarán recargo y sanción, porque la diferencia está en que ellos 'te han pillado' y no fuiste tú quien regularizó la sitaución.
Espero que tengas suerte.