Residencia fiscal en Andorra con ahorros en España

Un residente fiscal en Andorra no paga impuestos por "income" ni "capital gains", sea donde sea que se generen. Mi duda es si alguien podría conseguir la residencia fiscal en Andorra y dejar sus ahorros en España (cuentas bancarias, acciones, propiedad inmobiliarias...), para que vayan creciendo sin pagar impuestos en ningún sitio. ¿Es eso viable o podría meter mano la Agencia Tributaria aún si no se reside en España?