Residencia fiscales

Actualmente vivo en la provincia Cádiz y trabajo en Gibraltar. Como residente en España, declaro mis ingresos y pago anualmente IRPF.

Estoy mirando a la posibilidad que en los próximos meses, trabaje y resida la mitad del año en Inglaterra y la otra mitad en Gibraltar, con mi esposa e hijos residiendo todo el año en Gibraltar. No pasaremos en España más de 2 o 3 semanas al año. ?Alquien sabe si mi doble residencia en ambos un paraíso fiscal (Gibraltar) y un país comunitario (Inglaterra), me ayudaría a evitar que Hacienda considere que he cambiado mi residencia desde España a un paraíso fiscal que conlleva ser considerado como residente en España durante los cinco años siguiente a mi salida de España?

Gracias
P