ITP alquiler

Hola, estoy en un piso de alquiler con contrato de 5 años, he tenido que pagar el ITP por los 5 años que dura el contrato. Ahora llevo 2 años en el piso y el dueño me hecha porque necesita el piso para vivir, puedo reclamar el dinero de los 3 años que he pagado y que no voy a disfrutar?

En mi opinión veo más lógico y práctico que se lo reclames al arrendador, ya que al parecer ha sido el que ha incumplido los términos del contrato.

Un saludo.