De todas formas, a efectos fiscales (y de otros gastos como notario, registro..) vas a tener que pagar lo mismo de una forma que de otra ya que la permuta se equipara a la compraventa.
Lo de que tengas que pagar los 2 impuestos tú imagino que será por que te interesa sólo a tí la permuta y te lo habrá impuesto la otra parte como condición, no? Por que en principio cada uno debería pagar su impuesto digamos.
Al respecto te puedo citar este artículo del Real Decreto 828/1995, de 29 de mayo, por el que se aprueba el Reglamento del Impuesto sobre Transmisiones Patrimoniales y Actos Jurídicos Documentados:
Artículo 23. Permutas.
En las permutas de bienes o derechos, tributará cada permutante por el valor comprobado de los que adquiera, salvo que el declarado sea mayor o resulte de aplicación lo dispuesto en el artículo 21 anterior, y aplicando el tipo de gravamen que corresponda a la naturaleza mueble o inmueble de los bienes o derechos adquiridos.