Declaración de ingresos sin IVA ni IRPF. - declaración de la renta

Hola,

A la hora de facturar, por mi actividad, únicamente dto IRPF y no cargo IVA. Desde Hacienda me informaron que con una declaración de ingresos tenía bastante. El año pasado facturé a personas físicas y como carecen de IRPF me han dicho que tendría que cumplimentar la parte de la declaración indicada para actividades económicas y así poder declarar esta parte de dinero. EL tema es que si lo hago como hasta ahora me devuelven más dinero que si lo hago como me han indicado. La diferencia es bastante. Es correcto?

Gracias