Duda dos pagadores

Buenas, en 2015 tuve dos pagadores y como imaginaba me toca pagar 700e. No acabo de entenderlo, por eso planteo aquí mi duda:

Entiendo que si tienes dos pagadores simultaneos, devuelva a pagar. Ya que cada pagador retiene lo que pertoca por separado, pero si se suman los dos ingresos tocaría un irpf más alto. De ahí que cuando se hace la renta cuadren esto y toque a pagar.

Pero si los dos pagadores no son simultaneos (tuve un trabajo de enero a mayo y otro de junio a diciembre), y cada pagador te ha retenido lo que correspondia por tu rango salarial, por qué aún así me toca pagar 700e?

Está claro que no te han retenido conforme a tus circunstancias o no te saldría a pagar tanto. Supongo que al ser contratos temporales, te habrán aplicado el mínimo o lo que marque la normativa, pero no teniendo en cuenta los ingresos previstos de todo el año.
Por ejemplo, si estás en una sola empresa que prevé pagarte 10.000 en todo el año, digamos que le sale a retenerte 1.000. Y luego tu declaración sale a pagar esos 1.000, como ya te los han retenido, te sale a cero. Si en vez de eso te contratas en dos empresas medio año en cada una, cada una calculará la retención en base a 5.000 previstos, y le saldrá una retención proporcionalmente menor, digamos 250 a cada una, total 500. Al hacer la declaración el 30 de junio resulta que al sumar los dos sueldos salen 10.000 y la cuota es como antes de 500, como sólo te han retenido 500, ahora tendrás que pagar los otros 500.