La retención se aplica sobre la totalidad del importe rescatado en este caso sobre los 50.000 euros , pero el tipo que te aplican se ha obtenido considerando la reducción del 40%.
En la Pagina de la AEAT dispones de un programa que te calcula el tipo aplicable, pero siempre sobre el importe total rescatado.
https://www2.agenciatributaria.gob.es/wcl/PRET-RW13/
Te pondré un ejemplo obtenido con este programa, para rescate de 50.000 con reducción del 40% para Situación 3 y sin ascendientes ni descendientes, pensionista.
Retribuciones totales ....50.000
Reducciones por irregularidad (disposiciones transitorias)..... 20.000
El resultado es aplicar el tipo del 11% a los 50.000 euros, una retención de 5.500 euros.
Si ahora no le aplicas la reducción de 20.000 , el resultado seria de un tipo del 26% que daría una retención de 13.000 euros.
Si por el contrario pones como rentas solo los 30.00 euros deducidos ya los 20.000 del 40% , el resultado seria de un tipo del 19% que daría una retención del 5.700 (aplicado sobre 30.000).
El método correcto es el primero.
Saludos