Mancanza di sensibilità con preservativo

Buongiorno,
sto da un anno con un ragazzo e prendendo la pillola anticoncezionale abbiamo sempre avuto rapporti senza preservativo; avendo riscontrato con una ecografia, delle mammelle di tipo fibro cistico ora sono in pausa pillola e molto probabilmente dovrò smettere di prenderla.
Già dando inizialmente la notizia al mio ragazzo avevo notato una presa della notizia negativamente.
Durante il rapporto in effetti il pene va in erezione ma dopo poco che mette il preservativo e che mi penetra dice che appunto non ha sensibilità con il preservativo e perde l'erezione..questa cosa è succesa due volte perchè ho appena smesso la pillola...comunque noto che proprio quando cerchiamo di avere un rapporto con il preservativo il pene gli "si ammoscia"..e anche se poi cerchiamo di rianimarlo togliendo il preservativo con sesso orale torna in erezione ma molto probabilmente per il colpo psicologico non riesce a venire.
Avendo avuto per un anno rapporti senza preservativo, posso capire che adesso sia dura abituarsi ma da quanto raccontato da lui, se a differenza dei rapporti senza preservativo dove va tutto bene o comunque anche se non è certo uno dall'eiaculazione precoce e ci mette un pò a venire..raggiunge praticamente sempre l'orgasmo, già nei suoi precedenti rapporti con il preservativo denuncia una mancanza di sensiblità e non riesce a portare a termine il rapporto e raggiungere l'orgasmo.
Volevo chiedere se questo problema è appunto prettamente di natura psicologica e in che modo intervenire, se c'è qualche soluzione non ricorrendo a medicinali visto che comunque ha 25 anni e non penso che abbia particolari problemi di erezione essendo che senza preservativo va tutto bene.
Ringraziandovi per la cortese attenzione porgo cordiali saluti,
d.t.