Problemi sessuali e relazionali di coppia

Buongiorno,
spiego il problema che mi sta letteralmente facendo impazzire.

Da qualche mese (quasi 4) sto con un ragazzo di 22 anni (io ne ho 28 invece).
Non sono stati mesi tranquilli, abbiamo avuto diverse litigate soprattutto vista la sua inesperienza a livello relazionale (mai avuto una vera e propria relazione) e al mio essere abbastanza geloso, soprattutto del suo recente passato, che lo ha portato ad avere diverse esperienze sessuali (circa una ventina a detta sua) in appena 3-4 mesi.
Nonostante tutto siamo riusciti a trovare il nostro equilibrio e a stare bene insieme però abbiamo un grande problema a livello sessuale.
Abbiamo regolari e quasi quotidiani rapporti, su quello non ci si può lamentare peccando però di fantasia.
Lo scenario è quasi sempre lo stesso ovvero camera da letto prima di dormire.
Il problema è che lui qualche volta non riesce a mantenere l’erezione e a raggiungere l’orgasmo.
Questo è capitato diverse volte e conseguentemente il pensiero è rivolto a se veramente lo soddisfo e quali colpe ho io di questa cosa, nonostante lui mi rassicuri tutte le volte dicendomi che non è colpa mia.
La ciliegina della torta è stata scoprire che qualche volta è capitato che lui pensasse ad altri precedenti rapporti avuti nel passato, mentre lo facevamo insieme.
Posso capire il fantasticare su persone immaginarie quali attori o cantanti, ma pensare a precedenti esperienze mi sembra un grandissimo problema, tra le altre cose in un rapporto fresco e nuovo come il nostro.
Questa cosa mi umilia, mi svilisce e mi fa sentire la peggior persona sulla faccia della terra.
Quello che mi chiedo è se fosse normale il suo comportamento e se fossi io quello esagerato.
Ho provato anche a chiedergli se volesse andare da uno psicologo o sessuologo, ma non mi sembra molto interessato e mi dice sempre che non è un problema e che io ingigantisco la cosa.
Io sto letteralmente impazzendo.

Grazie della disponibilità