Relazione strana con uomo più grande

Salve,
Sono molto confusa e titubante riguardo la relazione che sto vivendo ultimamente.

Il mio ragazzo ha 42 anni io 28, ci siamo conosciuti su una chat mentre ero fidanzata con un altro ragazzo. Inizialmente quindi era il mio amante, con cui mi vedevo due volte alla settimana, inutile dire che il sesso che facevamo era a dir poco fantastico.
Dopo un mese ho lasciato il mio ex fidanzato e abbiamo iniziato a frequentarci più assiduamente, vedendoci 3/4 volte la settimana e ovviamente ogni volta che ci vedevamo facevamo sesso.
Dato che comunque iniziavamo a comportarci come una coppia, chiesi di prendere una posizione, così decidemmo di stare insieme.

Ci conosciamo da quattro mesi e stiamo insieme da quasi due, ma da quando abbiamo deciso di stare insieme le cose sono cambiate: il sesso è cambiato sia quantitativamente che qualitativamente, lui è sempre stanco, mi faceva tanti complimenti adesso no.....

Non riesco a capire questo suo calo del desiderio, è sempre stato un uomo che ha avuto tante donne in vita sua, quando poi provo a parlare della situazione lui si adira e diventa più freddo e distaccato. Lui poi è anafettivo.

Io non so come comportarmi perché a lui ci tengo e mi dispiace che per qualcosa che non so, si stia rovinando tutto, cosa posso fare?