Non accettare le esperienze passate del partner

ho 24, da circa 8 mesi ho una relazione a distanza con un ragazzo di 23 anni. fin dal principio non sono mai riuscito ad accettare il fatto che fino a poco tempo prima che si innamorasse di me, ha avuto frequentissimi rapporti occasionali con parecchi ragazzi e uomini, di cui la maggior parte conosciuti tramite siti di incontri, mentre io ho scoperto l'amore e il sesso con lui.
parecchie sono le cose che non mi piacciono dei suoi trascorsi: il fatto che l'abbia fatto senza preoccuparsi della sua salute, l'avere avuto rapporti con uomini di 35 anni, il sesso violento e fatto con lo scopo di umiliare queste persone, l'ingenuità, l'ignoranza e l'immaturità con cui ha fatto tutto, la sua fisicità inadatta al ruolo (è piccolo e gracile, dimostra meno anni di quelli che ha, come può una persona sentirsi attratta esclusivamente dal punto di vista sessuale da lui?), il rischio di essere stuprato... molte cose le so perché purtroppo spinto da una curiosità morbosa mi sono fatto raccontare un po' più nel dettaglio, ed alcuni di quegli individui li ho visti (sempre tramite la rete). ne abbiamo parlato, io sono stato malissimo, lui si è reso conto di aver commesso degli errori. dopo un po' pensavo di aver superato tutto, invece ci sono ricaduto di nuovo e sto male come mai sono stato in vita mia. adesso si è affacciato un nuovo pensiero "malsano" nella mia mente: ho pensato che, dal momento che non ho mai avuto esperienze, potrebbe essere questo dislivello tra noi due una possibile causa, quindi sarebbe meglio separarmi da lui per un periodo non troppo lungo e provare "altro". c'è da dire che prima di incontrarlo non mi sono mai dedicato a me stesso, vivendo nella repressione, sentendomi a disagio e inadeguato, ecco come mai non mi sono mai avvicinato ad un'altra persona. adesso però ho paura dei rimpianti che presto o tardi potrebbero presentarsi (il dramma è che non capisco se questo rimpianto che avverto ora è reale o si tratta di un meccanismo di difesa). il disagio che provo è mastodontico... spesso dico che tutto finirà quando lui si trasferirà nella mia città e lascerà il posto dove vive, che è il centro dei suoi ricordi e dei suoi trascorsi.
so che il passato è passato, sono sicuro che per lui sono speciale, sono innamorato, ma nonostante tutto non riesco a disfarmi di questo peso che mi sta consumando (ci sono anche problemi di disfunzione sessuale da parte mia in certi frangenti dell'atto). chiedo gentilmente il parere degli esperti, grazie anticipatamente.