Non riesco ad avere un dialogo con il mio compagno

Salve, sono un ragazzo di 25 anni ed esco con un uomo di 40.
Senza stare a tirarla troppo per le lunghe vi espongo il succo del problema: non riesco ad avere un dialogo con lui per cercare di esporre ciò che mi rende felice o mi ferisce o per capire il perché di alcuni suoi comportamenti.
Da parte sua lui non sente per niente questa esigenza, come lui stesso ha fermamente detto, a lui "va bene tutto".
Ci sono diversi comportamenti che lui trova normale fare perché reputa personalmente delle ca****e e che a me non mi hanno fatto stare bene e ad oggi continuano ad avere delle ripercussioni.
Esempio pratico tra tante piccole cose: si "divertiva" a "perculare" (a suo dire) persone con le quali aveva avuto avventure o storie precedenti dandogli corda con conversazioni a sfondo sessuale.
A prescindere da come la cosa mi abbia fatto/mi fa stare, il problema per il quale Vi contatto è che quando l'ho beccato sul fatto o quando gli ho detto che altre cose (perfettamente risolvibili) non mi facevano stare bene, la sua reazione non è mai stata quella di dimostrarmi che effettivamente nelle sue azioni non c'era niente di malizioso o volto a mancarmi di rispetto e ogni volta si altera.
Non è capace di parlare.
Anche se gli faccio solo delle domande su qualcuno che conosce o su dei messaggi che potrebbe aver ricevuto, si altera costantemente, Mi ha paragonato a sua madre (che odia in particolar modo) e di fargli le domande da "indagatore".
Per me queste sono cose normali, la condivisione e il dialogo.
Penso che siano alla base di ogni rapporto di coppia sano.
Però è evidente che non tutti la pensano allo stesso modo.
Non so bene come o cosa fare.
Ogni volta che provo a fargli una domanda sbuffa o si innervosisce, o mi risponde un po' male quando gli chiedo cose dolci.
Ci tengo a precisare che ad aprile sarà un anno che stiamo insieme e, ovviamente, all'inizio non era così, per niente.
Adesso sta assumendo dei comportamenti più distanti, che mettono dei paletti.
Non so più come comportarmi con una persona con la quale posso parlare solo del tempo che fa oggi e di cosa hanno detto alla tv.
La sua scusante in tutto questo è "io odio la gente/ sono abituato a stare da solo/ non ho mai auto un esempio di come funziona una relazione perché i miei genitori si sono sempre scannati".
Eppure in 40 anni di relazioni ne ha avute, non credo di essere l'unico ad avergli fatto notare certe cose.
Si sta scoprendo essere un soggetto che può tranquillamente fare a meno di tutto e di tutti.
A volte mi fa sentire come un numero.
Con tutto questo, mi sono allontanato un po' dalla questione principale, non so come comportarmi e come rapportarmi con lui.
Devo comunque parlargli quando ne sento il bisogno o devo tenermi tutto dentro e deflagrarmi il fegato in silenzio?
Essendo io un soggetto ansioso e con attacchi di panico questa situazione non mi è molto d'aiuto.
Anche gli psicofarmaci iniziano a fare cilecca.
Attendo vostre risposte e vi ringrazio in anticipo.