Frequentazione molto complicata con uomo divorziato

Buongiorno
Io vi scrivo perchè avrei bisogno di un consulto.

Da circa 5 mesi frequento un uomo, fin da subito mi è piaciuto perchè era dolce e premuroso e molto sensibile.
Dopo un mese di frequentazione mi ha rivelato di avere una bambina di 3 anni e mezzo.
Inizialmente io ho preso male la cosa, sono una single 30enne e la cosa mi ha spaventato perchè ho intuito che il suo divorzio è stato molto doloroso.
Aveva anche un'ansia da prestazione assurda che con la mia pazienza e la mia gentilezza dopo quasi due mesi si è risolta e ora la vita sessuale è molto soddisfacente per entrambi.
Lui è una persona ansiosa e sensibile, che attualmente aveva deciso di riprendere in mano la sua vita: si stava concentrando sulla sua formazione lavorativa con un master, e si era preso qualche mese sabbatico dal suo lavoro (economicamente è comunque autonomo e non mi ha mai chiesto nulla, sia per un'eredità, sia perchè prende gli affitti da un paio di case di proprietà che ha) , aveva ripreso ad andare in vacanza ed a uscire con gli amici, a fare sport etc etc
Il problema è che con la sua ex moglie i rapporti sono tesi, lei lo detesta e minaccia sempre di portargli via la custodia della bimba, che invece con lui ha un ottimo rapporto e lo chiama papà.
E' sempre stato puntuale da quando lo conosco nei pagamenti e nella gestione condivisa e anzi delle volte non ci siamo visti perchè non voleva fare tardi la sera per essere pimpante e puntuale il giorno dopo con sua figlia.
Una settimana fa lui e la ex hanno litigato per una cosa davvero banale, secondo me, dal suo racconto sembra lei ad averlo attaccato (anche se alla fine è un discorso con un solo testimone) e alla fine lei ha minacciato di non fargli più vedere la bambina e che gli toglierà la custodia e lo rovinerà. lui dice che la sua ex moglie è sempre stata gelosa e possessiva prima con lui, ma che dopo la gravidanza non lasciava toccare la bimba a nessuno, nemmeno a lui, che era gelosissima e iperprotettiva e che stava sempre a casa a curare la bimba senza volerla lasciare in braccio a nessuno..
Lui adesso sta malissimo, è anche una persona poco grintosa di base.
Sta cercando un avvocato affidabile per fare ricorso e teme che questo weekend la ex gli impedirà di vedere la bimba.
Le mie amiche mi dicono di lasciare perdere, anche mio fratello, che già faccio un lavoro impegnativo e che ho bisogno di svago.
Io quando sto con lui sto molto bene, però quando sono sola a volte sono triste e pensierosa e non so cosa fare, perchè so che non è per niente spensierata come relazione.
Lui non riesce nemmeno a dividere il letto con me la notte e dorme sul divano, ma dice che lo sto aiutando tantissimo e che si sta davvero tanto aprendo con me e credo sia vero perchè ho visto vari miglioramenti.
Io non so cosa fare, sono combattuta... Da un lato non vorrei lasciarlo, dall'altro ho paura di soffrire anche io per una situazione pesante