Vorrei un parere su una situazione che mi sta facendo male

Salve vorrei trattare una tematica che in questo periodo mi sta facendo male e mi sta facendo perdere me stessa.
Sono consapevole di aver sbagliato, di essere una brutta persona e sto cercando di porre rimedio.

Sono fidanzata da tanti anni, ma sono l’amante di un uomo sposato che mi ha sempre detto di non voler lasciare la famiglia perché non era giusto nei confronti della figlia.
Con il tempo si è legato a me, ma.
Mi dice che la moglie è una persona estremamente gelosa e possessiva, che lo ricatta con la figlia in caso di separazione, ma che lui stesso non riesce ad abbandonare la figlia e ha paura di rimanere solo e che io non lasci la mia relazione, non avendolo fatto ancora oggi.

abbiamo sempre fantasticato su una vita insieme, su come potrebbe essere ma dato che il dolore era tanto, gli ho proposto più volte di essere solo amanti in modo che io riesca ad andare avanti con la mia vita.
Le sue risposte sono sempre state che non voleva essere solo amante e che mi vedeva nel suo futuro.
Quello che vorrei capire è perché quando si tratta la tematica in maniera più seria, mi dice che non è possibile per me aspettare e che è una situazione troppo complicata per avere un buon esito.
!