Troppo insicura per dirgli di si

Salve, ho 34 anni e da qualche mese frequento un uomo sposato con una figlia di 9 anni. Tra noi si è instaurato un rapporto bellissimo, una sintonia che io non ho mai provato nelle precedenti relazioni. Mi sembra di vivere un sogno quando sto con lui. In lui ritrovo tutto quello che cerco in un uomo. Da subito mi ha proposto di costruire una vita insieme rinunciando alla sua famiglia per me. Lui non è un tipo che si fa storielle o che cerca avventure passeggere, nella sua vita ha avuto solo una storia importante ed è quella con sua moglie… ma io non riesco a dirgli di si.
Non so se riuscirei a vivere con il senso di colpa di aver rovinato una famiglia. Perché è questo che succederebbe, io non faccio domande sulla moglie e sul loro rapporto, intuisco che le cose non vanno meravigliosamente ma secondo me lui non la lascerebbe mai se non ci fossi io. E a dirla tutta, non so nemmeno se lui lo farebbe nel caso io accettassi la sua proposta.
Sono veramente combattuta, che felicità sarebbe se costruita sull’infelicità di altre due persone? E poi se tra noi non funzionasse?
Sono un’eterna indecisa ed insicura.. ed ho paura che questa mia indecisione lo faccia decidere a restare con la sua famiglia.
Come faccio a capire qual è la cosa giusta da fare?
Grazie in anticipo per i consigli che vorrete darmi