Rapporto con uomo sposato

Buonasera,
mi ritrovo a scrivervi per cercare di capire alcuni comportamenti dell'uomo, sposato, con cui ho una relazione da circa sei mesi.
Sono separata da tre anni circa e sono "inciampata" in questa relazione per caso.
Ci siamo piaciuti subito ed è scoppiata la passione.
Adesso dopo sei mesi lui sembra essersi un pò staccato...diminuiti i messaggi e le volte in cui mi cerca...ma non gli incontri che salvo imprevisti sono rimasti fermi ad una volta a settimana come da sempre.
Credo si sia spaventato, forse in seguito alla mia ammissione di essere innamorata di lui, e siccome la situazione a casa per lui è critica, ma per ragioni economiche non ha intenzione di lasciare la famiglia, non ha voglia di "ingabbiarsi" anche nella relazione che per lui dovrebbe essere di svago.
Il punto è questo: mio marito è andato via da casa dalla sera alla mattina senza dare alcun segno di "fastidio" nei confronti del nostro matrimonio.
Mi ha lasciata con due bambini che all'epoca avevano quattro e un anno. Mi ha lasciata per un'altra donna.
Da allora vivo nel terrore che gli uomini si prendano gioco di me, che non trovino il coraggio di dirmi che magari la relazione non sta più in piedi e che spariscano senza dirmi nulla.
Vorrei capire in questo caso se è possibile davvero che lui stia facendo retromarcia perchè spaventato o se è più probabile che stia andando via...
Io credo (ma ovviamente non mi fido molto del mio parere che non è chiaramente obiettivo) che anche lui sia innamorato di me...ma non lo ammetta con se stesso e soprattutto con me.
Vorrei il vostro punto di vista se possibile.
Grazie mille!