Non capisco il suo comportamento

Lui ha 53 anni, è riuscito a conoscermi, dopo avermi notato da almeno 2/3 anni, ma non speva come fare. E' separato in casa da 10 anni (cosa certa). Sembra molto solo, con pochi amici sparsi per l'Italia. Mi ripete in continuazione come faccio a non sapere di essere bella, che sicuramente ho molti corteggiatori etc.
Mi dice che non vuole una storia seria, perchè si conosce e non può dare altro, perchè non riesce ad innamorarsi. Io sposata, quasi in crisi...
Ci vediamo 3/4 volte per parlare. Alla fine, forse perchè ne avevo bisogno, cedo e abbiamo dei rapporti. Questo per 3-4 volte, in cui lui mi diceva che gli piaceva tantissimo, mi desidera, gli piaccio etc. etc. Baci e abbracci interminabili.
Mi racconta la sua vita, di suo figlo ormai grande, e del piccolo in casa (ha 15 anni). Mi racconta i piccoli dettagli quotidiani, mi chiede delle foto, mi messaggia in continuazione, mi chiede di mia figlia. Si interessa anche della mia vita...In un momento di malumore, gli dico che il mio matrimonio è in crisi e che sto attraversando un periodo particolare: da quel momento quasi sparisce, non più messaggi etc. Lo cerco per un chiarimento, credo si sia spaventato. Gli dico che so perfettamente cosa è la ns storia, che non mi aspetto niente da lui, che non voglio sconvolgere la vita a nessuno, ne a me, ne a lui. Lui dice che credeva di aver capito che mi stavo attaccando troppo, che forse avevo accelerato troppo i tempi, gli piace farlo con me... Ripete che mi desiderava ieri, mi desidera oggi e mi desidererà sempre, che gli piaccio. Nel frattempo mi bacia e mi abbraccia avvolgendomi. Ci salutiamo e lui mi dice: "come faccio a non cercarti...." però messaggi non ne manda più.
lo vedo per caso, lo chiamo e lui viene di corsa per un aperitivo, parliamo mezz'ora del più e del meno, gli dico se può accompagnarmi al lago tra una settimana, e lo farebbe volentieri.... Dice ancora di quanto sto bene, che devo continuare la palestra, ma gli piaccio tantissimo anche così.
La mia domanda è: perchè si è tirato indietro? Non è che aveva paura che fosse lui che si stava attacando a me, più che il contrario?