Collega potenziale stalker dopo breve storia

Gentili specialisti, mi rendo conto che un consulto on line non sia risolutivo, ma mi rivolgo a voi sia per sfogarmi che per ricevere consigli su una situazione che mi crea ansia e disagio. Riassumo: qualche mese fa inizia un'amicizia con un collega, cinquantenne sposato e con figli, inizialmente sporadica, via via più intensa e confidenziale. Io, reduce da tre anni di solitudine sentimentale intervallati da delusioni e rifiuti, trovo una persona che finalmente mi ascolta, mi dedica attenzione, apprezza e cerca la mia compagnia e insomma, senza rendermene conto, mi lascio coinvolgere sempre più. Lui inizia a manifestare attenzioni sempre maggiori, comincia a telefonare, fino a che una sera non propone di vederci, complice assenza della moglie. So che non avrei dovuto, ma accetto: per farla breve, ci baciamo. Da allora i problemi: sensi di colpa, discussioni fino a che non decidiamo di vederci per chiarire, io non volevo far nulla e così è stato fino alla fine quando, al momento di andare, lui mi bacia e non riesco a opporre resistenza. Da quel momento, impazzisce: dice che sono la donna della sua vita, parla di lasciare la famiglia, che non aveva mai provato sensazioni simili, che la moglie non lo soddisfa, che non sa stare senza di me, ecc. Io, spaventata e preda di rimorsi e sensi di colpa, decido di chiudere e allontanarmi; lui, però, ad ogni mia richiesta di distacco, reagisce in modo aggressivo, scrive messaggi lunghissimi, non accetta di avermi lontana, sostiene che io lo abbia usato, poi si calma e ragiona, dice che mi vuole bene, che tiene anche alla mia amicizia, che non vuole perdermi, ma si tranquillizza solo se io gli prometto che non sparirò e che manterrò un rapporto con lui. Non mi minaccia personalmente ma tende ad offendermi, a svalutarmi e poi fa ricatti morali del tipo "mi suicido, mi hai rovinato la vita" e cose del genere. Io non so cosa fare: vorrei chiudere, ma ho paura che respingendolo possa diventare aggressivo, vivo nel terrore che possa rivelare tutto ai miei colleghi e crearmi problemi grossi sul lavoro, così cerco di tenerlo buono ma in realtà vorrei uscirne e non sentirlo più. So che ho commesso un grave errore, anche se c'è stato solo qualche bacio e nulla di più quindi non è stata una vera e propria storia ma più frutto di suoi "film" mentali, ma adesso ho paura che questo possa costituire un pericolo per la mia incolumità e anche a livello professionale. Cosa devo fare? Come devo comportarmi? Devo interrompere ogni comunicazione o è peggio? Lui ora non si sta facendo sentire dopo che ieri gli ho chiesto di stare lontani per un po', ma ha accettato solo perché pensa che io comunque tornerò a cercarlo, e non escludo che possa farsi sentire perché basta che mi veda connessa su Facebook, ad esempio, che non resiste e mi contatta. Quello che mi spaventa è il suo cambiamento totale di atteggiamento, si trasforma completamente, un attimo tranquillo, quello dopo aggressivo. Cosa faccio? Peraltro sono una persona già di mio molto ansiosa e catastrofista e mi sto lasciando travolgere da questa storia.
Grazie per l'eventuale aiuto.
Cordiali saluti