Accettare di iniziare ad essere l'amante o troncare una relazione?

Buongiorno,
qualche tempo fa ho incontrato un uomo di circa 10 anni più grande di me sul luogo di lavoro. Inizialmente non ci sopportavamo. Poi, mano a mano che il tempo passava ci siamo accorti di avere molti interessi in comune e valori molto simili, nonostante le differenze caratteriali. Da sempre sapevo che lui era sposato con una figlia di 4 anni e il secondo figlio di pochi mesi. Dopo diversi mesi è scattato qualcosa in più. Io mi sono sempre frenata nell'avere un rapporto sessuale nel rispetto della sua situazione e di me stessa. Ma la complicità e l'affiatamento tra noi penso sia qualcosa di molto più profondo dell'atto fisico di per sé. Sono in difficoltà perché io vorrei non perdere il nostro rapporto, ma ho paura che non ci possa essere nessuna progettualità tra noi. Abbiamo provato ad essere "solo amici", ma l'attrazione fisica, la seduzione e la complicità sono troppo elevate. Ho deciso di prendere le distanze per qualche tempo, per cercare di decoinvolgermi, ma lo penso ancora molto e la voglia di sentirlo è tanta. Purtroppo o per fortuna non mi sento "tagliata" per fare l'amante, perché sono convinta di meritare di più delle briciole affettive o dello stare in panchina per 360 giorni all'anno. Inoltre, non mi sento in grado di continuare il nostro rapporto senza coinvolgermi giorno dopo giorno.
Ovviamente io sto cercando anche di agire nel rispetto di tutti, ma la mia parte emotiva mi porta a ripensare a quanto mi manchino le risate assume a lui, le chiacchierate, il condividere le nostre vite, il calore e l'affetto che lui mi dava.
Chiedo quindi agli esperti consiglio su cosa fare poiché la mia parte razionale mi dice che la scelta è corretta, ma quella emotiva va in un'altra direzione. Preciso inoltre che ora sono stata trasferita in un'altra sede, quindi non vedendoci è più semplice, ma fra qualche mese tornerò in sede e in quel occasione resistere alla tentazione sarà molto difficile.
Vi ringrazio molto