Conflitto fra lavoro e compagno

Buongiorno,
ho 35 anni e sto facendo un lavoro a casa di una signora, dove sto abitando. Il lavoro consiste principalmente nella compagnia, preparazione dei pasti,accompagnarla alle visite mediche e a varie uscite ma lei è comunque autosufficiente. mi pagano 300 euro ma io ho accettato perché mi serviva un alloggio che non avevo la possibilità di pagarmi.Il problema è che ho conosciuto un uomo e la nostra relazione deve essere nascosta perché alle figlie della signora questa persona non va bene, hanno dei pregiudizi su di lui dovuti a dei racconti che aveva fatto la sorella di quest'uomo quando lavorava a casa di questa signora. Io ho paura che prima o poi possano scoprirci e quindi cacciarmi dal lavoro e oltretutto, non avendo molta fiducia in me stessa, mi lascio influenzare dagli altri e penso: se le altre persone lo odiano così tanto, forse allora faccio a me io ad esserne innamorata e a volere una storia con lui. Cosa ne pensate? cosa posso fare?