Il mio ragazzo ha paura dei giudizi della gente

Buongiorno, vorrei un consiglio su come affrontare una situazione.
Mi frequento da 6 mesi con un ragazzo adorabile, il nostro rapporto è stupendo, siamo molto simili e veniamo da storie finite male ed in maniera quasi parallela. Tra di noi c'è molta comprensione proprio per aver vissuto gli stessi dolori di storie precedenti in cui ci è stato fatto del male.
Attualmente stiamo tenendo la nostra storia nascosta, cioè le nostre rispettive famiglie sanno che frequentiamo qualcuno ma non abbiamo fatto alcuna presentazione, inoltre evitiamo di farci vedere in giro insieme in posti dove qualcuno potrebbe conoscerci, prima di ufficializzare vogliamo prima essere sicuri.. Nonostante questo abbiamo fatto già una vacanza insieme che è stata un'esperienza fantastica. Lui dalla precedente storia è rimasto scottato poiché dopo che si è lasciato con la sua ex, ha saputo che lei aveva problemi psicologici, si parla addirittura di schizofrenia. Abitando in un piccolo paese del sud, ha avuto sempre paura del giudizio degli altri, di come potessero giudicare lui per questa storia. Io ho sempre cercato di rassicurarlo sul fatto che non è certo una sua colpa quello che è successo e che non è colpa di nessuno, soprattutto se si ama.
Putroppo gli ho raccontato di essere stata solo una volta con un ragazzo molto bello, conosciuto in chat, con cui ero uscita 2-3 volte, di cui forse mi ero invaghita e con il quale cmq non avrei potuto costruire una storia perché non era il genere di ragazzo che avrei voluto al mio fianco (militare).
Il problema è nato ieri, quando per caso mi ha fatto vedere la foto di una sua amica ed il marito. Il marito io l'ho conosciuto in passato tramite una chat e poi rivisto per via di un'amica comune ed anche lui è un militare. Ora il mio ragazzo pensa che il ragazzo con cui sono stata solo una volta e il marito di questa sua amica possano conoscersi e che il ragazzo con cui sono stata possa aver detto all'intera caserma della suo essere stato con me. A parte che a me sembra una cosa assurda (mi domando perché mai dovrebbe fare una cosa del genere), a parte il fatto che mi sembra un'eventualità molto remota che qualcuno si ricordi di una cosa successa 7 anni fa e che non ha avuto nessuna importanza dal punto di vista sentimentale e considerando che nemmeno so per certo se queste due persone si conoscono... ora mi domando cosa posso fare, perché il mio ragazzo è spaventato dall'idea di potersi trovare nuovamente in situazioni imbarazzanti nel suo paesino,per colpa mia come in passato fu per la ex.
Di suo ha proposto di fare nuove amicizie insieme e di accantonare per il momento le sue del passato (che conoscevano anche la sua ex ragazza). Dalla mia ho cercato di rassicurarlo dicendogli che anche se il marito della sua amica dovesse ricordarsi di me, dato che sono spesso a contatto col pubblico per lavoro e volontariato, avrei potuto dire che forse mi ha intravisto a lavoro qualche volta.
Non so che fare, ho fatto davvero una cosa così grave?