Fiducia in se stessi e nel partner

Salve...sono una ragazza di 24 anni...ho una storia con il mio partner da 4 anni. Abbiamo però un problema sin dal principio del nostro rapporto. Quando ci siamo conosciuti lui era da poco uscito da una storia di qualche mese, avuta a 18 anni. Nonostante io per questo motivo non fossi convinta di iniziare una storia con lui , è nato subito un attaccamento tra di noi assurdo. Non riuscivamo a stare lontani, stavamo benissimo insieme. Nei primi mesi però, lui sentiva sempre la sua ex ragazza dicendo di sentirsi in colpa di averla lasciata e pensando di alleviare la sua colpa rimanendo a disposizione per lei. Nonostante lui mi diceva sempre tutto e mi faceva malissimo, cercavo di capire che cmq era una storia finita da poco . Finchè non gli chiesi dopo 3 mesi di chiudere la cosa con l'ex. Ricevetti inizialmente un rifiuto, lei voleva restarle amica e lui voleva accontentarla su questo. Decisi così di chiudere con lui non potendo più sopportare il male che mi faceva quella situazione, quando lui accettò per non perdermi. Successivamente dopo mesi bellissimi, per puro caso seppi che avevano trascorso una serata insieme tra amici. Lui non me lo aveva detto per paura della mia reazione, nonostante io gli avevo sempre detto che per me la sincerità era fondamentale. Diciamo che da quel periodo, anche se il nostro rapporto è davvero pieno d'amore e credo che siamo perfetti insieme e lui mi da tutto quello che una donna possa desiderare, io non ho più molta fiducia in lui. Credo che la motivazione principale sia quella di essermi sentita messa in secondo piano. Volendo essere comprensiva senza imporre nulla e lasciando che si comportasse come meglio credeva io non ho fatto altro che farmi trattare da SECONDA. Questa cosa mi è rimasta dentro, nonostante lui riconosca i suoi errori e faccia di tutto...ogni volta che noto che ha un'affinità con qualcuna, anche innocente, ho sempre paura che possa abbandonarmi, che possa mettermi da parte...
Preciso che in passato ho avuto molte delusioni, sono stata tradita e lasciata dal mio primo amore durato molti anni. Nonostante sia una persona che piace agli altri, caratterialmente e fisicamente, mi sottovaluto molto.E credo che questo sia il nocciolo della questione.
Ora dopo 4 anni di amore bellissimo in cui nonostante tutto non gli faccio pressioni quando esce con gli amici, o va a giocare a calcio, ci sono momenti "bassi" dovuti ai problemi prima citati, mi chiedo se sia giusto continuare a stare insieme e se sia giusto che lui, con l'amore che mi sa dare, debba sopportare queste mie paure.
Consigli? :) grazie in anticipo!