Famiglie allargate

Buonasera, chiedo cortesemente consulto per un dubbio che mi affligge da un po’. Io e il mio compagno veniamo da due separazioni ed entrambi abbiamo figli: lui un maschio di 5 anni e io un maschio di 12 che vive con me. Dopo un periodo di convivenza abbiamo avuto un figlio insieme che ora ha solo qualche mese. Il mio dubbio sorge in quanto a me non è data la possibilità di vedere e frequentare il figlio del mio compagno, in quanto la madre del piccolo è gelosa, mentre il padre può vederla solo a casa dei genitori di lui, tre volte la settimana per 4/6 ore, a giorni che decide lei secondo le sue esigenze. Lei pretende inoltre che suo figlio ed il nostro non si conoscano e la famiglia di lui ed il mio compagno, siccome la conoscono e non vogliono ritorsioni sulle visite del nipote, la assecondano.
Quindi in sostanza, mio figlio non frequenta e non frequenterà il fratello e il mio compagno sarà assente 3 volte la settimana, più le relative festività, per frequentare il figlio che giustamente adora, ma lasciando da parte noi.
C’è da dire che lui non vuole opporsi alla moglie e legittima la situazione.
Parlando con altri amici separati mi dicono che non c’è nulla di male se lui frequenta il figlio a casa dei suoi escludendo noi, ma a me la situazione fa male.
Secondo voi è legittimo ciò che sta facendo?