Il figlio del mio compagno non ci accetta

Buongiorno, sono separata da 3 anni ed ho un figlio di 10 anni molto attaccato a me, con un ottimo rapporto anche con suo padre e tutta la sua famiglia, anche i rapporti tra me ed il padre di mio figlio sono buoni, in sintesi un bambino sereno. Fino ad oggi ne io ne il padre abbiamo mai avuto altre relazioni, o almeno nessuna tanto importante da coinvolgere anche lui. Da 6 mesi sto insieme ad un uomo, che ha un figlio di 12 anni, divorziato da 9 anni. La sua situazione con la sua ex moglie non è serena quanto la mia.
Ora inizialmente abbiamo provato a coinvolgere i nostri figli in uscite di gruppo, insieme a nostri amici comuni con altri figli, le cose andavano bene, i ragazzi si erano presi in simpatia e si cercavano. Ad un certo punto però le cose sono cambiate, soprattutto per l'intervento della madre del figlio del mio compagno, la quale saputo della mia presenza si è messa contro (a mio avviso in maniera subdola), inviando messaggi al ragazzo molto negativi, tipo come lei avesse rinunciato a frequentare chiunque... o mancanze anche molto vecchie e infondate del padre, cose che il figlio ha iniziato a rinfacciare al padre.
Inizialmente in accordo col padre, abbiamo cercato di evitare di incontrarci per un po' con i ragazzi, anche perché suo figlio oltre ad essere maleducato ed antipatico con me lo era anche con mio figlio, il quale pur non essendo molto felice di questa mia nuova condizione, sta pian piano accettandola, e non volevamo che questo comportamento potesse allontanare anche mio figlio.
Premettendo che il mio compagno ha provato diverse strade, prima assecondandolo, poi parlando molto con lui, spiegandogli che lui era la sua priorità e che io sarei stato solo un valore aggiunto alla sua vita, inoltre lui lo accusa di non aver detto fin da subito che tra noi c'era una relazione, anche a questo il mio compagno ha dato una spiegazione, dicendogli che inizialmente eravamo dei buoni amici e che queste cose nascono col tempo, tra alti e bassi, insomma ad oggi, il figlio dice di non volermi frequentare neanche per un semplice cinema o una pizza tutti insieme, ed ogni volta che capita si comporta in maniera sgradevole con me e mio figlio.
A questo punto non sappiamo se è giusta dargliela vinta, per così dire e non vederci nei giorni che c'è lui (ma questo comporterebbe problemi di coppia, in quanto anche io ho poco tempo a disposizione poiché mio figlio vive con me, per cui dobbiamo approfittare dei week, e ad alternanza abbiamo i ragazzi) oppure costringerlo ad uscire? (in fondo è giusto che un bambino di 12 anni decida come suo padre debba vivere la sua vita?)
Nei week che lui è con il padre ed io con mio figlio, non stiamo insieme per tutto il tempo ma cerchiamo di organizzare un incontro di qualche ora, che sia un cinema, una pizza o un pic nic, in modo che sia io che lui possiamo passare anche del tempo da soli con i propri figli.
Spero in un vostro consiglio.
Grazie