Non è mio figlio....non posso educarlo

Buon giorno, volevo chiedere un consiglio riguardo un problema che mi dà molto da pensare. Vivo da circa 1 anno una relazione con un uomo della mia stessa età(37 anni) dopo essermi separata e ho 1 bambino di 3 anni. Sin dal primo momento il mio compagno ha saputo dell'esistenza del bambino e mi ha sempre detto che non gli importava nulla del fatto che fossi madre. Premetto che io e il mio compagno non viviamo nella stessa città e ci vediamo 1 o 2 volte al mese, ma sempre da soli. Lui ha sempre sentito per telefono il mambino e qualche volta gli ha pure parlato,non dicendo però di essere il fidanzato della mamma. L'8 agosto sono andata in vacanza nel paese dove lui vive, insieme al bambino e ho invitato anche mia sorella con marito e figlia di 2 anni. Per noi sono stati giorni bellissimi, per il mio compagno giorni di inferno.Non sopportava le grida e i capricci dei 2 bambini, ma ha nascosto bene questo suo disagio per non rovinarci la vacanza. Lui ha sempre vissuto da solo, è scapolo e non ha figli.Ha due nipotini che vede 1volta ogni 15 giorni, e quando va a trovarli non vede l'ora di scappare via. Il mio bambino è molto capriccioso,e talvolta neanche io lo sopporto, ma è mio figlio e lo devo sopportare. In vacanza si è comportato malissimo: non mi ascoltava, scappava per la strada col rischio di finire sotto una macchina e voleva continuamente regali o qualcosa da comprare( in poche parole mi ha in pugno).I rapporti col mio compagno sono stati tesi per tutta la vacanza, lui mi ha accusato di non educare il bambino bene e di dargliela sempre vinta. Ha ragione lui, però ogni volta che gli dò qualche schiaffo lo faccio piangere,mi sento in colpa, mi sento responsabile di avergli sottratto la serenità di cui aveva bisogno,la sua casa e le sue cose. I rapporti con mio marito emotivamente e soprattutto sessualmente sono sempre stati inesistenti finchè io, dopo avere conosciuto il mio nuovo compagno, ho avuto il coraggio di lasciarlo. Ora il mio compagno mi dice che non se la sente di crescere un figlio non suo. Mi dice che non gli dà fastidio il fatto che io abbia un figlio, ma gli dà fastidio che il figlio non sia suo.Mi ha sempre detto di accettare questo bambino, ora che lo ha visto troppo viziato e capriccioso,ha paura che se per caso gli scappasse una sberla, poi starebbe male,perchè avrebbe picchiato un figlio non suo. Io gli ho detto che lui ha tutti i diritti di educare mio figlio e che da me non sentirà mai dire di non intromettersi che non è figlio suo.Quando siamo da soli, dice che vive un tipo di rapporto,insieme al bambino invece un altro. Il mio ex comunque ci mette pure lo zampino.Quando il bambino è col padre mi dice che a casa( che è rimasta a mio marito,mentre noi siamo andati a vivere da mia madre)loro possono fare quello che vogliono, non ci sono regole.Scorrazzano per casa in monopattino e bici.Per questo non ascolta più i miei rimproveri.Io lo rimprovero e lui lo asseconda.Che mi consiglia?Grazie.