Il mio compagno, con cui sto da 6 anni, non vuole un figlio insieme

Buonasera,
Ho 36 anni e il mio compagno 41 anni stiamo insieme da 6 anni e conviviamo da 3-4 anni, entrambi abbiamo un figlio per uno dai precedenti matrimoni.
I bimbi hanno entrambi 7 anni.
Io sono una nutrizionista e ho una studio che va bene, lui fa il bagnino.

Ci siamo conosciuti durante le relazioni precedenti quando avevamo i bimbi di pochi mesi, inizialmente ci siamo frequentati in amicizia con le famiglie precedenti.
Dopo qualche mese abbiamo iniziato a flirtare.
La sua storia era già fortemente in crisi e lui ha chiuso la sua relazione poco dopo l'inizio del nostro flirt, estate 2015.
Io appartenente in un matrimonio tranquillo, decido di lasciare mio marito per lui l' estate 2016.
Durante l'anno, a cavallo tra il 2015 e il 2016, ci sono stati diversi tira e molla tra di noi perché lui non si sentiva convito della sua decisione e quindi ho ritardato anch'io a prendere la decisione di chiudere il mio matrimonio.

È stata una relazione difficile fin dall'inizio.
Ha fatto molta fatica a ricominciare con me, non l'ho mai sentito pienamente dentro alla relazione soprattutto riguardo all' inserire il bimbo nella nostra coppia.
Da circa 3-4 anni conviviamo le cose sono leggermente migliorate, ma litighiamo sempre tanto.
I motivi delle discussioni sono per lo più incentrati su quelle che reputo sue mancanze e più volte l'ho messo alla porta, stanca di dover litigare anche per cose che dovrebbero essere belle tipo andare in vacanza, giornata fuori porta, passate la domenica insieme.
Tutto questo perché toglie tempo alla sua passione che è la caccia, che esercita tutti i giorni da Ottobre a Gennaio tranne i due giorni a settimana (martedi e venerdì) di silenzio venatorio.

Tuttavia dopo ogni litigata siamo sempre riusciti a riappacificarsi perché apprezzo il fatto che almeno un po' è cambiato e migliorato su alcuni aspetti.

Nonostante le difficoltà Io sono molto innamorata e desidererei un figlio con lui.
Lui mi ha espressamente detto che non se la sente sia economicamente che ha livello organizzativo perché un figlio per uno l'abbiamo e per lui siamo apposto, un terzo sarebbe un carico eccessivo.

La sua risposta mi ha fatto venire molta rabbia e l'ho mandato nuovamente via.
A sangue freddo abbiamo parlato e gli ho detto che "capisco" le sue preoccupazioni economiche.
Gli ho proposto di prenderci del tempo per valutarle insieme come poterle affrontare e se capiamo che rimane una cosa fattibile di non rinunciare per la sua paura/ egoismo (a mio parere).
Perché egoismo?
Perché non ne ha voluto sapere, lui ribadisce con non se la sente e che se questo è il mio desiderio è costretto a mettersi da parte.

Mi trovo di fronte ad un senso di frustrazione perché da una parte ho questo desiderio di una seconda maternità e dall'altra vorrei avere lui al mio fianco.

Ho paura che rinunciando ad avere in secondo figlio per stare con lui mi possa pentire irrimediabilmente dopo.

Vi prego datemi un vostro parere