Secondo figlio: lui non vuole

Salve.
Vorrei un consiglio su come gestire una situazione che sto vivendo e che mi mette ansia.
Io e mio marito siamo sposati da quasi quattro anni e dopo qualche piccolo intoppo un anno fa è finalmente arrivato il nostro piccolino, che abbiamo voluto e desiderato tanto.
Io ho sempre desiderato due figli, teoricamente anche mio marito, ma adesso mentre io affermo che, tra qualche anno e altre condizioni, mi piacerebbe avere un altro bambino lui dice di no, che va bene così.
E' quasi categorico.
Lui ha teoricamente ragione, perché AL MOMENTO non siamo nelle condizioni economiche per avere due bambini e non abbiamo un aiuto materiale e, giustamente, siamo stanchi perché il nostro piccolino ci prende molto tempo e molte energie.
La cosa che mi da fastidio è che lui dica no a priori.
Che quando esce l'argomento con amici o se ne parla in modo tranquillo lui metta le mani avanti e dica NO.
Io mi do del tempo e dico che nemmeno io in questo momento ce la potrei fare ma tra qualche anno si.
Non voglio rovinarmi questi anni pensando in modo costante a questa cosa e infatti non tiro mai fuori l'argomento io però mi infastidisco troppo quando lui mette le mani avanti e quando se ne parla dica no e basta.
Come posso gestire questa cosa senza rimanerci male o farmi mille paranoie sul perchè lui dica no?