Padre e autostima

Arrivato all'età di quasi 33 anni mi rendo conto che il mio problema è l'autostima. Premesso che ho un lavoro stabile (che non mi appassiona purtroppo), una moglie, una bambina, mi ritrovo con un'insicurezza di fondo che mi blocca in tante cose. Mi sono fatto tante domande e non voglio dare colpe a nessuno, ma questo è mio padre: mi ha avuto in tarda età (almeno allora non era come oggi, i figli si facevano da giovani), non mi aspettava (lo so con certezza), la sua vità è completamente presa dal lavoro (viene dal niente ed è un vero esempio di persona che si è fatta da sé: suo padre, ovvero mio nonno, è morto quando lui aveva 3 mesi, lasciando la famiglia in condizioni di estrema indigenza ma lui è riuscito a farsi un'ottima posizione economica).
Però, non ho un solo ricordo di lui che mi accarezza, che mi abbraccia...mai una mano sulla spalla, mai un "come stai?", mai una chiacchierata. Tuttora il massimo delle domande che riesce a farmi è: "hai mangiato?". Insomma, crescendo vedi i papà che insegnano ai figli che so, a fare due tiri al pallone, che passano del tempo con il figlio. Lui niente. E se ci penso questo rapporto con mio padre mi è mancato molto.
Di fatti se ora ci penso, oltre il lavoro e lo studio, nella mia vita non so fare nulla: niente sport, niente chitarra, che so...
Due cose mi fanno soffrire di più: trovo tanta difficoltà ad applicare con mia figlia un modello diverso da quello che ho visto a casa mia con mio padre e la mia autostima è abbastanza bassa, nel senso che faccio difficoltà a confrontarmi con altri uomini; devo dire che faccio una fatica immensa a vincere questa cosa che mi ritrovo che definirei come una sorta di astenia psicologica.
Quando ho provato a parlarne con mio padre, per esempio del fatto che lui non mi ha mai spinto a fare sport, lui ha minimizzato, anzi ha detto che è colpa mia, che mi sarei dovuto io dare da fare per impegnarmi in qualche sport e che lui non c'entrava nulla.
Ora sono grande, ho delle responsabilità soprattutto verso la mia famiglia e mi rendo conto che recuperare un rapporto con mio padre è impossibile e non avrebbe poi chissà quanto senso; ovvero di cambiare lui ormai mi frega poco. Ciò lo accetto, ma quello che vorrei sapere è se questa mancanza di autostima che sento può essere stata generata anche dal mio rapporto con lui. Insomma vorrei una conferma a questo. Nessuno ne abbia a male, ma vorrei risposta da psicologi uomini.
Grazie