Deficit erettile: psico-sessuologo o andrologo?

Buongiorno,
ho 39 anni e da qualche tempo ho alcune difficoltà a raggiungere l'erezione con la mia compagna storica (ci amiamo da 20 anni! con un rapporto molto complice, unico, cui teniamo molto e che coltiviamo attentamente).
Da quello che leggo anche su questo sito, non mi sembra rientrare nella casistica di DE organico: non ho le classiche patologie quali diabete, ipertensione, ecc, non fumo nè bevo e faccio una vita abbastanza sana (anche se sedentaria), ma faccio attività fisica; sono solo in trattamento con cardio-aspirina per un intervento di 2 anni fa alla mitrale - plastica- e a 20 anni mi sono operato di varicocele. Alle volte di notte mi accorgo di avere erezioni spontanee e forti.
Sono + orientato ad una causa psicologica o da stress: abbiamo 2 bambini piccoli spendidi, ma che ci lasciano ben poco tempo per noi se non di sera tardi, quando arriviamo cotti, anche a causa di 2 lavori impegnativi e fuori città.
A causa anche di recenti situazioni pesanti (2 lutti importanti in 2 anni), i rapporti sessuali sono stati un po' altalenanti (oltre che concentrati nei ritagli di tempo) ed alternati a periodi di astinenza.
Ho notato che mi servono stimoli + intensi (anche manuali) per raggiungere un' erezione adeguata, ma poi quando arriva "decollo" e concludiamo felicemente il rapporto.
A causa delle recenti debacles, mi accorgo di essere spettatore di me stesso, a guardare che "lui" segua il mio desiderio, piuttosto che abbandonarmi ad esso: certo è che a volte non mi "segue" proprio e, demoralizzati, lasciamo perdere.
A volte penso che più lo si fa, più ci si alleni ( come un muscolo, in fin dei conti).
Ora mi sono deciso a consultare comunque uno specialista, ma il mio dubbio è se andare prima da un andrologo per escludere definitivamente problemi organici o da un psico-sessuologo per aprire il circolo vizioso.
Grazie