Il gonfiore di un capezzolo nell'uomo, da più di cinque anni, deve essere preoccupante?

Buongiorno, da diversi anni (più di cinque) il capezzolo sinistro presenta gonfiore che al tatto sembrerebbe spiegarsi da un indurimento della ghiandole del capezzolo.
Ho consultato il medico di base qualche anno fa che mi ha tranquillizzato dicendomi essere un fenomeno passeggero dovuto alla pubertà.
Ora, prossimo a compiere a vent'anni, volevo capire se la spiegazione possa essere un'altra e se sia giusto preoccuparsi per qualcosa di serio.
Inoltre, nel caso non fosse nulla di problematico, se fosse possibile a livello chirurgico correggere la cosa in quanto, fin dalla prima comparsa, a livello psicologico sono molto condizionato e limitato dall'aspetto del mio capezzolo che per questo mi pareva diverse limitazioni.
Grazie in anticipo della disponibilità.