Farmaci si o no?

Buongiorno, sono in trattamento (iniziato da me senza essere stato "mandato" da nessuno) da uno psichiatra/psicoterapeuta per disturbo d'ansia con aspetti depressivi.
È da un anno che faccio psicoterapia, e riconosco dei miglioramenti e una maggiore consapevolezza.
Però mi rimane sempre l'ansia, poi sto imparando ad affrontarla e a prenderla come una cosa che mi "inganna", diciamo che evito meno le situazioni ansiogene da quando vado in psicoterapia, e a volte quando mi sento insicuro e ho un'opinione bassa di me stesso sto imparando a dire che forse è più che altro un mio pensiero che non una cosa reale, e che non per forza gli altri mi vedono sempre male.
Però comunque non sto del tutto bene, magari prendo confidenza e supero una situazione che mi mette ansia, ma appena poi sono in una nuova situazione (es cambio lavoro) ecco che riparto da capo.
Io ho chiesto allo psichiatra, se la mia diagnosi è quella, perché non darmi dei farmaci.
Lui dice che gli effetti collaterali non varrebbero la pena, e in sostanza che il mio problema è appunto di pensare di aver bisogno di qualcosa di esterno o di supporto per farcela.
Però comunque adesso io uso sostanze, fumo molto, mangio male, non ho hobby e le mie amicizie le vivo male e non ho desiderio sessuale, dato che anche l'ansia mi fa vivere i rapporti con le ragazze come delle prestazioni.
L'unica cosa positiva è che sto lavorando e non mi tiro indietro di fronte al lavoro, e sto diventando autonomo (con qualche resistenza).
Però sinceramente se devo vivermela così isolato nel mio mondo di lavoro e sostanze, in cui l'unico obiettivo è evitare di fallire, non e che sia proprio contento.
Vorrei sapere cosa pensate dell'uso di ssri (di questi mi aveva parlato) in un disturbo lieve.
Sono davvero così pericolosi da non poter tentare?
Hanno effetti che perdurano anche una volta sospesi nel caso mi dessero problemi?
Perché se così fosse capirei la sua reticenza, ma se questi effetti collaterali scompaiono alla fine del trattamento, perché non provare?
Per darmi una sorta di 'lezione educativa' a farcela da solo senza dipendere sempre da qualcosa (che forse in effetti e un mio problema)...?
Che ne pensate?

Io non sono un farmacologo o uno psichiatra, la mia opinione da non addetto ai lavori è che se magari i farmaci mi tolgono un po' d'ansia magari sto più sereno e posso anche giovare meglio della psicoterapia e smettere di macinare in testa le mie preoccupazioni 24/24h.
Vi ringrazio in anticipo per il servizio che offrite