Astinenza da ansiolitici?

Salve vi espongo subito il mio problema:
Da circa 4 anni prendo 0,5mg di daparox e 1,5 mg di lorazepam dorom tutti i giorni (0,5 daparox e 0,5 lorazepam la mattina e 1 mg lorazepam la sera) per problemi di ansia. Ovviamente prescritti dal neurologo e accompagnato da un supporto psicologico.. Solo Inizialmente (per i primi 2-3 mesi) prendevo un dosaggio maggiore sempre prescritto dal neurologo (cioè 1 mg daparox e 2 mg lorazepam al giorno).. Purtroppo è accaduto il fatto che alla mia seconda visita dal neurologo (cioè dopo circa un mese dalla prima visita-prescrizione del dosaggio sopraindicato) lui mi dimezzò il dosaggio ma il giorno successivo mi si erano ripresentati tutti i sintomi dell'ansia correlati da altri sintomi tipo sudorazione-vertigini ecc e sono stato malissimo per tutto il giorno.. Fu così che il giorno successivo decisi di tornare alla dose precedente senza più contattare il neurologo perchè lo ritenevo colpevole di avermi dimezzato il dosaggio con troppa supeficialità (mi ha dato subito una pessima impressione quel neurologo in verità..) .. Dopo poco tempo (circa 1 mese) decisi di provare a diminuire il dosaggio spontaneamente in maniera più lieve passando da quel dosaggio (1 mg daparox e 2 mg lorazepam al giorno) al dosaggio che prendo tutt'ora (0,5mg di daparox e 1,5 mg di lorazepam al giorno).. E dentro di me scattò una soddisfazione non indifferente perchè non ho avuto nessun tipo di astinenza e nessun problema, anzi ero contento di essere riuscito da solo a diminuirmi il dosaggio senza problemi.. Il "problema" è che da allora non riesco più a "staccarmi" da questo "schema" e da questo dosaggio.. Perchè ovviamente vorrei smettere del tutto di prenderli.. Ho provato un paio di volte a diminuire ancora di più il dosaggio ma con scarsi risultati.. Perchè mi è difficile non tanto la mattina ma più la sera.. ho provato a passare da 1 mg a 0,5 o anche a staccare un pezzettino ancora più piccolo di pasticca ma solo il pensiero di diminuire mi fa ritornare i sintomi dell'ansia.. Detto questo devo dirvi che dallo psicologo non vado neanche più da parecchi mesi perchè non ho più avuto crisi d'ansia e dopo il suo aiuto vedevo che ero rimasto in una fase di "stallo".. Nel senso vedevo che il problema "grosso" era superato.. Ma il problema del diminuire ancora di più gli ansiolitici e poi smettere era rimasto e con lui non riuscivo a risolvere il tutto.. Devo anche dire che in questi 4 anni non ho mai avuto sintomi di tolleranza, nel senso che non ho mai sentito il bisogno di aumentare il dosaggio, non mi è mai capitato. Il problema è questo.. Vorrei smettere del tutto ma non riesco anche perchè leggendo varie informazioni mi sono un pò impaurito.. Ho letto che alla sospensione potrebbero comparire degli attacchi epilettici e nei casi più gravi la morte.. Spero non sia il mio caso ! Volevo sapere se la mia è solo una dipendenza psicologica o anche fisica (cioè più grave).. Grazie dell'attenzione