Il problema principale è che non so come fare a lasciarlo perchè so che è molto sensibile

Da qualche mese sto con un ragazzo che mi ama, che mi da tante attenzioni, che mi desidera infinitamente…eppure non mi sono innamorata di lui. Credo (anche se non ne ho la certezza, perchè non so come fare a capirlo con sicurezza) che quello che provo sia solo affetto e sono arrivata alla conclusione che se non me ne sono innamorata in questo tempo, le cose non cambieranno in futuro.
Il problema principale è che non so come fare a lasciarlo perchè so che è molto sensibile, che ha sofferto molto nella sua vita e soffre d'ansia, di attacchi di panico. Ho già provato a lasciarlo senza successo, (gli ho detto che dovevamo parlare e già l'ho trovato molto in ansia ma poi quando me lo sono trovato davanti non ho trovato il coraggio di lasciarlo). Gli ho comunque detto più volte che gli voglio bene ma che ancora non provo niente di più.
Come posso comunicargli la cosa senza farlo soffrire troppo? Non voglio procurargli attacchi di panico ma voglio essere sincera con lui. Inoltre, è giusto provare a rimanere amici o è solo peggio?
So di essere speciale per lui e mi dispiacerebbe tanto ferirlo.