Amicizia con un disabile

Salve,
Vi scrivo perché da circa un mese mi ha contattato un ragazzo mentalmente e fisicamente disabile con il quale non so come comportarmi.
Ci siamo conosciuti quando frequentavamo la stessa associazione scout e con me legò particolarmente visto che ero l'unico tra i ragazzini che non lo prendeva in giro o lo provocava; era nel mio stesso reparto e, devo dire, la sua presenza mi rese quel periodo piuttosto pesante visto che a 12 anni mi ritrovavo con un ragazzo non autonomo nelle azioni quotidiane (vestirsi, andare in bagno ecc.) e nelle relazioni con gli altri ragazzini.
Adesso a distanza di 14 anni, grazie ai social network, mi ha rintracciato; siamo già usciti per una passeggiata, ed ora mi cerca in maniera più insistente, vorrebbe che gli trovassi una fidanzata ecc. Senza ipocrisia dico subito che se non l'ho ignorato è solo perché mi fa pena la sua condizione, la sua solitudine e la sua situazione familiare. Dall'altra parte mi vergogno profondamente di questo mio sentimento di repulsione, visto che non mi chiede la luna e comunque ha tutto il diritto di avere e coltivare rapporti sociali come ogni ragazzo della sua età.
Da parte mia, ho pochissimi amici, non ho ancora incontrato una ragazza con cui iniziare una relazione, ho da poco cominciato a lavorare, mi sto laureando dopo una pessima esperienza universitaria, e sto cercando di fare ordine nella mia vita dopo 10 anni (ne ho 29) in cui ho combattuto con un grave disturbo della sfera sessuale che mi ha condizionato molto nei miei rapporti con gli altri e che ho superato solo da poco, con grande fatica e un percorso psicoterapeutico.
Non so davvero come comportarmi in questa situazione, perché non ho alcuna idea su come gestire il rapporto tra la mia insofferenza e voglia di allontanare questo ragazzo e il rispetto che merita come tutti. Ho provato anche parlarne con altre persone, le quali dimostrano però la mia stessa ipocrisia visto che alle belle parole fanno seguire un eloquente "Veditela tu, non è un problema mio".
Vi ringrazio della vostra pazienza e spero di essere stato chiaro.
Cordiali saluti.