Paura di affrontare le persone

Buonasera, mi piacerebbe sentire l'opinione di esperti.
Nella vita sono sempre stato un tipo un po' remissivo cercando di evitare lo scontro fisico e verbale.
Questo mi capita quasi sempre con gli sconosciuti per qualsiasi ragione.
Non riesco a rispondere per come meritano neppure quando ho piena ragione.
L'altro giorno una macchina mi ha leggermente tamponato mentre faceva manovra e l'autista è uscito dalla sua auto come se niente fosse andandosene al bar.
Io avevo il sangue che mi ribolliva anche perché ho assistito a tutta la scena, ma non sapevo come dirglielo.
Poi è uscito e mi ha detto che non mi aveva toccato per niente, per fortuna non c'era alcun danno, e se ne è andato.
Perché non riesco a rispondere?
Sono bravo a pensare a vendette solo dopo che il fatto è accaduto, o mi limito ad augurgli mali terribili.
La cosa mi fa stare male perché capisco che se affrontassi di petto subito la situazione sarebbe più opportuno rispetto a pensare a come vendicarmi successivamente (cosa che naturalmente non ho mai fatto e mai farò, appena mi passa la rabbia dimentico l'episodio).
Mi ricordo che da piccolo facevo sempre a botte a scuola e ne uscivo fieramente, ora a 30 anni mi sento un verme.
Cosa ne pensate?

Grazie