Atteggiamento bambino 4 anni

Salve a tutti.
Avrei bisogno di un consiglio su come comportarmi con mio figlio di 4 anni e tre mesi.
È un bambino solare e simpatico anche se a volte introverso e spaventato dalle situazioni nuove.
Premetto che frequenta il secondo anno di asilo e che le maestre non si lamentano mai di lui anzi dicono che è un bambino bravo, ascolta le maestre e gioca con i compagni.
Il problema nasce quando andiamo alle feste di classe con tutti gli altri compagni.
Lui va sempre felicissimo ma puntualmente si ritrova ad un certo punto ad arrabbiarsi con qualcuno e a giocare da solo.
Ho fatto caso che se gli altri bambini non lo assecondano nel gioco che lui dice, lui si arrabbia tantissimo e smette di giocare dicendo che sono cattivi.
Io vado in uno sconforto totale perché lo vedo triste e non riesco a fargli capire che non deve arrabbiarsi così ma deve cercare di adeguarsi anche ai desideri degli altri.
Ho notato che se io non ci sono e lo lascio a queste feste con il padre questo non succede... se anche si arrabbia si calma subito e continua a giocare.
A questo punto ho capito che sicuramente sono io che sbagli ma non capisco in cosa...sicuramente intervengo troppo nelle dispute ma lo faccio perché ho paura che possono alzarsi le mani e mi vergognerei come madre se lo facesse così sono sempre lì a cercare di sedare gli animi... sono abbastanza angosciata da questa cosa che non ho più voglia di andare a queste feste... ma capisco che è sbagliato.