Intolleranza o allergia al latte?

Da un po' di tempo mi sono resa conta che ogni qual volta ingerisca del latte, questo mi provoca un po' mal di stomaco, ma mai nulla di eccessivo.
Stamattina per colazione ho bevuto una tazza di caffè latte e il cuore ha iniziato a battermi forte, quasi come se stessi per avere un attacco di panico, ho avuto una scarica di diarrea e dopo un po' tutto è passato.
Dopo pranzo però ho avuto altre due scariche di diarrea, e a pranzo ho mangiato del Philadelphia, che non mi ha mai dato problemi da che ho memoria.

Cosa può essere? Tutt'ora non mi sento molto bene.