Si può mangiare la farina di grano ed essere allergico a quella di riso o miglio o o orzo?

Mangio normalmente pasta e pizza senza problemi ma ho notato fastidi se la pizza è spesa con farina di riso?
Si può essere allergici al una e non all'altra?
Potrei riscontrare problemi se utilizzo quella di miglio o orzo?
Grazie mille per il consulto.