Cette locution verbale en forme d'idiotisme corporel relève du registre familier.
Et elle signifie, au sens figuré, que l'on parle de vous - en mal - en votre absence ; que l'on vous critique.
On dit par exemple : "J'ai dû avoir les oreilles qui sifflaient, hier soir, après mon départ.