Cette formule en forme d'intejection s'utilise couramment, au sens figuré, pour signifier poliment un refus offusqué, une dénégation.
Elle manifeste la méfiance ou le désintérêt du ou des locuteurs à l’égard de ce qui lui ou leur est proposé.
On dit par exemple : "Aller nous promener à la fête foraine ? Très peu pour moi !".
Ou : "Partir en vacances avec un couple d'amis ? Très peu pour nous !".
Sources : wiktionary.org et www.languefrancaise.net