Cette locution nominale en forme d'idiotisme numérique signifie :
- au sens figuré : un comparse peu important d’une association de malfaiteurs, n’ayant qu’un rôle d’exécutant,
- et, par extension, péjorativement: une personne de second rang dans son domaine d'activité, un subalterne, un exécutant, un auxiliaire, un subordonné.
On parle par exemple de second couteau en politique ou dans le cinéma.