Cette expression laudative désignant quelqu'un de très expérimenté est, elle aussi, un legs de Napoléon Ier ! C'est en effet lui qui a créé la garde impériale, qui « meurt mais ne se rend pas ». Cette faction était composée de la « vieille garde » et de la « jeune garde » (respectivement les vieux soldats et les jeunes) et, du fait de la réputation de ce corps d'armée, les anciens soldats jouissaient d'un prestige relativement élevé. Cela était d'autant plus vrai pour les vieux soldats de la vieille garde (donc les plus anciens des vétérans), qui étaient vus par les jeunes comme des gens d'expérience qui avaient traversé moult batailles et toujours avaient survécu

Cette expression est apparue pour la première fois dans la littérature dans Le cousin Pons d'Honoré de Balzac : « […] il avait l'air curieux d'un jeune soldat écoutant un vieux de la vieille. » et a ensuite été réemployée à diverses reprises, notamment par Théophile Gautier dans le poème du même nom.

Grenadier de la Vieille Garde