Udtrykket menes at have sin oprindelse i USA i det 19. århundrede, hvor sheriffer blev valgt til embedsmænd med ansvar for retshåndhævelse i deres respektive amter. Når en ny sherif blev valgt, hentede de ofte deres egne stedfortrædere og lavede ændringer i den måde, retshåndhævelsen blev udført på. Dette kan føre til væsentlige ændringer i lokalsamfundet, da den nye sherif måske har en anden tilgang til retshåndhævelse eller måske prioriterer andre spørgsmål end den tidligere sherif.
Med tiden kom udtrykket "en ny sherif i byen" til at blive brugt mere bredt for at henvise til enhver ny person i en myndighedsposition, som medfører ændringer eller har en væsentlig indflydelse på deres område. Det er nu almindeligt brugt i en række forskellige sammenhænge, såsom politik, erhvervsliv og sport.