Connery blev født i Edinburgh, Skotland, i 1930. Hans far var fabriksarbejder, og hans mor var rengøringsassistent. Connery forlod skolen i en alder af 13 og begyndte at arbejde som mælkemand. Han kom senere til Royal Navy, hvor han gjorde tjeneste i tre år.
Connerys skuespillerkarriere begyndte i begyndelsen af 1950'erne, da han optrådte i en række små roller i britiske film. Hans store gennembrud kom i 1962, da han blev castet som James Bond i filmen Dr. No. Filmen var en stor succes, og Connery blev hurtigt en af de mest populære skuespillere i verden.
Connery fortsatte med at spille James Bond i yderligere seks film, herunder From Russia with Love (1963), Goldfinger (1964), Thunderball (1965), You Only Live Twice (1967), Diamonds Are Forever (1971) og Never Say Never Again (1983). Han medvirkede også i en række andre succesrige film i løbet af 1960'erne og 1970'erne, herunder The Great Escape (1963), Murder on the Orient Express (1974) og The Man Who Would Be King (1975).
I 1980'erne begyndte Connerys karriere at falde. Han medvirkede i en række dårligt modtagne film, herunder Outland (1981), Never Say Never Again (1983) og The League of Extraordinary Gentlemen (2003). Han modtog dog en del kritikerros for sine roller i The Untouchables (1987), Indiana Jones and the Last Crusade (1989) og The Rock (1996).
Connery trak sig tilbage fra skuespil i 2006. Han har modtaget adskillige priser for sit arbejde, herunder en Oscar-pris, to BAFTA-priser og tre Golden Globe-priser. Han blev også slået til ridder af dronning Elizabeth II i 2000.