Johnson blev født i Canton, South Dakota, og opvokset på en gård. Han dimitterede fra University of South Dakota i 1982 med en grad i statskundskab. Efter at have arbejdet i flere år som lovgivende medhjælper blev han valgt ind i South Dakota Repræsentanternes Hus i 1986. Han tjente i huset i seks år, heraf to år som taler.
I 1996 blev Johnson valgt til det amerikanske senat og besejrede den siddende republikaner Larry Pressler. Han blev genvalgt til en anden periode i 2002 og en tredje periode i 2008.
Johnson var kendt for sine moderate politiske synspunkter og sin vilje til at arbejde med både republikanere og demokrater. Han var også en stærk tilhænger af landbrug og udvikling af landdistrikter.
I 2014 meddelte Johnson, at han ikke ville søge en fjerde periode i Senatet. Han nævnte helbredsproblemer, herunder et slagtilfælde, han havde lidt i 2006, som årsagen til sin beslutning.
Johnson forlod senatet i 2015. Han er nu pensioneret og bor i Vermillion, South Dakota.