Her er hvad vi ved:
* Ingen bevis for sport: Der er ingen historiske optegnelser om Madisons deltagelse i nogen organiseret sport eller fysiske aktiviteter.
* Begrænsede fritidsaktiviteter: Madisons liv var stort set optaget af politik og intellektuelle sysler. Han var en glubsk læser, en skarp observatør af regeringen og en dedikeret studerende i historie og filosofi.
* Ridning: Selvom det ikke var en sport, var Madison kendt for at nyde ridning, sandsynligvis for transport og rekreation.
* Havearbejde: Madison havde også en stor interesse for landbrug og havearbejde, og forvaltede ofte sin egen ejendom.
Som konklusion var James Madisons liv fokuseret på intellektuelle stræben og offentlig service, med begrænset bevis på væsentlige atletiske eller rekreative hobbyer.