Filmen starter med, at Edie (Miller) ankommer til New York City fra sit velhavende hjem i Boston. Hun møder Andy Warhol (Pearce) og bliver en del af hans Factory-scene, en gruppe kunstnere, musikere og performere, der boede og arbejdede sammen i Warhols studie. Edie bliver hurtigt Warhols muse og optræder i mange af hans kortfilm og kunstværker.
Efterhånden som Edies stjerne stiger, bliver hun mere og mere involveret i narkoscenen, og hendes forhold til Warhol begynder at forværres. Hun begynder også at date Billy Quinn (Christensen), en karismatisk musiker, men deres forhold er tumultarisk og slutter i sidste ende. Edies tilbagegang fortsætter, og hun dør til sidst af en overdosis af stoffer i 1971 i en alder af 28.
Factory Girl er en tragisk historie om opkomsten og faldet af en ung kvinde, der var både smuk og talentfuld, men i sidste ende ødelagt af sine dæmoner. Filmen giver et indblik i Andy Warhols og fabrikkens verden og fanger ånden fra 1960'erne.
Filmen modtog blandede anmeldelser fra kritikere, som roste Millers præstation, men var kritiske over for filmens portrættering af Warhol and the Factory. Men filmen var en kommerciel succes og indtjente over 12 millioner dollars på verdensplan.