Kontrowersje Lou Reed, piosenkarz i autor tekstów, który był blisko związany z Fabryką i znał Sedgwick, mocno krytykował film. Uważał, że jest to wykorzystywanie ludzi, ich historii i wizerunku dla pieniędzyFischer, Martha. „Factory Girl: Oscar Material for Sienna Miller?”. Cinematical. August 19, 2006.„Dylan Threatens Action Over Sedgwick Biopic”. The Guardian. December 15, 2006..
Bob Dylan groził poprzez swoich prawników pozwem. Twierdzili oni, że scenariusz sugeruje, że to Dylan jest odpowiedzialny za uzależnienie od narkotyków i śmierć EdieYuan, Jada. „The Freewheelin' Hayden”. New York. February 5, 2007.. Jonathan Sedgwick twierdzi, że w wyniku romansu z Dylanem jego siostra zaszła w ciążę, którą później usunęłaJohnson, Richard. „My Sister Edie Loved Dylan”. New York Post. January 2, 2007.Cole, Olivia. „Warhol Muse 'Lost Baby by Dylan'”. The Sunday Times. January 7, 2007..
Casting Katie Holmes była brana pod uwagę do głównej roli, jednak zrezygnowała z udziału w filmie. Według doniesień Tom Cruise przekonał ją, że rola ta wpłynie negatywnie na jej wizerunekBrett, Anwar. Movies, An Interview with Katie Holmes BBC.