W 2004 zagrała w trzech filmach: Egzamin dojrzałości, W doborowym towarzystwie i Lokatorka, a za ten ostatni otrzymała swoją trzecią nominację do Złotego Globu. Również w 2004 zasiadła w jury konkursu głównego na 61. MFF w Wenecji.

W lipcu 2005 wystąpiła po raz pierwszy u Woody’ego Allena w filmie Wszystko gra, w którym przejęła rolę początkowo powierzoną Kate Winslet; Allen zmienił narodowość jej bohaterki z brytyjskiej na amerykańską. Za udział w dzieltym filmie otrzymała swoją czwartą w karierze nominację do Złotego Globu. W tym samym roku zagrała u boku Ewana McGregora w swojej pierwszej roli w filmie akcji, Wyspa. W 2006 zagrała w swoim kolejnym filmie reżyserowanym przez Allena, Scoop – Gorący temat. Pojawiła się także w czarno-białym filmie Briana De Palmy Czarna Dalia (2006), do którego zdjęcia zrealizowano w Los Angeles i Bułgarii. W wywiadach promujących film, że jako fanka reżysera chciała z nim pracować, chociaż była „fizycznie nieprzystosowana” do roli. Jej kreację oceniono dwojako: serwis CNN odnotował, że Johansson „wchłania atmosferę tamtych czasów jak tlen”, tymczasem inni krytycy mówili o źle obsadzonej roli. Aktorka następnie zagrała w thrillerze Christophera Nolana Prestiż, w którym wystąpiła jako Olivia Wenscombe, asystentka i kochanka magika Roberta Angiera (Hugh Jackman).