Ukończyła też uczelnię, choć z brakującym jednym zaliczeniem.
W Yale Grimm poznała piosenkarza Davida Longstretha wchodząc wkrótce w skład jego zespołu, Dirty Projectors. W tym czasie jej brat, Joseph Grimm, również tworzył muzykę pod pseudonimem Wind-Up Bird. 31 października 2002 Grimm wydała własnym nakładem album North Country, złożony z 4 utworów, które sama napisała, wykonała i zarejestrowała. Album udostępniła jako digital download za pośrednictwem serwisu Bandcamp.
Na początku 2004 Grimm nawiązała kontakt korespondencyjny z Michaelem Girą. Wysłała mu surowe demo swojej wokalizy do partii instrumentalnych. Gira zainteresował się jej głosem zachęcając ją do pracy nad jego rozwojem. Artystka poszła za jego radą.
Harpoon (2005) Podczas studiów w Yale Grimm nagrała i wydała w 2005 roku nakładem wytwórni Secret Eye swój debiutancki album, Harpoon. Choć album składa się w całości z oryginalnego materiału, to uwidocznił się w nim wpływ korzeni muzycznych Grimm z pogórza Georgii, nadając muzyce głębokiego, instruktywnego charakteru.