Choć po przeprowadzce z Nowego Jorku do Atlanty nie zapewniono jej nawet miejsca do pracy, Baker udało się w krótkim czasie zorganizować w ramach Crusade skoordynowane wydarzenia w dwudziestu jeden miastach.
Pomimo rezultatów, które przynosiła jej praca, wkład Baker w Konferencję był systematycznie umniejszany: walka o równe prawa dla Afroamerykanów nie szła w parze z walką o równouprawnienie kobiet. Pomimo frustracji, Baker pomogła znaleźć nowego kandydata na swoje stanowisko. Tymczasem Konferencja nadal polegała na Baker: gdy we wrześniu 1958 King został dźgnięty nożem, Ella przejęła jego obowiązki, takie jak przemowy na wiecach i prowadzenie korespondencji podczas jego długiej rekonwalescencji. Jednocześnie nadal wspierała lokalne inicjatywy, takie jak działania Ruby i Freda Shuttlesworth w Birmingham, których dom był wielokrotnie celem brutalnych ataków, czy akcję mającą na celu zachęcić więcej Afroamerykanów do rejestracji w wyborach, pomimo oporu lokalnej, białej administracji, która w większości przypadków znajdywała pretekst, by nie rejestrować potencjalnych czarnych wyborców.
W 1960 roku opuściła SCLC. Na jej decyzji zaważyło skupienie się organizacji na kulcie jednostki Kinga, a nie na wspieraniu i rozwijaniu oddolnych inicjatyw. Baker wierzyła, że głównym problemem czarnych Amerykanów była bierność, która wynikała z oczekiwania na zmianę, która przyjdzie z zewnątrz.
Pokojowy Komitet Koordynacyjny Studentów