W tamtym czasie Football League składała się głównie z drużyn z północnej części Anglii, były to m.in. Bury, Notts County, Sheffield United i Preston North End. Na południu dalej działała Southern League i mimo tego, że nie było tam tak znanych drużyn, to właśnie te rozgrywki były najbardziej prestiżowe. Millwall było także tryumfatorem Western League w 1908 i 1909 roku. Swoje mecze rozgrywali na różnorodnych boiskach w Isle of Dogs. Nie było to dobre rozwiązanie, ponieważ na meczach pojawiało się od 300 do 4 tysięcy kibiców (najwięcej było na drugim boisku znajdującym się na North Ferry Road). Następnie Millwall dołączyło do Football League i rozgrywało swoje mecze na boisku małego londyńskiego klubu Woolwich Arsenal.
Lata 50. i 60. Forma Millwall w czasie lat 50. była słaba. Liczyła się wtedy praktycznie tylko walka o utrzymanie, jednak 5 października 1953 roku przy obecności 25 000 widzów Millwall zwyciężyło 2:1 z Manchesterem United w meczu towarzyskim.
Pod koniec lat 60. sytuacja uległa zmianie. „Lwy” (już teraz pod zmienionym przydomkiem) zaczęły liczyć się w Anglii. W drużynie nie brakowało talentów. Jednym z nich był bramkarz Alex Stepney, który przeszedł później do Manchesteru United i z „Czerwonymi Diabłami” sięgnął po Puchar Europy w 1968 roku.