Muzeum Kolejnictwa powstało 18 lutego 1928. W tym dniu minister komunikacji inż. Paweł Romocki w obecności otworzył Muzeum Kolejowe w tymczasowej siedzibie, zlokalizowanej w zachodnim skrzydle ówczesnego Dworca Głównego – Wiedeńskiego. Z 1928 pochodzi również rozporządzenie ministra komunikacji Alfonsa Kuehna w sprawie zatwierdzenia Regulaminu tymczasowego Muzeum Kolejowego (Nr IV 6031/11/28, z dnia 21 maja 1928 roku, opublikowane w Dzienniku Urzędowym Ministerstwa Komunikacji Nr 16 z 1928 roku, poz. 171, s.190).
Budowa linii średnicowej spowodowała konieczność rozbiórki zachodniego skrzydła Dworca Głównego. W 1931 podjęto decyzję o przeniesieniu Muzeum Kolejowego do kolejnej, wciąż tymczasowej, siedziby. W prywatnym budynku należącym do firmy Schicht przy ul. Nowy Zjazd 1 wynajęto 20 pomieszczeń. Na powierzchni około 900 m², w 19 działach zaprezentowano dokumenty, fotografie, książki, wiele modeli i makiet. 15 grudnia 1938 Muzeum Kolejowe przekształcono w Muzeum Komunikacji wzbogacając jego ekspozycje o dwa działy: dróg kołowych i dróg wodnych. Do 1939 Muzeum zgromadziło ponad 4 tysiące eksponatów, w tym blisko 400 modeli, 250 tablic i wykresów, ponad 550 fotografii oraz 8 tysięcy książek.