Jego dyrektorem został Bronisław Gembarzewski – historyk wojskowości, muzeolog, a także wieloletni dyrektor warszawskiego Muzeum Narodowego (od 1916 do 1936). Otwarcia Muzeum Wojska w pierwotnym budynku przy ul. Podwale 15 dokonał gen. Józef Haller w kwietniu 1922.
Od 1933 muzeum mieściło się we wschodniej części gmachu Muzeum Narodowego w Alejach Jerozolimskich (w tamtym czasie al. 3 Maja). Placówka uzyskała tę lokalizację na podstawie porozumienia Zarządu Miasta (właściciela Muzeum Narodowego) z Ministerstwem Spraw Wojskowych (pożyczka dla miasta w wysokości 1 mln złotych na wykończenie zachodniej części gmachu za prawo użytkowania jego wschodniej części przez 50 lat).
Część zbiorów prezentowanych w muzeum pochodziła z gromadzonych od 1 poł. XIX wieku polskich pamiątek militarnych Wincentego Krasińskiego. W 1939 prezentowanych w nim było ponad 60 tys. eksponatów. Podczas okupacji niemieckiej zostały one wywiezione do Niemiec. Większość sal muzealnych i pomieszczenia zaplecza zamieniono na magazyny Waffen SS.
W sierpniu 1945 placówka została reaktywowana pod nazwą Muzeum Wojska Polskiego. Została udostępniona zwiedzającym w styczniu 1946. Działania rewindykacyjne przyczyniły się do odzyskania ok. 40 tys. eksponatów.