Inspektorat Uzbrojenia powstał na bazie kilku istniejących ówcześnie komórek organizacyjnych: Departamentu Zaopatrywania Sił Zbrojnych MON, części Departamentu Polityki Zbrojeniowej MON odpowiedzialnej za prace rozwojowe i nadzór nad dokumentacją techniczną, Biura Analiz Rynku Uzbrojenia, Terenowego Oddziału Techniki Morskiej, Oddziału Budowy i Modernizacji Okrętów, Biura Pełnomocnika MON ds. Wdrażania Systemu Samolotu Wielozadaniowego F-16 Biura Pełnomocnika ds. Wdrażania KTO Rosomak i PPK Spike. Struktura organizacyjna IU opiera się w szczególności na Szefostwie Uzbrojenia, Szefostwie Techniki Lądowej, Szefostwie Techniki Morskiej, Szefostwie Techniki Lotniczej, Szefostwie Dowodzenia i Łączności, Oddziale Wsparcia Analiz i Sprawozdawczości oraz Oddziale Zamówień Zagranicznych.