W większości procesorów korzystających z mikrokodu, mikroprogram nie znajduje się w pamięci operacyjnej, lecz w specjalnej szybkiej pamięci zwanej pamięcią sterującą (ang. control store). Może być to pamięć tylko do odczytu lub pamięć o dostępie swobodnym. W drugim przypadku mikrokod jest ładowany do pamięci sterującej, z innego urządzenia pamięci, podczas inicjacji procesora. Wtedy też możliwe jest modyfikowanie mikrokodu w celu usunięcia błędów lub dodania nowych instrukcji. Mikrokod może również pozwalać na emulację innej, zwykle bardziej złożonej, architektury komputerowej.
Początki mikroprogramowania Mikrokod został stworzony, by uprościć proces programowania maszyny. Początkowo lista rozkazów procesora była na sztywno wbudowana w fizyczną architekturę komputera. Każdej elementarnej instrukcji (dodawaniu, przesuwaniu, kopiowaniu słów) odpowiadał układ elektroniczny. Zapewniało to wprawdzie bardzo szybkie wykonanie programu, jednak listy rozkazów stawały się coraz bardziej złożone, a ich projektowanie i testowanie w postaci fizycznych obwodów elektrycznych coraz trudniejsze.