System MPEG-4 definiuje zestaw zaawansowanych algorytmów kompresji audio i informacji wizualnej. Strumienie danych podstawowych (ES - Elementary Streams), które wynikają z procesu kodowania mogą być przekazywane lub przechowywane oddzielnie, i muszą mieć możliwość odtworzenia tak aby po stronie odbiorcy ukazać aktualną prezentację multimedialną.
Część systemów MPEG-4 zajmuje się opisem relacji pomiędzy elementami audio-wizualnymi. Ten związek jest opisany w dwóch głównych poziomach.
Binary Format Scenes (BIFS) opisuje czasowo-przestrzenne układy scen. Widzowie mogą mieć możliwość interakcji z obiektami, np. przez przekształcenie ich w scenie lub zmieniając ich własny punkt widzenia w wirtualnym środowisku 3D. Opis sceny stanowi bogaty zbiór węzłów dla operatorów kompozycji 2-D i 3-D oraz grafiki. Object Descriptors (ODs) określają związek między podstawowymi strumieniami (ES) odnoszącymi się do poszczególnych obiektów ODs, jak również podają dodatkowe informacje, takie jak np. adres URL, niezbędne do uzyskania dostępu do strumienia podstawowego.