Struktura wewnętrzna formatu Plik OpenDocument jest skompresowanym archiwum JAR, zawierającym pliki i katalogi. Ten prosty mechanizm kompresji powoduje, że pliki OpenDocument są zwykle znacznie mniejsze niż ich odpowiedniki w formacie Microsoft „.doc” czy „.ppt”. Mniejszy rozmiar jest istotny dla organizacji przechowujących wiele dokumentów przez długi czas, a także organizacji, które muszą wymieniać dokumenty za pomocą łączy o niskiej przepustowości. Zdekompresowane dane są w większości zawarte w tekstowych plikach XML, co umożliwia (po dekompresji) typową dla XML łatwość modyfikacji i przetwarzania. W celu przetwarzania dokumentów, standard umożliwia również utworzenie pojedynczego pliku XML, którego elementem głównym jest <office:document>.
Katalogi mogą być użyte do przechowywania obrazów, animacji (poza SMIL) i innych plików, używanych przez dokument, a nie dających się zapisać w XML.