Życie prywatne Matt i Ross Duffer urodzili się i wychowali w Durham, w stanie Karolina Północna, jako synowie Ann M. Christensen, pośredniczki w obrocie nieruchomościami pracującej w niepełnym wymiarze godzin, oraz Allena P. Duffera Jr., miłośnika kina i dyrektora projektu w instytucie badawczym Research Triangle Institute.
Już w trzeciej klasie podstawówki zaczęli eksperymentować z filmowaniem, używając kamery wideo Hi8, którą otrzymali od rodziców. Ich pierwsze doświadczenia z reżyserią i tworzeniem scenariuszy miały miejsce w młodym wieku i odegrały kluczową rolę w kształtowaniu ich przyszłej kariery.
Uczęszczali do prywatnej szkoły Duke School for Children, a następnie kontynuowali edukację w publicznej szkole średniej Charles E. Jordan High School w Durham.
Po ukończeniu szkoły średniej zostali przyjęci na studia filmowe do College of Motion Picture Arts przy Florida State University, jednak zależało im na wspólnym studiowaniu. Chociaż odwiedzili m.in. Tisch School of the Arts na Uniwersytecie Nowojorskim oraz School of Cinematic Arts na Uniwersytecie Południowej Kalifornii (USC), nie zostali tam przyjęci.