Jednocześnie w środowisku naukowym istnieje krytyka dotycząca jego rzeczywistej trwałości i podstaw empirycznych – część badaczy wskazuje, że obserwowany wzorzec może być wynikiem zastosowanej metodologii oraz efektów statystycznych, a nie uniwersalnym mechanizmem psychologicznym.
Historia badania Kruger i Dunning zwrócili uwagę na liczne wcześniejsze badania, które zdają się sugerować, że w przypadku umiejętności tak różnorodnych, jak obsługa pojazdów mechanicznych, gra w szachy czy tenisa „ignorancja częściej jest przyczyną pewności siebie, niż wiedza” (jak to ujął Charles Darwin). Postawili oni hipotezę, że w przypadku umiejętności, którą każdy może posiąść w większym lub mniejszym stopniu, osoby niekompetentne:
nie dostrzegają swojego niskiego poziomu umiejętności, nie potrafią prawidłowo ocenić poziomu umiejętności u siebie, nie potrafią prawidłowo ocenić poziomu umiejętności u innych, rozpoznają i uznają swój niski poziom umiejętności dopiero po odpowiednim treningu.
Aby sprawdzić poprawność tej hipotezy, sprawdzili ją na studentach swojej uczelni, którzy zapisali się na różne kursy z psychologii.