Tekst W warstwie lirycznej utwór został przez autora zadedykowany „panu Jonesowi” – przeciętnemu Amerykaninowi – pozerowi czy kabotynowi bez celu w życiu, żałosnemu typowi, który po prostu niczego nie rozumie, ale w każdą niedzielę jest w swoim kościele, z uśmiechem przylepionym do twarzy, i który wykorzystuje każdą okazję, aby oszukać podczas wypełniana formularza podatkowego. Nieoczekiwanie jednak ten powierzchowny i płytki filister wkracza w coś, co całkowicie go przerasta – w ciemny krąg Piekła, gdzie „pan Jones”, który spodziewał się zatriumfować nad innymi, zostaje całkowicie pozbawiony swojego znaczenia. Sam Dylan nigdy, nawet pytany o to w wywiadach, nie wyjaśnił kim naprawdę jest „pan Jones”.
Piosenka została porównana do powieści Proces (1925), napisanej przez Franza Kafkę, z Dylanem odgrywającym rolę Wielkiego Inkwizytora.
W tekście piosenki „Yer Blues” (1968), napisanej przez Johna Lennona i nagranej przez brytyjski zespół The Beatles, autor nawiązał do tekstu utworu „Ballad of a Thin Man” słowami suicidal, just like Dylan’s Mr. Jones (tłum. samobójczy, dokładnie jak Mr. Jones u Dylana).
Dyskografia Singel 1965: „Just Like Tom Thumb’s Blues”/„Ballad of a Thin Man”