Jego kandydaturę zaproponował Jan hrabia Tyszkiewicz, u którego Józef Trzeciak był zatrudniony jako inspektor majątku. Swoje biura senackie miał w Girach i w Wilnie. 27 marca 1928 roku Józef otrzymał legitymację nr 80 senatora RP.
Był bezpartyjny, do Senatu dostał się z listy BBWR. Na kolejną kadencję nie wyraził zgody, pomimo że zabiegali o to nie tylko polscy chłopi i ziemianie, ale i przedstawiciele mniejszości narodowej. Józef odmówił, ponieważ nie chciał brać udziału w rządach sanacji oraz ze względu na zły stan zdrowia.
W 1932 roku został prezesem Okręgowego Towarzystwa Organizacji i Kółek Rolniczych i członkiem Zarządu Wojewódzkiego Towarzystwa Organizacji i Kółek Rolniczych. W 1933 roku był członkiem rady i zarządu Okręgowego Towarzystwa Organizacji i Kółek Rolniczych, przewodniczącym komisji rewizyjnej, członkiem Rady Oddziałowej Spółdzielni Mleczarsko-Jajecznej w Wilnie i delegatem na Zjazd Unifikacyjny w Warszawie.
W ostatnich latach życia, wskutek pogarszającego się zdrowia, Józef Trzeciak ograniczył swoją działalność do powiatu święciańskiego, ale do końca życia był aktywny zawodowo, zmarł w mieszkaniu swojej siostry przy ul. Portowej 4.