Działalność polityczną rozpoczął na studiach w 1986 jako członek Ruchu Młodej Polski. Od 1990 do 1998 sprawował funkcję wiceprezydenta Sopotu. W wyborach w 1991 bezskutecznie kandydował do Sejmu z listy Koalicji Republikańskiej. Od 1992 działał w Partii Konserwatywnej i następnie w Stronnictwie Konserwatywno-Ludowym (m.in. jako przewodniczący regionu). W 1998 z listy AWS po raz kolejny został radnym, w tym samym roku następnie objął urząd prezydenta miasta. W 2001 znalazł się wśród założycieli regionalnych struktur Platformy Obywatelskiej. W 2002 w pierwszej turze wygrał bezpośrednie wybory na urząd prezydenta miasta. W 2006 został prezydentem również w pierwszej turze, uzyskując 63,47% głosów.
W lipcu 2008 trójmiejski przedsiębiorca Sławomir Julke zawiadomił prokuraturę o podejrzeniu popełnienia przez Jacka Karnowskiego przestępstwa żądania korzyści majątkowej w postaci dwóch mieszkań w zamian za zgodę na dobudowanie piętra w zabytkowej kamienicy (tzw. afera sopocka). Jacek Karnowski zaprzeczył oskarżeniom i stwierdził, że biznesmen rzeczywiście prosił go o zgodę na przebudowę budynku, został jednak odesłany do konserwatora zabytków.