Odona Bujwida pod Krakowem.
Wbrew otrzymanemu rozkazowi organizacyjnemu odmówił wyjazdu do USA, za co musiał stanąć do raportu przed Piłsudskim. Mimo zagrożenia dekonspiracją na własną prośbę kontynuował jednak działalność bojową w Łódzkiem pod kierownictwem Józefa „Montwiłła” Mireckiego, zmieniwszy jedynie pseudonim na „Ignacy”, pod którym wziął udział w akcji pod Rogowem i wielu innych, odnosząc tylko raz rany od postrzału śrutem (opatrzył go wtedy dr Mieczysław Michałowicz).
Pod koniec 1907 r., w trakcie przygotowań do likwidacji prowokatorów Ochrany Sankowskiego i Dyrcza w Warszawie, został ponownie aresztowany i tym razem osadzony w X Pawilonie Cytadeli. Posługiwał się wówczas kolejną fałszywą tożsamością, występując jako Jan Celiński. Wprawdzie strażnik Ciupiński rozpoznał go, ale nie wydał, a twierdzeniom innego więźnia nie dano wiary, dzięki czemu Kołakowski nie został zdekonspirowany jako jeden z dziesięciu uwolnionych rok wcześniej z Pawiaka. Skazano go najpierw na 4 lata więzienia, a następnie jeszcze na 12 lat katorgi za przestępstwa polityczne, do czego przyczyniły się zeznania zdrajcy Antoniego Sukiennika. W sierpniu 1914 r. – wobec wybuchu wojny – został wraz z innymi aresztantami ewakuowany do Orła nad Oką, gdzie wyszedł na wolność po wybuchu rewolucji lutowej 1917 r.