Podczas studiów na uniwersytecie Kołomienkin był wszechstronnym sportowcem, rywalizującym w kolarstwie, wioślarstwie, lekkoatletyce, pływaniu, jeździe na nartach, hokeju oraz grze w piłkę nożną. Po ukończeniu studiów na kierunku matematyka w 1898 roku Kołomienkin oprócz kariery łyżwiarskiej rozpoczął równolegle karierę strzelca, zdobywając 23 tytuły mistrza Rosji w strzelaniu z pistoletu (1906–1917).
thumb|left|Figury wykonane przez Panina w pokazie specjalnym mężczyzn na igrzyskach olimpijskich (1908) thumb|Znaczek pocztowy z wizerunkiem Panina (Rosja 1908) Największym sukcesem Panina było zdobycie pierwszego złotego medalu dla Imperium Rosyjskieego na letnich igrzyskach olimpijskich w 1908 w Londynie w pokazie specjalnym mężczyzn. Na tych samych igrzyskach brał również udział w zmaganiach solistów. Panin zajmował drugie miejsce po pierwszej części zawodów – figurach obowiązkowych, ale wycofał się przed programem dowolnym. Nigdy nie podano oficjalnego powodu jego decyzji, jednak spekulowano, że był on rozczarowany sędziowaniem zawodów, które dały prowadzenie jego największemu rywalowi Szwedowi Ulrichowi Salchowowi lub po prostu z rywalizacji wykluczyła go choroba.