W 1827 roku rodzina Kątskich wyruszyła w pierwszą podróż artystyczną, odwiedzając Lwów, Wilno, Mitawę (obecnie Jegława) i Petersburg. W wieku pięciu lat Apolinary wystąpił jako cudowne dziecko na dworze carskim w Petersburgu. Następnie udał się z rodziną do Moskwy. Z powodu panującej wówczas epidemii cholery podróż trwała nader powolnie. Opuściwszy Moskwę w lipcu 1830 r. udali się do Lwowa, gdzie spędzili cały rok - do Krakowa przybyli w październiku 1831 r. We Lwowie spotkali się z m.in. z Karolem Lipińskim.
W latach 1861–1879 był dyrektorem oraz nauczycielem wyższej klasy skrzypiec (jego uczniem był m.in. Konstanty Gorski) tej uczelni, przemianowanej w 1919 roku w Państwowe Konserwatorium Muzyczne. Karierę muzyczną rozpoczął w wieku 4 lat, początkowo pod okiem ojca - Grzegorza Kątskiego, a następnie Niccolò Paganiniego. Koncertował m.in. w Petersburgu, Wiedniu, Paryżu i Londynie (m.in. w czasie uroczystości koronacyjnych królowej Wiktorii w 1837 r.). W latach 1853–1859 był solistą dworu carskiego w Sankt Petersburgu. Pochowany na cmentarzu Powązkowskim (kwatera 16-2-9/10).