Ponadto jest pionierem w badaniu wielowielowarstwowych (głębokich) modeli faktoryzacji macierzy i tensorów oraz algorytmów maszynowego uczenia, zwłaszcza dla ICA, NMF i analizy składowych rzadkich (SCA). Opracował i zaproponował nowe architektury rekurencyjnych sieci neuronowych do optymalizacji, rozwiązywania dużych układów równań algebraicznych i ślepej separacji sygnałów, zwłaszcza wielowarstwowych (głęboko) hierarchicznych sieci neuronowych. Przyczynił się do opracowania nowych algorytmów gradientu naturalnego do analizy niezależnych komponentów i ślepej separacji sygnałów. Opracował i badał kilkanaście nowych modeli sztucznych sieci neuronowych i matematycznych algorytmów uczenia maszynowego, m.in. do interfejsu mózg-komputer, rozpoznawania ludzkich emocji i wczesnej diagnostyki niektórych chorób, takich jak choroba Alzheimera.
W odpowiedzi na obawy niektórych ekspertów w dziedzinie sztucznej inteligencji dotyczące potencjalnych zagrożeń, jakie sztuczna inteligencja ogólna może stwarzać w przyszłości dla ludzkości analizował opracowanie nowatorskich systemów sztucznej inteligencji ogólnej z wieloma inteligencjami, obejmującymi, m.in.