L'aprenentatge profund topològic (TDL) és un camp de recerca que estén l'aprenentatge profund per gestionar estructures de dades complexes i no euclidianes. Els models tradicionals d'aprenentatge profund, com ara les xarxes neuronals convolucionals (CNN) i les xarxes neuronals recurrents (RNN), excel·leixen en el processament de dades en quadrícules i seqüències regulars. Tanmateix, les dades científiques i del món real sovint presenten dominis de dades més complexos que es troben en els càlculs científics, com ara núvols de punts, malles, sèries temporals, gràfics de camps escalars o espais topològics generals com ara complexos simplicials i complexos CW. El TDL aborda això incorporant conceptes topològics per processar dades amb relacions d'ordre superior, com ara interaccions entre múltiples entitats i jerarquies complexes. Aquest enfocament aprofita estructures com els complexos simplicials i els hipergrafs per capturar dependències globals i propietats espacials qualitatives, oferint una representació més matisada de les dades. La TDL també engloba mètodes de topologia computacional i algebraica que permeten estudiar les propietats de les xarxes neuronals i el seu procés d'entrenament, com ara el seu rendiment predictiu o les propietats de generalització. Els fonaments matemàtics de la TDL són la topologia algebraica, la topologia diferencial i la topologia geomètrica. Per tant, la TDL es pot generalitzar per a dades sobre varietats diferenciables, nusos, enllaços, embolics, corbes, etc.

Història i motivació Les tècniques tradicionals de l'aprenentatge profund sovint operen sota la suposició que un conjunt de dades resideix en un espai altament estructurat (com ara imatges, on les xarxes neuronals convolucionals presenten un rendiment excel·lent respecte a mètodes alternatius) o un espai euclidià. La prevalença de nous tipus de dades, en particular grafs, malles i molècules, va donar lloc al desenvolupament de noves tècniques, que van culminar en el camp de l'aprenentatge profund geomètric, que originalment va proposar una perspectiva de processament de senyals per tractar aquests tipus de dades. Tot i que originalment es limitava als grafs, on la connectivitat es defineix en funció de nodes i arestes, el treball de seguiment va ampliar els conceptes a una varietat més gran de tipus de dades, incloent-hi complexos simplicials i complexos CW, i treballs recents proposen una perspectiva unificada de la transmissió de missatges en complexos combinatoris generals.

Una perspectiva independent sobre diferents tipus de dades es va originar a partir de l'anàlisi de dades topològiques, que va proposar un nou marc per descriure la informació estructural de les dades, és a dir, la seva "forma", que és inherentment conscient de múltiples escales en les dades, que van des de la informació local fins a la informació global. Tot i que al principi es van restringir a conjunts de dades més petits, treballs posteriors van desenvolupar nous descriptors que resumien de manera eficient la informació topològica dels conjunts de dades per fer-los disponibles per a tècniques tradicionals d'aprenentatge automàtic, com ara màquines de vectors de suport o boscos aleatoris. Aquests descriptors anaven des de noves tècniques per a l'enginyeria de característiques fins a noves maneres de proporcionar coordenades adequades per als descriptors topològics, o la creació de mesures de dissimilaritat més eficients.

La recerca contemporània en aquest camp se centra principalment en integrar informació sobre la topologia de dades subjacent en models d'aprenentatge profund existents o en obtenir noves maneres d'entrenar en dominis topològics.

Aprenentatge en espais topològics miniatura|300x300px|Les tasques d'aprenentatge en dominis topològics es poden classificar àmpliament en tres categories: classificació cel·lular, predicció cel·lular i classificació complexa. Centrant-se en la topologia en el sentit de la topologia de conjunts de punts, una branca activa de la TDL s'ocupa de l'aprenentatge en espais topològics, és a dir, en diferents dominis topològics.

Una introducció als dominis topològics Un dels conceptes bàsics de l'aprenentatge profund topològic és el domini sobre el qual es defineixen i es donen suport a aquestes dades. En el cas de dades euclidianes, com ara imatges, aquest domini és una graella sobre la qual es suporta el valor del píxel de la imatge. En un context més general, aquest domini podria ser un domini topològic. A continuació, introduïm els dominis topològics més comuns que es troben en un entorn d'aprenentatge profund. Aquests dominis inclouen, entre d'altres, grafs, complexos simplicials, complexos cel·lulars, complexos combinatoris i hipergrafs.

Donat un conjunt finit S d'entitats abstractes, una funció de veïnatge a S és una assignació que s'adjunta a cada punt a S un subconjunt de S o una relació. Aquesta funció es pot induir equipant S amb una estructura auxiliar. Les arestes proporcionen una manera de definir relacions entre les entitats de S. Més concretament, les arestes d'un graf permeten definir la noció de veïnatge utilitzant, per exemple, la noció de veïnatge d'un salt. Tanmateix, les arestes tenen una capacitat de modelització limitada, ja que només es poden utilitzar per modelar relacions binàries entre entitats de S, ja que cada aresta està connectada normalment a dues entitats. En moltes aplicacions, és desitjable permetre relacions que incorporin més de dues entitats. La idea d'utilitzar relacions que impliquen més de dues entitats és central en els dominis topològics. Aquestes relacions d'ordre superior permeten definir una gamma més àmplia de funcions de veïnatge sobre S per capturar interaccions multidireccionals entre entitats de S.

A continuació, revisem les principals propietats, avantatges i desavantatges d'alguns dominis topològics estudiats habitualment en el context de l'aprenentatge profund, incloent-hi els complexos simplicials (abstractes), els complexos de cel·les regulars, els hipergrafs i els complexos combinatoris. miniatura|550x550px|(a): Un grup S està format per parts bàsiques (vèrtexs) sense cap connexió. (b): Un graf representa connexions simples entre les seves parts (vèrtexs) que són elements de S. (c): Un complex simplicial mostra una manera com les parts (relacions) estan connectades entre si, però amb regles estrictes sobre com estan connectades. (d): Igual que els complexos simplicials, un complex cel·lular mostra com es connecten les parts (relacions), però és més flexible en la seva forma (com les "cèl·lules"). (f): Un hipergraf mostra qualsevol tipus de connexions entre parts de S, però aquestes connexions no estan organitzades en cap ordre en particular. (e): Un CC barreja elements de complexos cel·lulars (connexions amb ordre) i hipergrafs (connexions variades), cobrint ambdós tipus de configuracions.

Comparacions entre dominis topològics Cadascun dels dominis topològics enumerats té les seves pròpies característiques, avantatges i limitacions:

Complexos simplicials Forma més simple dels dominis d'ordre superior. Extensions de models basats en grafs. Admet estructures jeràrquiques, fent-les adequades per a diverses aplicacions. La teoria de Hodge es pot definir naturalment sobre complexos simplicials. Exigir que les relacions siguin subconjunts de relacions més grans, imposant restriccions a l'estructura. Complexos cel·lulars Generalitzar els complexos simplicials. Proporcionar més flexibilitat en la definició de relacions d'ordre superior. Cada cèl·lula d'un complex cel·lular és homeomorfa a una bola oberta, unides entre si mitjançant mapes d'adhesió. Les cèl·lules límit de cada cèl·lula d'un complex cel·lular també són cèl·lules del complex. Representat combinatòriament mitjançant matrius d'incidència. Hipergrafs Permetre relacions arbitràries de tipus conjunt entre entitats. Les relacions no són imposades per altres relacions, cosa que proporciona més flexibilitat. No codifiqueu explícitament la dimensió de les cel·les o relacions. Útil quan les relacions de les dades no s'adhereixen a les restriccions imposades per altres models com ara els complexos simplicials i cel·lulars. Complexos combinatoris: Generalitzar i connectar les diferències entre complexos simplicials, complexos cel·lulars i hipergrafs. Permetre estructures jeràrquiques i relacions de tipus conjunt. Combina característiques d'altres complexos alhora que proporciona més flexibilitat en el modelatge de relacions. Es pot representar combinatòriament, de manera similar als complexos cel·lulars.

Estructura jeràrquica i relacions de tipus conjunt Les propietats dels complexos simplicials, els complexos cel·lulars i els hipergrafs donen lloc a dues característiques principals de les relacions en dominis d'ordre superior, és a dir, les jerarquies de relacions i les relacions de tipus conjunt.

Les tasques d'aprenentatge en TDL es poden classificar àmpliament en tres categories:

Classificació cel·lular: Predir objectius per a cada cèl·lula d'un complex. Alguns exemples inclouen la segmentació de malles triangulars, on la tasca és predir la classe de cada cara o aresta d'una malla determinada. Classificació complexa: Predir objectius per a tot un complex. Per exemple, prediu la classe de cada malla d'entrada. Predicció cel·lular: predir les propietats de les interaccions cèl·lula-cèl·lula en un complex i, en alguns casos, predir si existeix una cèl·lula en el complex. Un exemple és la predicció d'enllaços entre entitats en hiperarestes d'un hipergraf.

Xarxes neuronals topològiques miniatura|400x400px|El pas de missatges d'ordre superior és un model d'aprenentatge profund definit en un domini topològic i es basa en el pas d'informació de missatges entre entitats del domini subjacent per tal de realitzar una tasca d'aprenentatge. Les xarxes neuronals topològiques (TNN), arquitectures especialitzades dissenyades per operar amb dades estructurades en dominis topològics, són fonamentals per a la TDL. A diferència de les xarxes neuronals tradicionals dissenyades per a estructures de tipus quadrícula, les TNN són expertes en el maneig de representacions de dades més complexes, com ara grafs, complexos simplicials i complexos cel·lulars. Aprofitant la topologia inherent de les dades, les TNN poden capturar relacions tant locals com globals, permetent una anàlisi i una interpretació matisades.

Aprenentatge sobre descriptors topològics Motivats per la naturalesa modular de les xarxes neuronals profundes, el treball inicial en TDL es va inspirar en l'anàlisi de dades topològiques i tenia com a objectiu fer que els descriptors resultants fossin susceptibles d'integració en models d'aprenentatge profund. Això va conduir a treballar per definir noves capes per a xarxes neuronals profundes. El treball pioner de Hofer et al., per exemple, va introduir una capa que permetia integrar descriptors topològics com ara diagrames de persistència o codis de barres de persistència en una xarxa neuronal profunda. Això es va aconseguir mitjançant funcions de projecció entrenables de principi a fi, que permeten utilitzar característiques topològiques per resoldre tasques de classificació de formes, per exemple. El treball de seguiment va ampliar més les propietats teòriques d'aquests descriptors i els va integrar en el camp de l'aprenentatge de representacions. Altres capes topològiques d'aquest tipus inclouen capes basades en descriptors d'homologia persistent estesa, paisatges de persistència, o funcions de coordenades. En paral·lel, l'homologia persistent també ha trobat aplicacions en tasques d'aprenentatge de grafs. Alguns exemples destacables són els nous algoritmes per aprendre funcions de filtració específiques de tasques per a la classificació de grafs o tasques de classificació de nodes.

Aplicacions