En l'aprenentatge automàtic, un camp neuronal (també conegut com a representació neuronal implícita, neuronal implícita o xarxa neuronal basada en coordenades) és un camp matemàtic que està totalment o parcialment parametritzat per una xarxa neuronal. Inicialment desenvolupat per abordar tasques de computació visual, com ara la renderització o la reconstrucció (per exemple, camps de radiància neuronal), els camps neuronals van sorgir com una estratègia prometedora per tractar una gamma més àmplia de problemes, inclosa la modelització subrogada d'equacions diferencials parcials, com ara en les xarxes neuronals basades en la física.
A diferència dels algoritmes tradicionals d'aprenentatge automàtic, com ara les xarxes neuronals de prealimentació, les xarxes neuronals convolucionals o els transformadors, els camps neuronals no treballen amb dades discretes (per exemple, seqüències, imatges, fitxes), sinó que assignen entrades contínues (per exemple, coordenades espacials, temps) a sortides contínues (és a dir, escalars, vectors, etc.). Això fa que els camps neuronals no només siguin independents de la discretització, sinó que també siguin fàcilment diferenciables. A més, tractar amb dades contínues permet una reducció significativa de la complexitat espacial, la qual cosa es tradueix en una xarxa molt més lleugera.
Formulació i formació Segons el teorema d'aproximació universal, si hi ha un aprenentatge adequat, un nombre suficient d'unitats ocultes i la presència d'una relació determinista entre l'entrada i la sortida, una xarxa neuronal pot aproximar qualsevol funció amb qualsevol grau de precisió.
Per tant, en termes matemàtics, donat un camp , amb i , un camp neuronal , amb paràmetres , és tal que:
Formació Per a tasques supervisades, donat exemples al conjunt de dades d'entrenament (és a dir, ), els paràmetres del camp neuronal es poden aprendre minimitzant una funció de pèrdues (per exemple, l'error quadràtic mitjà). Els paràmetres que satisfan el problema d'optimització es troben com: Cal destacar que no cal conèixer l'expressió analítica de , per al procediment d'entrenament descrit anteriorment només requereix parells d'entrada-sortida. De fet, un camp neuronal és capaç d'oferir un substitut continu i diferenciable del camp real, fins i tot a partir de dades purament experimentals.
A més, els camps neuronals es poden utilitzar en entorns no supervisats, amb objectius d'entrenament que depenen de la tasca específica. Per exemple, les xarxes neuronals basades en la física es poden entrenar només amb el residual.
Biaix espectral Com passa amb qualsevol xarxa neuronal artificial, els camps neuronals es poden caracteritzar per un biaix espectral (és a dir, la tendència a aprendre preferiblement el contingut de baixa freqüència d'un camp), cosa que possiblement porta a una mala representació de la realitat. Per superar aquesta limitació, s'han desenvolupat diverses estratègies. Per exemple, SIREN utilitza activacions sinusoïdals, mentre que l'enfocament de característiques de Fourier integra l'entrada a través de sinus i cosinus.
Camps neuronals condicionals En molts casos del món real, però, aprendre un sol camp no és suficient. Per exemple, quan es reconstrueixen formes de vehicles en 3D a partir de dades Lidar, és desitjable tenir un model d'aprenentatge automàtic que pugui treballar amb formes arbitràries (per exemple, un cotxe, una bicicleta, un camió, etc.). La solució és incloure paràmetres addicionals, les variables latents (o codi latent). , per variar el camp i adaptar-lo a tasques diverses.
Producció de codi latent alt=Conditional neural field with encoder; scheme|miniatura|Camp neuronal condicional amb codificador Quan es tracta de camps neuronals condicionals, la primera opció de disseny està representada per la manera com es produeix el codi latent. En concret, es poden identificar dues estratègies principals: alt=Auto-decoding conditional neural field; scheme|miniatura|Camp neuronal condicional d'autodescodificació
Codificador: el codi latent és la sortida d'una segona xarxa neuronal, que actua com a codificador. Durant l'entrenament, la funció de pèrdua és l'objectiu que s'utilitza per aprendre els paràmetres tant del camp neuronal com del codificador. Autodescodificació: cada exemple d'entrenament té el seu propi codi latent, entrenat conjuntament amb els paràmetres del camp neuronal. Quan el model ha de processar exemples nous (és a dir, que no eren presents originalment al conjunt de dades d'entrenament), es resol un petit problema d'optimització, mantenint els paràmetres de xarxa fixos i aprenent només les noves variables latents.
Com que aquesta última estratègia requereix passos d'optimització addicionals en el moment de la inferència, sacrifica la velocitat, però manté el model general més petit. A més, tot i ser més senzill d'implementar, un codificador pot perjudicar les capacitats de generalització del model. Per exemple, quan es tracta d'un camp escalar físic (per exemple, la pressió d'un fluid 2D), un camp neuronal condicional basat en un autodescodificador pot assignar un punt únic al valor corresponent del camp, seguint un codi latent après . Tanmateix, si les variables latents fossin produïdes per un codificador, caldria accedir a tot el conjunt de punts i els valors corresponents (per exemple, com una quadrícula normal o un gràfic de malla), cosa que donaria lloc a un model menys robust.
Condicionament global i local En un camp neuronal amb condicionament global, el codi latent no depèn de l'entrada i, per tant, ofereix una representació global (per exemple, la forma general d'un vehicle). Tanmateix, depenent de la tasca, pot ser més útil dividir el domini de en diversos subdominis i aprendre diferents codis latents per a cadascun (per exemple, dividir una escena gran i complexa en subescenes per a una renderització més eficient). Això s'anomena condicionament local.
Estratègies de condicionament Hi ha diverses estratègies per incloure la informació de condicionament en el camp neuronal. En el marc matemàtic general, condicionar el camp neuronal amb les variables latents és equivalent a assignar-les a un subconjunt. dels paràmetres del camp neuronal: A la pràctica, les estratègies més destacables són:
Concatenació: el camp neuronal rep, com a entrada, la concatenació de l'entrada original amb els codis latents Per a les xarxes neuronals de prealimentació, això és equivalent a configurar com el biaix de la primera capa i com una transformació afí. Hiperxarxes: una hiperxarxa és una xarxa neuronal que genera els paràmetres d'una altra xarxa neuronal. Concretament, consisteix en aproximar amb una xarxa neuronal , on són els paràmetres entrenables de la hiperxarxa. Aquest enfocament és el més general, ja que permet aprendre la correspondència òptima des dels codis latents fins als paràmetres del camp neuronal. Tanmateix, les hiperxarxes s'associen a una major complexitat computacional i de memòria, a causa del gran nombre de paràmetres entrenables. Per tant, s'han desenvolupat enfocaments més àgils. Per exemple, en la Modulació Lineal per Característiques (FiLM), la hiperxarxa només produeix coeficients d'escala i biaix per a les capes del camp neuronal.
Metaaprenentatge En lloc de confiar en el codi latent per adaptar el camp neuronal a una tasca específica, també és possible explotar el meta-aprenentatge basat en gradients. En aquest cas, el camp neuronal es veu com l'especialització d'un meta-camp neuronal subjacent, els paràmetres del qual es modifiquen per adaptar-se a la tasca específica, mitjançant uns quants passos de descens de gradient. Una extensió d'aquest marc de meta-aprenentatge és l'algoritme CAVIA, que divideix els paràmetres entrenables en grups específics del context i compartits, millorant la paral·lelització i la interpretabilitat, alhora que redueix el meta-sobreajustament. Aquesta estratègia és similar al camp neuronal condicional d'autodescodificació, però el procediment d'entrenament és substancialment diferent.
Aplicacions Gràcies a la possibilitat de modelar eficientment diversos camps matemàtics amb xarxes neuronals, els camps neuronals s'han aplicat a una àmplia gamma de problemes: alt=Neural radiance field (NeRF) pipeline|miniatura|Canalització del camp de radiància neuronal (NeRF)
Reconstrucció d'escenes 3D: els camps neuronals es poden utilitzar per modelar les propietats de les escenes 3D (és a dir, geometria, aparença, materials i il·luminació), tant en casos estàtics com dinàmics. Per exemple, un camp neuronal pot aprendre funcions de distància amb signe (SDF) o funcions d'ocupació, que proporcionen una representació eficient i contínua de la geometria. Un altre exemple està representat pels camps de radiància neuronal (NeRF), que aprenen a renderitzar escenes 3D, assignant coordenades i angles de visió a la radiància i densitat corresponents. Humans digitals: els camps neuronals es poden utilitzar per modelar la forma i l'aparença humanes i poden incloure informació sobre els moviments complexos d'un cos humà. Modelització generativa: aprofitant el condicionament, els camps neuronals també poden funcionar com a models generatius profunds. Processament d'imatges: pel que fa a les xarxes neuronals convolucionals, els camps neuronals ofereixen una representació contínua de la imatge i, per tant, no es limiten a la discretització original dels píxels. Robòtica: els punts forts dels camps neuronals en la reconstrucció d'escenes també són útils en robòtica, ja que la navegació requereix reconstruir l'entorn a partir de dades de sensors. A més, els camps neuronals es poden utilitzar per a la planificació i el control. Compressió de dades amb pèrdues Processament de senyals
alt=Scheme of the CORAL architecture, using conditional neural fields for operator learning|miniatura|Arquitectura CORAL: aprenentatge d'operadors amb camps neuronals
Computació científica: l'aprenentatge automàtic científic (SciML) ha sorgit recentment com la combinació de models basats en la física i models basats en dades per resoldre numèricament equacions diferencials. En aquest context, la capacitat dels camps neuronals per modelar l'entrada i la solució de manera contínua i diferenciable és inestimable. Per exemple, les xarxes neuronals informades per la física (PINN) utilitzen camps neuronals per incloure, en l'objectiu d'entrenament, el residual calculat mitjançant la diferenciació automàtica. En canvi, s'han explorat arquitectures de codificació-processament-descodificació (per exemple, CORAL), construïdes sobre camps neuronals condicionals, com a tècnica alternativa d'aprenentatge d'operadors.
Referències
Categoria:Aprenentatge automàtic Categoria:Neurologia