適応共鳴理論 (Adaptive resonance theory: ART) は、とによって提唱された、脳が情報を処理する仕組みに関する理論である。この理論は、教師あり学習および教師なし学習を用いた複数の人工ニューラルネットワークモデルによって記述されており、パターン認識や予測といった問題に適用する。

ARTモデルの直感的なコンセプトは、視覚オブジェクト認識における物体の同定および認識が、「トップダウン」の観察者の期待と「ボトムアップ」の感覚情報の相互作用の結果として生じる、というものである。ニューラルネットワークモデルでは、「トップダウン」の期待は記憶テンプレートやプロトタイプとして表現され、「ボトムアップ」の感覚である検出された実際の特徴と比較される。この比較によりカテゴリの帰属度が生じる。この期待と感覚の差が所定の閾値(警戒パラメータ)を超えない限り、感知された対象は期待されるクラスに属すると見なされる。この仕組みによりに見られる「可塑性と安定性」の問題、すなわち新しい知識の習得が既存の知識を妨げるという問題(破滅的忘却)の解決に取り組む。

学習モデル サムネイル|基本的なARTの構造 基本的なARTシステムは教師なし学習モデルである。通常は、比較層と認識層(それぞれ人工ニューロンから構成される)、警戒パラメータ(認識の閾値)、およびリセットモジュールから構成される。

比較層は入力ベクトル(一次元配列)を受け取り、それを認識層で最もよく一致するニューロンへ転送する。 最も一致するニューロンとは、重みベクトルが入力ベクトルに最も近いニューロンである。

各認識層のニューロンは、他のすべての認識層ニューロンに負の信号(そのニューロンの一致度に比例)を出力し、出力を抑制する。 この仕組みにより、認識層は側抑制を示し、それぞれのニューロンが入力ベクトルの分類カテゴリを表現できるようになる。

入力ベクトルが分類された後、リセットモジュールはその一致度と警戒パラメータを比較する。 一致度が警戒パラメータを超える場合(すなわち入力ベクトルが以前の入力と似ている範囲内である場合)、学習が開始される。 勝利した認識ニューロンの重みは入力ベクトルの特徴に向かって調整される。 一致度が警戒パラメータを下回る場合(ニューロンにとって想定外の入力である場合)、勝利したニューロンは抑制され、探索プロセスが開始される。 この探索では、リセット機構によって認識ニューロンが1つずつ無効化され、警戒パラメータを満たす一致が得られるまで繰り返される。 各サイクルにおいて、最も活性の高い認識ニューロンが選ばれ、その活性が閾値未満であれば無効化され、他のニューロンの抑制が解除される。 いずれの既存ニューロンでも警戒パラメータを満たせない場合は、新たなニューロンが活性化され、その重みは入力ベクトルに合わせて調整される。 警戒パラメータはシステムの動作に大きな影響を与える。値を高く設定すると記憶は詳細になり(細かく分かれた多数のカテゴリ)、低く設定すると記憶は一般化される(少数で広範なカテゴリ)。

訓練 ARTベースのニューラルネットワークには「高速学習」と「低速学習」の2種類の訓練法が存在する。低速学習では、認識ニューロンの重みの調整量が微分方程式によって連続的に計算され、入力ベクトルの提示時間に依存する。一方、高速学習では代数方程式により重みの調整を計算し、2値(バイナリ)を用いる。高速学習は多くのタスクに対して効率的だが、生物学的妥当性を考慮する場合や連続時間ネットワークでは低速学習が望ましい。

種類

ART 1Carpenter, G.A. & Grossberg, S. (2003), Adaptive Resonance Theory , In Michael A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT PressGrossberg, S. (1987), Competitive learning: From interactive activation to adaptive resonance , Cognitive Science (journal), 11, 23-63:最も基本的なARTモデルで、2値入力のみに対応する。

ART 2Carpenter, G.A. & Grossberg, S. (1987), ART 2: Self-organization of stable category recognition codes for analog input patterns , Applied Optics, 26(23), 4919-4930:連続値入力にも対応する。

ART 2-ACarpenter, G.A., Grossberg, S., & Rosen, D.B. (1991a), ART 2-A: An adaptive resonance algorithm for rapid category learning and recognition , Neural Networks, 4, 493-504:ART 2を簡略化し、実行速度が大幅に向上。

ART 3Carpenter, G.A. & Grossberg, S. (1990), ART 3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures , Neural Networks, 3, 129-152:神経伝達物質を模倣することで、生理学的に現実味のあるパターン認識を実現する。

ARTMAP(予測ART)Carpenter, G.A., Grossberg, S., & Reynolds, J.H. (1991), ARTMAP: Supervised real-time learning and classification of nonstationary data by a self-organizing neural network , Neural Networks, 4, 565-588:ART 1またはART 2ユニットを2つ組み合わせて教師あり学習を実現する。

ファジィARTCarpenter, G.A., Grossberg, S., & Rosen, D.B. (1991b), Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system , Neural Networks, 4, 759-771:ARTにファジィ論理を導入し、汎化性能を高めた。

ファジィARTMAPCarpenter, G.A., Grossberg, S., Markuzon, N., Reynolds, J.H., & Rosen, D.B. (1992), Fuzzy ARTMAP: A neural network architecture for incremental supervised learning of analog multidimensional maps , IEEE Transactions on Neural Networks, 3, 698-713:ファジィARTを用いたARTMAPで、分類性能を向上させる。

簡易ファジィARTMAP(SFAM)Mohammad-Taghi Vakil-Baghmisheh and Nikola Pavešić. (2003) A Fast Simplified Fuzzy ARTMAP Network, Neural Processing Letters, 17(3):273–316:分類問題に特化した簡略化モデル。

ガウスART/ガウスARTMAPJames R. Williamson. (1996), Gaussian ARTMAP: A Neural Network for Fast Incremental Learning of Noisy Multidimensional Maps, Neural Networks, 9(5):881-897:ガウス分布と確率論を用いたモデル。ファジィARTよりノイズに強い。

Fusion ARTY.R. Asfour, G.A. Carpenter, S. Grossberg, and G.W. Lesher. (1993) Fusion ARTMAP: an adaptive fuzzy network for multi-channel classification. In: Proceedings of the Third International Conference on Industrial Fuzzy Control and Intelligent Systems (IFIS).:複数のパターンチャネルに対応し、教師あり・なし・強化学習をサポートする。

TopoARTMarko Tscherepanow. (2010) TopoART: A Topology Learning Hierarchical ART Network, In: Proceedings of the International Conference on Artificial Neural Networks (ICANN), Part III, LNCS 6354, 157-167:ファジィARTとトポロジ学習ネットワークを統合し、ノイズ削減機構も導入する。

ハイパースフィアART/ARTMAPGeorgios C. Anagnostopoulos and Michael Georgiopoulos. (2000), Hypersphere ART and ARTMAP for Unsupervised and Supervised Incremental Learning, In: Proceedings of the International Joint Conference on Neural Networks (IJCNN), vol. 6, 59-64:L2ノルムを用いたモデルで、入力の正規化を必要としない。

LAPARTSandia National Laboratories (2017) Lapart-python documentation:2つのファジィARTを結合し、学習された関係に基づく予測が可能なモデル。

参考文献