自己組織化マップ―理論・設計・応用
ニューラルネットワークの研究者および、すでに競合学習や位相マップの形成についてのバックグラウンドを有する学生を対象に、等確率のマップ形成とその応用(たとえば密度推定、回帰、クラスタ化)、特徴抽出に利用可能な方法と現状についての情報を提供する。使用される学習規則に関しては、式だけではなく完全なアルゴリズムとそのシミュレーションの詳細も与えられている。
[2004年10月、2刷発行]
書籍データ
発行年月 | 2001年3月 |
判型 | A5 |
ページ数 | 328ページ |
定価 | 本体3,800円+税 |
ISBNコード | 978-4-303-73150-2 |
概要
本書の目的は、位相マップの形成に新しい視点を展開することである。つまり、すべてのニューロンが活性化するのに等しい確率を持つことでマップを作り上げることを目指した自己組織化学習規則―すなわち、等確率マップ―の作成であり、こうすることで、受容野の重ね合わせと段階的な応答でニューロンを順応させるのに適している。このようなマップは、計算機主導に基づいた神経科学の観点からは望ましい。なぜなら、こうすれば入力分布に関して利用可能な情報の最大量を搬送することになるからである。漠然とした言い方でも、それらは入力空間の忠実な表現をもたらしている。
本書では、等確率マップの形成のための一連の学習規則を考えるつもりである。ベンチマークの性能ならびに基本原理とその背後にある仮定に集中するつもりである。しかし、時には複雑な数学ではなく、それらを使って等確率の場合をより一層近似させるように導入される適合と発見的方法にも注目する。しかしこのために、なぜそこで使われるかというような数学的な理由は与えることはできない。適切な場所では、計算機主導に基づいた神経科学の見解と同様に生物学的神経科学の観点からも学習規則について議論する。
本書は、等確率のマップ形成や同様にその応用、たとえば密度推定、回帰、クラスタ化、そして特徴抽出に利用可能な方法と現状についての情報が欲しいニューラルネットワークの研究者向けに書かれている。また、すでに競合学習や、おそらく位相マップの形成についてのバックグラウンドを有する学生諸君への高度な大学院レベルのコースとして本書を使用することもできる。各章に提供される内容は主にその章で完結するようになっているが、最小レベルの数学の知識があれば明快な理解が達成できるようにもなっている。これは、しかし本書が数学的であるといっているのではない。長く難しい数学的導入は省略されていて、かわりに、興味を持つ読者は参考文献を参照されたい。
本書で使用される学習規則に関しては、式だけではなく完全なアルゴリズムとそのシミュレーションの詳細も与えられている。こうして容易にシミュレーションを繰り返すことができるのである。さらに学習規則については、ベンチマーク性能を比較のために載せている。このことはすべて等確率マップの背後にある理論だけではなく、与えられた学習規則の性能と落とし穴についての徹底的な知識を読者に提供することを目的にして書かれている。(「まえがき」より)
目次
第1章 感覚皮質における位相マップ
[1] はじめに
[2] 位相マップの役割
[3] 位相マップの発達
[4] 自己組織化
第2章 位相マップのモデルとアルゴリズム
[1] はじめに
[2] 勾配ベースの学習
[3] 競合学習
ウィルショーとフォン・デァ・マーズブルグのモデル
甘利モデル
コホネンの自己組織化マップ
[4] SOMの基本的特性
位相的な順序づけ
荷重の収束、エネルギ関数
近傍関数によって果たされる役割
[5] SOMの生物学的説明
側方結合ネットワークの形式化
計算上での近道
生理学的な説明
検討
[6] SOMの拡張
異なった整合と最適化定義
異なった近傍定義
特徴マップ
[7] 他の型の位相マップアルゴリズム
ダービンとウィルショーのモデル
ヴァン・ヴェルゼンのモデル
最大局所相関モデル
情報保持モデル
生成位相マップ
第3章 SOMのデータモデル化の特性と統計的応用
[1] はじめに
[2] ベクトル量子化と近傍関数
定義
量子化器の最適化
量子化器の設計
標準UCLとSOM
SOMと位相遷移
SOMと数値積分
[3] 非パラメータ回帰と位相的順序づけ
主軸と主曲線
もつれた格子と監視
有効次元
離散的入出力マップ化と回帰
連続入出力マップ化
[4] 非パラメータ密度推定と拡大係数
拡大係数
密度推定
濃度階調のクラスタ化
第4章 等確率位相マップ
[1] はじめに
不機能ユニットの回避
等確率マップの形成
[2] 歪ベース学習
活性化監視規則
局所歪み監視規則
結合則
注意事項
構造化アルゴリズム
平均絶対誤差最小化規則
[3] 情報ベース学習
相互情報の最大化
冗長性の最小化と疎なコード化
エントロピの最大化
[4] 最大エントロピ学習
等確率量子化
等確率位相マップ形成
SOMアルゴリズムとの相違
最大エントロピ学習規則
近傍関数での拡張
格子もつれの動的解除手法
[5] 生物学的説明
知覚表現
位相マップ形成のためのモデル
第5章 カーネルベース等確率位相マップ
[1] はじめに
位相部分空間マップ
位相特徴マップ
展望
[2] カーネルベース最大エントロピ学習
kMER
収束性
等確率量子化
MAE最小化との関係
ファジィクラスタ化との関係
最大局所相関モデルとの関係
生成位相マップとの関係
最適化アルゴリズム
パラメータの選択
[3] 格子もつれの動的解除手法
監視
[4] 非パラメータ密度推定
固定カーネル推定
可変カーネル推定
平滑化パラメータの自動選択
シミュレーション
新しい解釈
[5] 密度ベースのクラスタ化
クラスタ化と競合学習
SKIZによる密度ベースのクラスタ化
山登りによる密度ベースのクラスタ化
ベイズ分類
[6] ブラインドソースセパレーション
準ガウス型BSS
超ガウス型BSS
アルゴリズム
結果
少ない数の混合信号からのBSS
分枝ネットワークとの相違
[7] 位相特徴マップ
特徴マップkMER
音声コード化の例
画像コード化の例
ASSOMとの比較
[8] 適応部分空間マップ
適応信号変換
部分空間法
最適統合適応学習
部分空間kMER
例
[9] 音楽での応用
音楽信号の発生
系の概要
詳細な記述とシミュレーション
系の性能