５－３．深層学習（Deep Learning）／Neural Network 関連
【アルゴリズム】
・パーセプトロン：1950年代に、生物の神経細胞をコンピューターでモデル化した最初期のニューラルネットワーク。入力層と出力層を持ち、パラメータを学習によって決められるが、中間層がなく線形分離不可能な問題が解けなかったため「単純パーセプトロン」とも呼ばれる。
・多層パーセプトロン：パーセプトロンに中間層（隠れ層）を加え、線形分離不可能問題など複雑な問題まで対応できるように改良されたニューラルネットワーク。しかし初期の頃は、中間層が学習できないという欠点があった。
・ネオコグニトロン：1980年代にNHKの福島が発表した、生物の視覚神経路をモデルとした階層型ニューラルネットワーク。学習によって高いパターン認識能力がある。
・ボルツマンマシン：階層型ネットワークではなく、各ユニットが相互結合したネットワークのモデルをベースとし、その欠点である局所解問題を回避した改良モデルがボルツマンマシン。
・オートエンコーダー：ボルツマンマシンをベースとし、画像データを圧縮しても元のパターンを復元でき、ノイズも除去可能なネットワークが構築できるモデル。多層化したニューラルネットワークの学習時に、初期パラメータを得る際に用いられる場合が多い。
・RNN(Recurrent Neural Network）：音声データのような可変長の時系列データをニューラルネットワークで扱うため、中間層からの出力を再び中間層に入力するネットワーク構造にしたモデル。時間軸方向へ展開するのでかなり深いネットワーク構造になるが、短時間のデータしか扱えないという欠点がある。
・LSTM(Long Short-Term Memory）：RNNの欠点を解消し、長期の時系列データを学習できるように改良されたモデル。発表は1997年と古いが、最近急激に注目されるようになり、自然言語処理分野で大きな成果が得られている。
・CNN(Convolution Neural Network）：畳み込みニューラルネットワークとも呼ばれる、生物の視覚野を模した多層構造のモデル。中間層に畳み込み層、プーリング層、全結合層を何層も加え、各層の間に誤差逆伝播法を取り入れることで画像に対して高いパターン認識能力を実現した。一般的にディープラーニングという場合、このCNNを指す場合が多い。
・主成分分析：多次元すなわち多数の変数を持つデータの情報を、できるだけ失わずに低次元に集約する教師なしのアルゴリズム。複雑なデータを、人が理解できるようにシンプルな表現ができる特徴がある。データマイニングなどに用いられる。
・遺伝的アルゴリズム：自然淘汰により最適な遺伝子が残ってきたように、淘汰・交配・突然変異を繰り返しながら自然淘汰のシミュレーションを行い、最適解を求める学習アルゴリズム。
・強化学習（reinforcement learning）：試行錯誤をしながら環境に適応させる学習アルゴリズム。教師あり学習ではなく、ある動作に対して「報酬」を与えることで、行動の良し悪しを判断させ、その報酬が最大になる様に行動を変えさせる。TD学習、Q学習がある。
・ディープQネットワーク（DQN）：強化学習のQ学習のパラメータ設定に深層学習を用いたもの。ディープマインド社が2015年に発表し、TVゲームのルールを教えなくても、人間より高得点を出したことで有名になった。
【画像認識】
・画像特徴点：画像データで、隣り合う画素間の輝度値の差が大きい箇所は、その画像の特徴を表している場合が多いために画像特徴点と呼ぶ。
・画像特徴量：画像特徴点をベクトルで表現した値。この画像特徴量を用いると、複数の画像間で、画像特徴量が似ているかどうか、比較可能になる。
・パッチ：対象画像を部分的に切り出したもの。
・特徴ベクトル：対象となる画像が、どんなパッチを持っているかを表現するベクトル。
・Bag-of-features：画像を分解して局所的特徴を比較することで画像を認識させようとする手法。CNN登場までは画像認識で主流の手法だった。
まず教師となる画像の画像特徴点の出現頻度から、特徴ベクトルを算出し、教師あり機械学習で学習モデルである画像識別器を作成する。その画像識別器を用いて、対象となる画像の種類を判別させる。
画像の輝度差がベースになっているため、輪郭のはっきりした箇所からしか特徴抽出できない。また位置関係や見え方の角度が変わると、違う画像と認識されてしまう弱点がある。
【ニューラルネットワーク】
・ニューロン：動物の脳にある神経細胞のこと。
・シナプス：ニューロン同士の繋ぎ目のこと。その結合間では電気信号を化学物質に変換しており、電気信号が一定量を超えると「発火」し、次のニューロンに信号を伝えている。
・マカロック-ビッツモデル：ニューロンを模した人工ニューロンモデル。複数の入力に対して1つの値を出力するモデル。入力に「結合重み」を乗じて、その総和を求め、値が閾値を超えると１、超えなければ０を出力する。
・活性化関数：ニューラルネットワークのモデルにおいて、シナプスに相当するもの。ある値を超えると急に出力値が大きくなる（発火する）関数を利用する。シグモイド関数、ReLU関数などが用いられる。
・最小二乗法：得られた数値の組を関数で近似する場合、できるだけよい近似となるように、残差の二乗和を最小とするような係数を決定する方法。
・誤差逆伝播法（back propagation）：多層パーセプトロンにおいて、入力データを伝達させて値が出力された時、正解値である教師データとの誤差の最小二乗和を計算し、各層の結合重みを調整することで、誤差を減らす方法。この方法によって、パーセプトロンの多層化が可能となった。
・勾配降下法：ある関数の最小値を求める方法。ある変数の値に応じた関数の勾配を求め、変数を勾配の方向に動かし勾配計算を繰り返すことで、最小値を得る。
・確率的勾配降下法（SDG）：大量のデータがある場合、勾配降下法の計算量を減らすため教師データの一部をランダムに選ぶ勾配降下法の手法。
・ミニバッチ法：教師データの中から少数個のデータを選び、それらの二乗和を使って変数を更新し、更に教師データから新たに少数個のデータの二乗和で変数更新を繰り返す勾配降下法。全部の教師データを使うことは「バッチ法」と呼ぶ。
・尤度（likelihood）：予測される誤差が正規分布に従う場合、誤差が０付近だと高く、周辺に行くほど下がる確率のこと。誤差０の付近に多くのデータがあると尤度は大きな値を示す。
・最尤推定法（MLE）：尤度が最大になる様に、予測式のパラメータを決める方法。最小二乗法と最尤推定法は同等である。
・誤差関数（損失関数）：多層パーセプトロンの出力誤差を返す関数。クラス分類の場合は、クロスエントロピー関数（交差エントロピー誤差）を用いる場合が多
い。回帰問題の場合は二乗誤差関数などを用いる。
