個人的な Deep Learning の覚え書き。

必要な数学の知識

記号

  • δ(デルタ): 微小正数を表す。
  • ⊿(デルタ): 差分や微小増分を表す。
  • d(ディー): 常微分。
  • ∂(ラウンド・ディー): 偏微分。幾何学では領域の境界を表す。
  • ∇(ナブラ): 偏微分ベクトル。

偏微分

複数の変数がある関数で、1つの変数のみ微分することを、偏微分と言う。

例えば として、 に関する偏微分は

以外の変数はすべて定数と見なすので、 を含まない項は消える。

微分の記号は の代わりに を使う。

合成関数の偏微分公式

の関数(複数変数を持つ)で、 がそれぞれ の関数である場合、 で偏微分すると下記のようになる。

逆伝播の考え方

ニューラルネットワーク

  • 何層かのニューロンで構成される。
    • ニューロンの式:
      • は出力、 は活性化関数、 は重み、 はバイアス。
    • 活性化関数
      • シグモイド関数:

全結合層

順伝播

  • 前層 In:x → Fully connected layer → Out:y 後続層
    • は出力、 は活性化関数、 は重み、 はバイアス。
  • 活性化関数
    • シグモイド関数:

逆伝播

  • 前層 dIn ← Fully connected layer ← dOut 後続層

重みの更新

Convolution(畳み込み層)

順伝播

  • 前層 In → Convolution → Out 後続層

逆伝播

  • 前層 dIn ← Convolution ← dOut 後続層

重みの更新

dB は Channel 毎の dOut の総和

YOLO9000

  • 顔認識
wget https://modeldepot.io/assets/uploads/models/models/2ab9c908-15c0-438d-905e-e75363c52c72_azFace.zip -O azFace.zip

データセット

半径 の円の面積は であり、球の体積は である。