• AND, XOR gates by backward propagation
• identity mapping by backward propagation
• momentum and decaying
• auto encoder
• Gibbs Sampling
• Restricted Boltzmann Machine
• Contrast Divergence

ニューラルネットワークの勉強の軌跡。 著者は修士の専攻が数値計算系であったが、 この分野では教科書を読んで理解したつもりになっても、 いざ実装してみるとわからないことだらけだと感じることが多々あった。 深い理解のためにも、自分の手を動かして学習した内容を確認することは必要不可欠であると考える。 その軌跡をこのリポジトリに記録として残す。

機械学習プロフェッショナルシリーズ「深層学習」（岡谷貴之著）の内容を実装してみる。

オブジェクト指向を使うと概念を整理できることが多い。 これは学習のためにかなり役立つ。 ただある程度のパフォーマンスは犠牲にしたくないし、 いずれは行列演算ライブラリも導入することを考えると、 C++がバランスいいのではないかという判断。