AI・機械学習・データサイエンス– category –

Self-Attention（自己注意）は、入力系列の各要素が同じ系列内の他のすべての要素を参照して関係性を計算する機構で、2017年の論文「Attention is All You Need」でTransformerの中核として導入されました。RNNや畳み込みに頼らず、文全体の長距離依存関係...

Attention機構は、入力系列の中から「現在の出力にとって特に重要な部分」を動的に重み付けして取り出す仕組みで、2014年にBahdanauらが機械翻訳のために導入したのが発端です。RNNが抱えていた長距離依存と固定長コンテキストの問題を解決し、その後Self-...

VAE（Variational Autoencoder、変分オートエンコーダ）は、2013年にKingmaとWellingが提案した生成モデルで、入力データを確率分布として潜在空間に符号化し、そこからサンプリングして再構成する仕組みを持ちます。確率的グラフィカルモデルと深層学習を...

GAN（Generative Adversarial Network、敵対的生成ネットワーク）は、2014年にIan Goodfellowが提案した生成モデルで、生成器と識別器という二つのニューラルネットワークを敵対的に競わせることでリアルなデータを生成します。画像生成や超解像、スタイル...

GRU（Gated Recurrent Unit）は、2014年にKyunghyun Choらが機械翻訳の文脈で提案した再帰型ニューラルネットワークの一種で、LSTMから派生した簡素化バージョンです。リセットゲートと更新ゲートという二つのゲートだけでセル状態を持たず、パラメータ数...

LSTM（Long Short-Term Memory）は、1997年にHochreiterとSchmidhuberが提案した再帰型ニューラルネットワークの一種で、セル状態と三つのゲートを組み合わせることで長距離の依存関係を学習できる構造を実現しました。素のRNNが抱える勾配消失問題を大幅...

RNN（Recurrent Neural Network、再帰型ニューラルネットワーク）は、時系列や自然言語のように順序情報を持つデータを処理するために設計された深層学習モデルです。隠れ状態を時刻ごとに更新しながら過去の情報を記憶する構造が特徴で、機械翻訳・音声認...

CNN（Convolutional Neural Network、畳み込みニューラルネットワーク）は、画像のような格子状データに対して空間的な局所性と平行移動不変性を活かして特徴を抽出する深層学習モデルです。1989年のLeCunによるLeNetを起点に、2012年のAlexNet以降は画像...

誤差逆伝播（Backpropagation）は、ニューラルネットワークの各重みに対する損失関数の勾配を、出力層から入力層へ向かって連鎖律で効率的に計算するアルゴリズムです。1986年にRumelhart、Hinton、Williamsの論文で広く知られるようになり、多層パーセプ...

勾配降下法（Gradient Descent）は、損失関数の値を最小化するためにパラメータを少しずつ更新していく最適化アルゴリズムです。損失の勾配（傾き）を計算し、その逆方向へ進むことで谷底に近づきます。ニューラルネットワークの学習はもちろん、線形回帰...