AI・機械学習・データサイエンス– category –

DPOは、ユーザーや組織の目的に合わせた行動推奨を行う機械学習技法です。1980年代から研究が進み、2010年代後半には企業でも広く採用されるようになりました。 【この記事の目次】 直接選好最適化とは DPOの起源と進化 DPOの内部構造 DPOと他の最適化手法...

Flash Attentionは、Transformerモデルにおける長大な入力に対する効率的な推論を可能にする技術です。2020年代初頭から注目を集め、現在では大規模言語モデルのリアルタイム応答性向上に貢献しています。 【この記事の目次】 Flash Attentionの定義 Flash...

Self-Attention（自己注意）は、入力系列の各要素が同じ系列内の他のすべての要素を参照して関係性を計算する機構で、2017年の論文「Attention is All You Need」でTransformerの中核として導入されました。RNNや畳み込みに頼らず、文全体の長距離依存関係...

Attention機構は、入力系列の中から「現在の出力にとって特に重要な部分」を動的に重み付けして取り出す仕組みで、2014年にBahdanauらが機械翻訳のために導入したのが発端です。RNNが抱えていた長距離依存と固定長コンテキストの問題を解決し、その後Self-...

VAE（Variational Autoencoder、変分オートエンコーダ）は、2013年にKingmaとWellingが提案した生成モデルで、入力データを確率分布として潜在空間に符号化し、そこからサンプリングして再構成する仕組みを持ちます。確率的グラフィカルモデルと深層学習を...

GAN（Generative Adversarial Network、敵対的生成ネットワーク）は、2014年にIan Goodfellowが提案した生成モデルで、生成器と識別器という二つのニューラルネットワークを敵対的に競わせることでリアルなデータを生成します。画像生成や超解像、スタイル...

GRU（Gated Recurrent Unit）は、2014年にKyunghyun Choらが機械翻訳の文脈で提案した再帰型ニューラルネットワークの一種で、LSTMから派生した簡素化バージョンです。リセットゲートと更新ゲートという二つのゲートだけでセル状態を持たず、パラメータ数...

LSTM（Long Short-Term Memory）は、1997年にHochreiterとSchmidhuberが提案した再帰型ニューラルネットワークの一種で、セル状態と三つのゲートを組み合わせることで長距離の依存関係を学習できる構造を実現しました。素のRNNが抱える勾配消失問題を大幅...

RNN（Recurrent Neural Network、再帰型ニューラルネットワーク）は、時系列や自然言語のように順序情報を持つデータを処理するために設計された深層学習モデルです。隠れ状態を時刻ごとに更新しながら過去の情報を記憶する構造が特徴で、機械翻訳・音声認...

CNN（Convolutional Neural Network、畳み込みニューラルネットワーク）は、画像のような格子状データに対して空間的な局所性と平行移動不変性を活かして特徴を抽出する深層学習モデルです。1989年のLeCunによるLeNetを起点に、2012年のAlexNet以降は画像...