AI・機械学習・データサイエンス– category –

VAE（Variational Autoencoder、変分オートエンコーダ）は、2013年にKingmaとWellingが提案した生成モデルで、入力データを確率分布として潜在空間に符号化し、そこからサンプリングして再構成する仕組みを持ちます。確率的グラフィカルモデルと深層学習を...

GAN（Generative Adversarial Network、敵対的生成ネットワーク）は、2014年にIan Goodfellowが提案した生成モデルで、生成器と識別器という二つのニューラルネットワークを敵対的に競わせることでリアルなデータを生成します。画像生成や超解像、スタイル...

GRU（Gated Recurrent Unit）は、2014年にKyunghyun Choらが機械翻訳の文脈で提案した再帰型ニューラルネットワークの一種で、LSTMから派生した簡素化バージョンです。リセットゲートと更新ゲートという二つのゲートだけでセル状態を持たず、パラメータ数...

LSTM（Long Short-Term Memory）は、1997年にHochreiterとSchmidhuberが提案した再帰型ニューラルネットワークの一種で、セル状態と三つのゲートを組み合わせることで長距離の依存関係を学習できる構造を実現しました。素のRNNが抱える勾配消失問題を大幅...

RNN（Recurrent Neural Network、再帰型ニューラルネットワーク）は、時系列や自然言語のように順序情報を持つデータを処理するために設計された深層学習モデルです。隠れ状態を時刻ごとに更新しながら過去の情報を記憶する構造が特徴で、機械翻訳・音声認...

CNN（Convolutional Neural Network、畳み込みニューラルネットワーク）は、画像のような格子状データに対して空間的な局所性と平行移動不変性を活かして特徴を抽出する深層学習モデルです。1989年のLeCunによるLeNetを起点に、2012年のAlexNet以降は画像...

誤差逆伝播（Backpropagation）は、ニューラルネットワークの各重みに対する損失関数の勾配を、出力層から入力層へ向かって連鎖律で効率的に計算するアルゴリズムです。1986年にRumelhart、Hinton、Williamsの論文で広く知られるようになり、多層パーセプ...

勾配降下法（Gradient Descent）は、損失関数の値を最小化するためにパラメータを少しずつ更新していく最適化アルゴリズムです。損失の勾配（傾き）を計算し、その逆方向へ進むことで谷底に近づきます。ニューラルネットワークの学習はもちろん、線形回帰...

vLLM（ブイエルエルエム）は、2023年6月にUC Berkeleyの研究チームが発表したオープンソースのLLM推論エンジンです。GPUメモリの非効率な使い方を解消する独自技術「PagedAttention」と、連続バッチング（Continuous Batching）を中核に据え、Hugging Face...

Triton Inference Server（トライトン推論サーバ）は、NVIDIAが提供するオープンソースの推論サービングプラットフォームです。TensorRT、PyTorch、TensorFlow、ONNX Runtime、Pythonバックエンドなど多種のモデルを同一サーバ上でホストでき、HTTP/gRPC A...