AI・機械学習・データサイエンス– category –

誤差逆伝播（Backpropagation）は、ニューラルネットワークの各重みに対する損失関数の勾配を、出力層から入力層へ向かって連鎖律で効率的に計算するアルゴリズムです。1986年にRumelhart、Hinton、Williamsの論文で広く知られるようになり、多層パーセプ...

勾配降下法（Gradient Descent）は、損失関数の値を最小化するためにパラメータを少しずつ更新していく最適化アルゴリズムです。損失の勾配（傾き）を計算し、その逆方向へ進むことで谷底に近づきます。ニューラルネットワークの学習はもちろん、線形回帰...

vLLM（ブイエルエルエム）は、2023年6月にUC Berkeleyの研究チームが発表したオープンソースのLLM推論エンジンです。GPUメモリの非効率な使い方を解消する独自技術「PagedAttention」と、連続バッチング（Continuous Batching）を中核に据え、Hugging Face...

Triton Inference Server（トライトン推論サーバ）は、NVIDIAが提供するオープンソースの推論サービングプラットフォームです。TensorRT、PyTorch、TensorFlow、ONNX Runtime、Pythonバックエンドなど多種のモデルを同一サーバ上でホストでき、HTTP/gRPC A...

MLX（エムエルエックス）は、2023年12月にAppleが発表したApple Silicon向けの機械学習フレームワークです。M1/M2/M3/M4チップに搭載されたユニファイドメモリ、Neural Engine、Metal Performance Shadersを最大限活用し、Macやアプリ内部でLLMや拡散モデ...

ONNX（Open Neural Network Exchange）は、2017年にMicrosoftとFacebook（現Meta）が共同で発表したオープンな深層学習モデル交換フォーマットです。PyTorch、TensorFlow、scikit-learnなど特定フレームワークで学習されたモデルを共通の中間表現で保存す...

TensorRT（テンソルアールティー）は、NVIDIAが提供する深層学習推論を高速化・軽量化するためのSDKです。学習済みモデルをONNXやPyTorchから取り込み、レイヤー融合、カーネル自動選択、FP16/INT8への量子化、メモリ最適化などを行うことで、同じGPU上でP...

CUDA（Compute Unified Device Architecture）は、NVIDIAが2007年に公開したGPU上で汎用計算を行うための並列コンピューティングプラットフォームおよびプログラミングモデルです。元来グラフィックス描画専用だったGPUを科学技術計算やディープラーニング...

Groq（グロック）は、元GoogleのTPU設計者であるJonathan Rossが2016年に創業した米国の半導体スタートアップです。同社が開発したLPU（Language Processing Unit）は、GPUとは異なるアーキテクチャでLLM推論を圧倒的な低遅延・高スループットで処理できる...

Replicate（レプリケート）は、2019年にBen FirshmanとAndreas Jansson（DockerやSpotifyの元エンジニア）が設立した、機械学習モデルをクラウドAPIとして手軽に動かせるプラットフォームです。研究者や開発者が公開したStable Diffusion、SDXL、Llama、Wh...