IT用語集– tag –

PyCharmは、JetBrains社が2010年に公開したPython専用の統合開発環境です。IntelliJ Platformを基盤とし、Pythonのコード解析、リファクタリング、デバッグ、テスト、Web開発、データサイエンスまで一貫して扱える機能を備えます。無償のCommunity版と有償...

IntelliJ IDEAは、チェコのJetBrains社が2001年に公開したJava向け統合開発環境です。深いコード解析と高精度な補完、リファクタリング機能を武器に、Eclipseと並ぶ商用Java IDEの代表格として世界中の開発現場に普及しました。Kotlin、Scala、Groovyなど...

vLLM（ブイエルエルエム）は、2023年6月にUC Berkeleyの研究チームが発表したオープンソースのLLM推論エンジンです。GPUメモリの非効率な使い方を解消する独自技術「PagedAttention」と、連続バッチング（Continuous Batching）を中核に据え、Hugging Face...

Triton Inference Server（トライトン推論サーバ）は、NVIDIAが提供するオープンソースの推論サービングプラットフォームです。TensorRT、PyTorch、TensorFlow、ONNX Runtime、Pythonバックエンドなど多種のモデルを同一サーバ上でホストでき、HTTP/gRPC A...

MLX（エムエルエックス）は、2023年12月にAppleが発表したApple Silicon向けの機械学習フレームワークです。M1/M2/M3/M4チップに搭載されたユニファイドメモリ、Neural Engine、Metal Performance Shadersを最大限活用し、Macやアプリ内部でLLMや拡散モデ...

ONNX（Open Neural Network Exchange）は、2017年にMicrosoftとFacebook（現Meta）が共同で発表したオープンな深層学習モデル交換フォーマットです。PyTorch、TensorFlow、scikit-learnなど特定フレームワークで学習されたモデルを共通の中間表現で保存す...

TensorRT（テンソルアールティー）は、NVIDIAが提供する深層学習推論を高速化・軽量化するためのSDKです。学習済みモデルをONNXやPyTorchから取り込み、レイヤー融合、カーネル自動選択、FP16/INT8への量子化、メモリ最適化などを行うことで、同じGPU上でP...

CUDA（Compute Unified Device Architecture）は、NVIDIAが2007年に公開したGPU上で汎用計算を行うための並列コンピューティングプラットフォームおよびプログラミングモデルです。元来グラフィックス描画専用だったGPUを科学技術計算やディープラーニング...

Groq（グロック）は、元GoogleのTPU設計者であるJonathan Rossが2016年に創業した米国の半導体スタートアップです。同社が開発したLPU（Language Processing Unit）は、GPUとは異なるアーキテクチャでLLM推論を圧倒的な低遅延・高スループットで処理できる...

Replicate（レプリケート）は、2019年にBen FirshmanとAndreas Jansson（DockerやSpotifyの元エンジニア）が設立した、機械学習モデルをクラウドAPIとして手軽に動かせるプラットフォームです。研究者や開発者が公開したStable Diffusion、SDXL、Llama、Wh...