2026年– date –
-
AWS Elastic Beanstalk — AWS初期のPaaS的アプリ実行基盤
AWS Elastic Beanstalkは、AWSが2011年1月に発表した、アプリケーション中心のデプロイサービスです。ソースコードや成果物（jar・war・zip・コンテナイメージ）をアップロードするだけで、裏側でEC2インスタンス・Auto Scaling Group・ALB・RDSなどの環境... -
AWS Batch — 大量バッチジョブを自動オーケストレートする基盤
AWS Batchは、2016年12月のre:Inventで発表され2017年1月にGAとなったマネージドバッチジョブ実行サービスです。HPC・科学技術計算・データパイプライン・機械学習の前処理など、「数百〜数十万件のジョブを並列実行したい」場面を想定し、ジョブ定義・ジ... -
AWS Fargate — サーバを意識しないコンテナ実行基盤
AWS Fargateは、2017年11月のre:Inventで発表されたサーバレスコンテナ実行サービスで、ECSとEKSの「起動タイプ」のひとつとして提供されています。従来のコンテナ運用ではEC2インスタンスを自分で用意し、OSのパッチやキャパシティ計画を行う必要がありま... -
Amazon EKS — AWSが運用するマネージドKubernetes
Amazon EKS（Elastic Kubernetes Service）は、AWSが2018年6月に一般提供を開始したマネージドKubernetesサービスです。アップストリームのKubernetesをそのまま動かす形で、コントロールプレーン（kube-apiserver・etcd・コントローラマネージャ）の運用... -
Amazon ECS — AWS発のフルマネージドコンテナオーケストレータ
Amazon ECS（Elastic Container Service）は、AWSが2014年11月のre:Inventで発表し2015年4月に一般提供を開始したフルマネージドのコンテナオーケストレーションサービスです。Dockerコンテナを「タスク」と「サービス」という単位でグループ化し、ALB（Ap... -
DeepSpeed — 大規模モデル学習を可能にしたMicrosoftの分散基盤
DeepSpeedは、Microsoft Researchが2020年2月に公開したPyTorch向けの分散学習・推論最適化ライブラリで、数十億〜数兆パラメータの巨大モデルを限られたGPU資源で訓練できるようにする一連の技術を提供します。中核となるのが「ZeRO」（Zero Redundancy O... -
TRL — LLMを強化学習・選好学習でしつけるライブラリ
TRL（Transformer Reinforcement Learning）は、Hugging Face社が2020年に公開したPython製ライブラリで、Transformer系言語モデルを強化学習や選好学習でファインチューニングするための実装を集約しています。もともとはレオンドロ・フォン・ヴェラ氏が... -
PEFT — LoRAなど省パラメータ微調整を束ねるライブラリ
PEFT（Parameter-Efficient Fine-Tuning）は、Hugging Face社が2023年初頭に公開したPython製ライブラリで、数十億〜数百億パラメータの巨大モデルを「ごく一部のパラメータだけ」更新して微調整する技法をまとめて扱えるようにします。代表的な手法はLoRA... -
Accelerate — 1コードで分散学習を回すHugging Face製ランチャ
AccelerateはHugging Face社が2021年に公開したPython製の薄いラッパーライブラリで、通常のPyTorch学習コードに数行のラッパを加えるだけで、CPU・単一GPU・複数GPU・複数ノード・TPU・MPS（Apple Silicon）の各環境を切り替えて実行できるようにします。... -
Datasets — Apache Arrow基盤のデータセットHub
DatasetsはHugging Face社が2020年に公開したPython製ライブラリで、機械学習で頻用されるデータセットを統一APIで読み込み・前処理・配布するための土台を提供します。内部はApache Arrowベースで、メモリマップで巨大ファイルを扱うため、数百GBのコーパ...
