AI・機械学習・データサイエンス– category –
-
SentencePiece — 言語非依存のサブワード分割エンジン
SentencePieceは、Googleが2018年に公開した言語非依存のサブワード分割ツールで、工藤拓氏らによる論文「SentencePiece: A simple and language independent subword tokenizer and detokenizer」と同時にOSSとして発表されました。事前に形態素解析を行... -
Transformers — 事前学習モデルを扱う事実上の業界標準
Transformersは、ニューヨーク発のHugging Face社が2018年に公開したPython製ライブラリで、BERT・GPT・T5・LLaMAなどTransformerアーキテクチャの事前学習モデルを統一APIで扱える点が最大の特徴です。創業者のクレマン・ドラング氏、ジュリアン・ショー... -
NLTK — 教育の場から始まったPython製NLPの古参
NLTK（Natural Language Toolkit）は、Pythonで自然言語処理を学ぶための教科書的ライブラリで、2001年にペンシルベニア大学のスティーブン・バード氏とエドワード・ローパー氏が学部生向け教材として開発を始めました。形態素解析・パージング・分類器・... -
spaCy — 産業向けに振り切ったPython製NLPライブラリ
spaCyは、Pythonで動く自然言語処理ライブラリの代表格で、ベルリン拠点のExplosion AI（マシュー・ホニバル氏とイネス・モンタニ氏が2016年に設立）が2015年に最初のリリースを公開しました。コアはCythonで実装され、形態素解析・品詞タグ付け・固有表現... -
ContinueでつくるOSS版コーディングアシスタント環境
Continueは2023年にContinue.devが公開したオープンソースのAIコーディングアシスタントで、VS CodeおよびJetBrains IDEに常駐し、補完・チャット・編集を行う。Apache 2.0ライセンスでGitHubに公開されており、利用者は任意のモデル提供元、たとえばOpenA... -
Claude Codeでターミナルから始めるAI共同開発の実践
Claude Codeは2024年にAnthropicが発表したターミナル常駐型のAIコーディングアシスタントで、シェル上で動きながらリポジトリの読解・編集・テスト実行・コミットまでを対話的に支援する。Claude 3.5 Sonnetをはじめとする上位モデルを推論基盤に据え、Mo... -
Model Context Protocol入門 LLMと外部資産をつなぐ共通規格
Model Context Protocol(MCP)は、2024年11月にAnthropicがオープン仕様として公開した、LLMアプリケーションと外部データ・ツールをつなぐためのプロトコルである。AnthropicのClaude DesktopやClaude Code、サードパーティのエディタやエージェントから利... -
AutoGenが提示するマルチエージェント会話の設計法
AutoGenは2023年にMicrosoft Researchが公開したマルチエージェントフレームワークで、「複数のエージェントが会話を交わしながらタスクを解く」というアプローチを体系化した。コードを書くAssistantAgentと、命令や検証を担うUserProxyAgentを組み合わせ... -
LangGraphで作る状態遷移型エージェントの実装入門
LangGraphは2024年初頭にLangChain社が公開したエージェント向けのグラフベース実行エンジンである。従来のLangChainチェーンが線形に近かったのに対し、LangGraphはノードとエッジで状態遷移を表現し、ループ・分岐・合議・ヒューマンインザループといっ... -
CrewAIで役割分担型エージェントを設計する勘所
CrewAIは2023年にブラジルの開発者João Mouraが公開したPython製マルチエージェントフレームワークで、「Agent」「Task」「Crew」「Process」という4概念で役割分担型のワークフローを記述できる点が特徴だ。LangChainやLlamaIndexと連携しつつ、独自のエ...
