編集長– Author –

Tokenizersは、Hugging Face社がTransformersの周辺ライブラリとして2020年に公開したRust実装のトークナイザ群で、Python・Node.js・Rustから呼び出せるバインディングを備えています。BPE・WordPiece・Unigramといった主要アルゴリズムを単一API（normal...

SentencePieceは、Googleが2018年に公開した言語非依存のサブワード分割ツールで、工藤拓氏らによる論文「SentencePiece: A simple and language independent subword tokenizer and detokenizer」と同時にOSSとして発表されました。事前に形態素解析を行...

Transformersは、ニューヨーク発のHugging Face社が2018年に公開したPython製ライブラリで、BERT・GPT・T5・LLaMAなどTransformerアーキテクチャの事前学習モデルを統一APIで扱える点が最大の特徴です。創業者のクレマン・ドラング氏、ジュリアン・ショー...

NLTK（Natural Language Toolkit）は、Pythonで自然言語処理を学ぶための教科書的ライブラリで、2001年にペンシルベニア大学のスティーブン・バード氏とエドワード・ローパー氏が学部生向け教材として開発を始めました。形態素解析・パージング・分類器・...

spaCyは、Pythonで動く自然言語処理ライブラリの代表格で、ベルリン拠点のExplosion AI（マシュー・ホニバル氏とイネス・モンタニ氏が2016年に設立）が2015年に最初のリリースを公開しました。コアはCythonで実装され、形態素解析・品詞タグ付け・固有表現...

NixOSは2003年にオランダのEelco Dolstra氏が博士論文の研究テーマとして始めたNixパッケージマネージャを土台にしたLinuxディストリビューションである。Purely Functional Linux Distributionを標榜し、システム全体を/etc/nixos/configuration.nixとい...

Arch Linuxは2002年にカナダのプログラマJudd Vinet氏が立ち上げたローリングリリース型のLinuxディストリビューションである。固定バージョンを持たず、pacmanというパッケージマネージャを通じて常に最新のソフトウェアが届く設計で、Keep It Simple, St...

Rocky LinuxはCentOSの共同創設者の一人であるGregory Kurtzer氏が2020年12月に立ち上げたRHEL互換のLinuxディストリビューションである。Red Hatが同月に発表したCentOS Streamへの方針転換によって、従来の安定したRHELクローンの提供が終了することへの...

Fedoraは2003年に当時のRed Hat Linuxの後継として始まったLinuxディストリビューションで、Red Hat Enterprise Linux(RHEL)の事実上のアップストリームに位置する。半年ごとのリリースで最新のカーネルやGNOME、Wayland、PipeWireなどの新技術を早期に取...

Debianは1993年8月にIan Murdock氏が立ち上げたLinuxディストリビューションで、Murdock氏自身と当時の恋人Debraの名を組み合わせた語が名前の由来となっている。社会契約とDebian自由ソフトウェアガイドライン(DFSG)を持ち、商用主体ではなくコミュニティ...