データベース・データ管理– category –

pgvectorはAndrew Kaneが2021年から開発しているPostgreSQLのオープンソース拡張で、vectorという新しい型と、L2距離・コサイン距離・内積などの演算子、IVFFlatおよびHNSWインデックスを追加します。ベクトル検索専用DBを別途運用せず、既存のPostgreSQL...

MarqoはMarqo AI社が2022年に公開したオープンソースの検索エンジンで、自社では「テンソル検索（tensor search）」と呼ぶアプローチを核に据えています。テキストや画像を細かいチャンク単位の埋め込みに分解し、それらをまとめてテンソルとして保持する...

LanceDBはLance Labs（旧Eto Labs）が2023年から公開しているオープンソースのベクトルデータベースで、Rust言語で書かれた本体と、Pythonおよび TypeScriptクライアント、独自の列指向ファイルフォーマットLanceを組み合わせた構成を取ります。SQLiteのよ...

FaissはMeta（旧Facebook）のAIリサーチ部門であるFAIRが2017年に公開した、C++とPythonバインディングで構成されるベクトル類似度検索ライブラリです。データベースではなくライブラリとして提供される点が独特で、アプリケーション内部に組み込んで使う...

MilvusはZilliz社が2019年に公開し、現在はCNCF（Cloud Native Computing Foundation）のインキュベーションプロジェクトとなっているオープンソースのベクトルデータベースです。コンピュート、ストレージ、メタデータを分離したクラウドネイティブ志向の...

ChromaはChroma社が2022年から公開しているオープンソースのベクトルデータベースで、Pythonライブラリとしてpip install chromadbだけで使い始められる軽量さが大きな特徴です。LangChainやLlamaIndexの初期チュートリアルで採用されたことから普及し、RA...

Qdrantはベルリン発のスタートアップが2021年から開発しているオープンソースのベクトル検索エンジンで、Rust言語で書かれた本体と、PythonやTypeScript、Go向けの公式クライアントから構成されます。HNSWインデックスとペイロード（メタデータ）に対する...

Weaviateはオランダ拠点のSeMI Technologiesが2019年に公開したオープンソースのベクトルデータベースで、Go言語で書かれた本体に対してGraphQLとREST、gRPCの三系統のAPIを備え、テキストや画像、音声などの埋め込みベクトルを近似最近傍探索で照合します...

WhooshはMatt Chaput氏が2007年頃から開発を始めた純Python実装の全文検索ライブラリで、外部依存なしにpipで導入できる手軽さから個人プロジェクトや軽量ツールで広く使われてきました。Apache Luceneにインスパイアされた設計を持ちながら、Pythonの標準...

Apache LuceneはDoug Cutting氏が1999年に開発を始めた、Java製のオープンソース全文検索ライブラリです。検索エンジンそのものではなく「検索エンジンを作るためのライブラリ」であり、Apache Solr、Elasticsearch、OpenSearch、Nutch、CrateDBなど現代の...