MENU

Marqoとは何かテンソル検索を掲げるエンドツーエンド検索エンジン

Marqo アイキャッチ
Marqo

MarqoはMarqo AI社が2022年に公開したオープンソースの検索エンジンで、自社では「テンソル検索(tensor search)」と呼ぶアプローチを核に据えています。テキストや画像を細かいチャンク単位の埋め込みに分解し、それらをまとめてテンソルとして保持することで、検索結果の根拠となるパッセージを直接特定できる点が特徴です。本稿ではMarqoのアーキテクチャ、検索手法、競合との違いを順に整理します。

目次

この記事の目次

  1. テンソル検索という考え方
  2. マルチモーダル対応とパイプライン
  3. Vespaベースの分散実行
  4. Marqo Cloudとライセンス事情
  5. まとめ

テンソル検索という考え方

テンソル検索という考え方

MarqoではドキュメントをそのままベクトルにせずE5やCLIPなどのモデルでチャンクに切り分け、各チャンクの埋め込みを束ねたテンソルとして保持します。問い合わせ時には全チャンクとの類似度を計算し、最大値や平均値でドキュメントスコアを算出するため、「どこの文がヒットしたか」をピンポイントで返せる、というのが他のベクトルDBにない強みです。

テンソルの内部表現はApache LuceneとVespaを土台に構築されており、ベクトル類似度と語彙的検索(BM25)を同じインデックス内で扱えるよう設計されています。RAGを意識した粒度のフラグメント返却が標準なので、生成LLMに渡すコンテキスト選択がシンプルになります。

マルチモーダル対応とパイプライン

マルチモーダル対応とパイプライン

Marqoは画像、テキストはもちろん、テキストと画像を同時に埋め込むマルチモーダル検索を初期から重視しています。Open Clip、E5、Marqoが追加学習した独自モデルを内部で切り替えられ、推論サーバを別途立ち上げずにベクトル化を完結させる構成が標準です。

ドキュメント投入時にはadd_documentsに画像URLとテキストを混在させて渡すだけで、MarqoがダウンロードとCLIP推論、テンソル化を一括して行います。オートチャンク化のルールやスコアリング関数はtensor_fields/treat_urls_and_pointers_as_images/weightsといったパラメータで詳細に調整できます。ECサイトの商品検索、アパレルの画像類似検索、不動産の写真検索などで採用事例が増えており、「画像と文字を同じ口で扱う検索」をビジネス用途で実装したい場合の有力な選択肢です。

Vespaベースの分散実行

Vespaベースの分散実行

v2系のMarqoはコアエンジンとしてYahoo!オリジンのVespaを採用し直したことで、クラスタリング、レプリケーション、シャード管理といった本番要件を一気に強化しました。Vespaは20年近い歴史を持つ実戦投入済みの検索エンジンで、数十億ドキュメント規模の検索で実績があるため、Marqoは「最新の埋め込み技術」と「枯れた基盤」を両立しやすいポジションを得ています。

ChromaやWeaviateが独自エンジンを育てる方向に対して、Marqoは既存の堅牢な検索基盤の上にテンソル検索を載せる戦略を取った形です。結果としてベクトルとキーワード、属性フィルタ、ランキング関数を統一的に扱える点が魅力で、純粋なベクトルDBに飽き足らない検索エンジニアからの注目度が高まっています。

Marqo Cloudとライセンス事情

Marqo Cloudとライセンス事情

MarqoはGitHub上でApache 2.0系のオープンソースとして提供されており、Dockerコンテナを起動するだけで単一ノード版を試せます。本格利用ではMarqo Cloudというマネージドサービスが用意され、クラスタサイズと埋め込みモデルの選択肢、Marqtuneと呼ばれる埋め込みのドメイン特化学習サービスが組み合わさります。

競合とは異なり、検索とモデル運用、ドメインファインチューニングまでを一体で提供する姿勢が明確で、「ベクトルDBだけ買って終わり」ではなく「検索の品質改善まで丸ごと運用したい」企業向けの色合いが強いプロダクトです。RAGの精度に責任を持ちたいSaaSベンダにとって、検討の俎上に乗せる価値の高い選択肢といえます。

まとめ

MarqoはVespa基盤の上にテンソル検索を載せ、マルチモーダル検索とドメイン特化学習を統合的に扱う独自路線のベクトル検索エンジンです。RAGの精度向上やECサイトの商品検索など、「検索品質そのもの」を主戦場としたい場合に強い武器になります。

※本記事はIT用語辞典の手書きドラフトです。公開前に最新情報・出典を確認のうえ加筆修正してください。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次