Grafana Loki（グラファナ・ロキ）は、Grafana Labsが2018年に発表したオープンソースのログ集約システムで、Prometheusに着想を得たラベル指向のインデックス設計を特徴とします。ログ本文を全文索引せず、ラベルだけを索引化することでストレージコストを大幅に削減し、オブジェクトストレージ上に低コストで保管できる点が支持されています。Grafanaダッシュボードとシームレスに連携し、メトリクスやトレースと同じUIで横断的にログを参照できるため、Kubernetes時代のクラウドネイティブ運用における標準的なログ基盤として広く普及しています。
この記事の目次
- Lokiが軽量である理由と設計思想
- コンポーネント構成と稼働モード
- Elasticsearchなど他基盤との比較
- 導入時に押さえるべき注意点
- まとめ
Lokiが軽量である理由と設計思想
Lokiの最大の特徴は、ログを全文検索インデックスに展開しない設計にあります。一般的なログ基盤はログ本文をトークン化して大規模な転置インデックスを構築しますが、その代償としてストレージ容量とインデックス維持コストが膨らみます。Lokiは「ラベル」と呼ばれるキー・バリュー組のみを索引し、ログ本文はチャンクに固めて圧縮保存するだけにとどめます。検索時はまずラベルでチャンクを絞り込み、その後でgrep相当の走査を実行する二段構えとなっており、Kubernetesのラベルやポッド名と相性のよい構造を採ります。
この設計により、AWS S3やGoogle Cloud Storageといった安価なオブジェクトストレージにそのままログを格納でき、ペタバイト級のログでも現実的なコストで保管できます。一方で全文検索のような自由度は劣るため、ラベル設計を雑にしてしまうとカーディナリティ爆発を起こし性能が劣化する点には注意が必要です。Grafana Labsのドキュメントでは、ラベル数を絞り込み、可変の高カーディナリティ値はラベルに含めない運用が推奨されており、これがLoki運用の最重要ノウハウとされています。
コンポーネント構成と稼働モード
Lokiは複数のマイクロサービスから成り、Distributor（受信と分配）、Ingester（一定期間メモリ保持と書き込み）、Querier（検索）、Compactor（保存形式の整理）などが役割を分担します。小規模環境では全コンポーネントを1プロセスで動かす「モノリシックモード」、中規模では読み取り・書き込みを分離する「シンプルスケーラブルモード」、大規模ではすべてを個別にスケールする「マイクロサービスモード」を選択できます。これにより、PoCから大企業の本番運用まで同じソフトウェアで段階的にスケールアウト可能です。
ログ収集側ではPromtail、Fluent Bit、Vectorなどがクライアントとして利用され、Kubernetes環境ではDaemonSetとして配置するのが一般的です。クエリにはLogQLというPromQLに似た言語を用い、ラベルフィルタとパイプライン処理を組み合わせて柔軟な検索や集計を行えます。LogQLはメトリクスへの変換もサポートしており、ログから派生したRate系メトリクスをPrometheus同様に扱える点はLokiならではの強みといえます。
Elasticsearchなど他基盤との比較
Elasticsearchに代表される全文検索型ログ基盤と比べると、Lokiは検索の自由度では劣りますが、コストとシンプルさで大きな優位を持ちます。Elasticsearchは任意のキーワード検索や複雑な集計に強い一方、インデックスサイズが膨大になりやすく、運用には熟練の知識が必要です。Lokiはラベル設計さえ適切ならば、運用負荷とランニングコストを大幅に下げられるため、「とにかく安く長く保管したい」「Grafanaに統合したい」という要件で選ばれやすい構図になっています。
また、Mimirがメトリクス、Tempoがトレースを担う「Grafana LGTMスタック」の一角としてLokiを位置づける動きが進んでおり、メトリクス・ログ・トレースを単一の可観測性プラットフォームに統合できる点が、商用ベンダーロックを避けたい現場でのLoki採用を後押ししています。一方で、コンプライアンス上の長期保管要件や法令上の改ざん検知などには別途仕組みが必要な場合があり、要件に応じた設計判断が求められます。
導入時に押さえるべき注意点
Lokiを本番投入する際の最大の落とし穴は、ラベルのカーディナリティ管理です。リクエストIDやユーザーIDのような無限に近い値をラベルに含めるとインデックス構造が崩壊し、検索遅延やメモリ枯渇を招きます。これらは原則ログ本文側に置き、ラベルはアプリケーション名・環境・クラスタといった限られた次元に留める設計が定石です。Grafana Labsはラベル設計に関する公式ベストプラクティスを公開しており、運用前に必ず確認すべき資料となります。
また、長期保管においては保持期間とコンパクタの設定、オブジェクトストレージのライフサイクルポリシーを組み合わせ、必要なログを必要な期間だけ持つようにすることがコスト最適化の鍵です。さらに、検索範囲が広いクエリを無制限に許すとQuerierの負荷が跳ね上がるため、最大期間制限や同時実行数の上限など、マルチテナント前提のガードレールを設定しておくことが安定運用には欠かせません。
まとめ
Grafana Lokiは、ラベル指向のインデックス設計と安価なオブジェクトストレージの組み合わせにより、クラウドネイティブ時代のログ集約をコスト効率よく実現するためのデファクト的存在になりつつあります。Grafanaダッシュボードと密接に連携することで、メトリクスやトレースとともに単一の可観測性プラットフォームを構築できる点も魅力です。導入にあたってはラベル設計とクエリ制御を丁寧に行うことが成功の鍵となります。
※本記事はIT用語辞典の手書きドラフトです。公開前に最新情報・出典を確認のうえ加筆修正してください。
コメント