データベース・データ管理– category –

第3正規形は、関係データベース理論において、冗長性と不必要な依存関係を排除する設計原則です。カーネル・ブラウンらの研究により発展し、現在ではSQLをはじめとする多数のRDBMSで標準的な基準となっています。 【この記事の目次】 第3正規形の定義と役...

第2正規形（2NF）は、関係データモデルにおいて、1NFに達した後に行われる二段目の正規化処理であり、重複をさらに排除する役割を果たす。この記事では、2NFの定義から歴史的背景までを詳述し、現代的なデータ管理における位置づけや実装方法についても考...

第1正規形は1970年代後半にE.F. コッドが提唱した概念で、関係モデルにおける最低限のデータ整合性を定義する。現在ではすべてのデータベース設計において基本的な要件とされている。 【この記事の目次】 第1正規形の定義 第1正規形の歴史的背景 第1正規形...

Apache Arrow（アロー）は2016年にWes McKinneyらが立ち上げた、言語横断のインメモリ列指向データ形式である。pandasやParquetなど既存ライブラリが各々独自のメモリレイアウトを持っていたためにデータを交換するたびにシリアライズ／デシリアライズが必...

Apache ORC（Optimized Row Columnar）は2013年にHortonworksがHive用に開発した列指向ファイル形式で、当時主流だったRCFileとTrevniを置き換えるべく設計された。Parquetと並ぶHadoop系の二大列指向フォーマットとして知られ、Hive・Presto・Trino・Spar...

Apache Avro（アヴロ）は2009年にHadoopの主要メンテナDoug Cuttingが発案した行指向のデータシリアライズフォーマットで、Apache Software Foundationのトップレベルプロジェクトとして発展してきた。Protocol BuffersやThriftと並ぶバイナリ表現でありな...

Apache Parquet（パーケ）は2013年にTwitterとClouderaが共同で公開したオープンソースの列指向ファイル形式で、Hadoopエコシステムから生まれながら現在ではSpark・Presto・Trino・DuckDB・BigQuery外部テーブルなど多くの分析エンジンが第一級でサポート...

Redis Searchは、インメモリデータストアのRedisに全文検索とベクトル検索の機能を追加するモジュールで、Redis Stackや旧RediSearchとして提供されてきました。Redisが本来得意とする低レイテンシなキーバリュー操作と組み合わせ、ベクトル類似度検索とBM...

pgvectorはAndrew Kaneが2021年から開発しているPostgreSQLのオープンソース拡張で、vectorという新しい型と、L2距離・コサイン距離・内積などの演算子、IVFFlatおよびHNSWインデックスを追加します。ベクトル検索専用DBを別途運用せず、既存のPostgreSQL...

MarqoはMarqo AI社が2022年に公開したオープンソースの検索エンジンで、自社では「テンソル検索（tensor search）」と呼ぶアプローチを核に据えています。テキストや画像を細かいチャンク単位の埋め込みに分解し、それらをまとめてテンソルとして保持する...