データベース・データ管理– category –

Apache Cassandraは、2008年にFacebookがInbox検索のために内製し、その後Apacheへ寄贈した分散型NoSQLデータベースです。Amazon Dynamoの分散モデルとGoogle Bigtableのデータモデルを掛け合わせた設計が特徴で、ノードを足すほど書き込み性能が線形に伸...

Great Expectations は、データに対する期待値（Expectation）を Python で宣言し、自動テスト・検証・ドキュメント化までを一貫して行える OSS データ品質フレームワークです。2018 年頃に James Campbell と Abe Gong らがコアコントリビュータとして開...

Airbyte は、Fivetran 等の有償 ELT サービスのオープンソース代替として 2020 年に登場したデータ統合プラットフォームです。創業者の Michel Tricot と John Lafleur が、ロングテールのコネクタ需要に対応するには OSS が必要だと考え、自前で書きやす...

Fivetran は、SaaS・データベース・ファイルストレージなど多様なソースからデータを抽出し、Snowflake や BigQuery、Redshift といったクラウド DWH に自動でロードするマネージド ELT サービスです。2012 年に George Fraser と Taylor Brown らが米国で...

dbt（data build tool）は、データウェアハウスの中で実行する SQL の変換処理をモデル化し、依存解析・テスト・ドキュメント生成まで含めて管理する OSS ツールです。2016 年にコンサルティング会社 Fishtown Analytics（現 dbt Labs）が顧客向けの社内ツ...

Prefect は、Python のネイティブな関数とデコレータでワークフローを記述できるデータオーケストレーション基盤です。Apache Airflow の主要コミッタを務めた Jeremiah Lowin が 2018 年に Prefect Technologies 社（現 Prefect 社）を設立し、Airflow の...

Dagster は、ジョブやタスクではなく「Software-Defined Asset（SDA）」と呼ばれるデータ資産を一級概念に据えたオーケストレータです。元 Facebook で GraphQL を開発した Nick Schrock らが 2018 年に Elementl 社（現 Dagster Labs）を立ち上げ、開発を...

Apache Airflow は、データ処理の手順を有向非巡回グラフ（DAG）として Python コードで定義し、時刻起動や依存関係に従って自動実行するワークフロー管理プラットフォームです。2014 年に Airbnb の Maxime Beauchemin が社内の集計ジョブを整理する目的...

Pineconeは米国Pinecone Systems社が提供するフルマネージドのベクトルデータベースサービスで、AWS研究所出身でYahoo!研究所の研究ディレクターを務めたエド・リバティ（Edo Liberty）が2019年に創業しました。ANN（近似最近傍探索）アルゴリズムの研究背...

Vector Database（ベクトルデータベース）は、テキスト・画像・音声などを高次元の埋め込みベクトルに変換した結果を格納し、「意味的に似ているもの」を高速に検索することに特化したデータベースです。従来のリレーショナルデータベースが完全一致やSQL...