データベース・データ管理– category –

Airbyte は、Fivetran 等の有償 ELT サービスのオープンソース代替として 2020 年に登場したデータ統合プラットフォームです。創業者の Michel Tricot と John Lafleur が、ロングテールのコネクタ需要に対応するには OSS が必要だと考え、自前で書きやす...

Fivetran は、SaaS・データベース・ファイルストレージなど多様なソースからデータを抽出し、Snowflake や BigQuery、Redshift といったクラウド DWH に自動でロードするマネージド ELT サービスです。2012 年に George Fraser と Taylor Brown らが米国で...

dbt（data build tool）は、データウェアハウスの中で実行する SQL の変換処理をモデル化し、依存解析・テスト・ドキュメント生成まで含めて管理する OSS ツールです。2016 年にコンサルティング会社 Fishtown Analytics（現 dbt Labs）が顧客向けの社内ツ...

Prefect は、Python のネイティブな関数とデコレータでワークフローを記述できるデータオーケストレーション基盤です。Apache Airflow の主要コミッタを務めた Jeremiah Lowin が 2018 年に Prefect Technologies 社（現 Prefect 社）を設立し、Airflow の...

Dagster は、ジョブやタスクではなく「Software-Defined Asset（SDA）」と呼ばれるデータ資産を一級概念に据えたオーケストレータです。元 Facebook で GraphQL を開発した Nick Schrock らが 2018 年に Elementl 社（現 Dagster Labs）を立ち上げ、開発を...

Apache Airflow は、データ処理の手順を有向非巡回グラフ（DAG）として Python コードで定義し、時刻起動や依存関係に従って自動実行するワークフロー管理プラットフォームです。2014 年に Airbnb の Maxime Beauchemin が社内の集計ジョブを整理する目的...

Pineconeは米国Pinecone Systems社が提供するフルマネージドのベクトルデータベースサービスで、AWS研究所出身でYahoo!研究所の研究ディレクターを務めたエド・リバティ（Edo Liberty）が2019年に創業しました。ANN（近似最近傍探索）アルゴリズムの研究背...

Vector Database（ベクトルデータベース）は、テキスト・画像・音声などを高次元の埋め込みベクトルに変換した結果を格納し、「意味的に似ているもの」を高速に検索することに特化したデータベースです。従来のリレーショナルデータベースが完全一致やSQL...

Apache Hadoopは2006年、米Yahoo!のDoug Cuttingらが Google の論文（GFS, MapReduce）を参考に開発した分散処理基盤です。「ノードが落ちる前提で大規模データを処理する」発想で、ビッグデータブームを牽引した立役者。HDFS（分散ファイルシステム）、YA...

Snowflakeは2012年、米Snowflake Computing社が「クラウド時代に最適化されたデータウェアハウス」を目指して開発した、完全マネージドのクラウドDWHプラットフォームです。「ストレージとコンピュートの分離」「複数クラウド対応」「データ共有機能」など...