データベース・データ管理– category –
-
ClickHouse — Yandex生まれの列指向OLAP超高速エンジン
ClickHouseは、ロシアの検索大手Yandexが2009年から社内開発し、2016年6月にApache 2.0ライセンスでOSS化した列指向DBMSです。ウェブ解析サービスYandex.Metricaの数兆行を捌くために設計されており、単一サーバでも秒間数億行のスキャンを実現します。Clo... -
Neo4j — 関係そのものを格納するグラフデータベース
Neo4jは、2007年にスウェーデンのスタートアップ Neo Technology（現Neo4j, Inc.）が公開したグラフデータベースの草分けです。ノードとリレーションシップを一級市民として保存し、SQLライクな問い合わせ言語 Cypher で「関係を辿る」操作を直感的に書け... -
DynamoDB — AWSが運用ごと提供するサーバーレスNoSQL
Amazon DynamoDBは、2012年にAWSが公開したフルマネージド型のキーバリュー/ドキュメントNoSQLです。源流は2004年のホリデーシーズンにAmazonが社内向けに開発したDynamoで、そのときの教訓を綴った2007年のSOSP論文は分散DB研究の必読書になっています。L... -
Cassandra — Facebook発、無停止運用を支える分散NoSQL
Apache Cassandraは、2008年にFacebookがInbox検索のために内製し、その後Apacheへ寄贈した分散型NoSQLデータベースです。Amazon Dynamoの分散モデルとGoogle Bigtableのデータモデルを掛け合わせた設計が特徴で、ノードを足すほど書き込み性能が線形に伸... -
Great Expectations とは データ品質を守るOSS
Great Expectations は、データに対する期待値（Expectation）を Python で宣言し、自動テスト・検証・ドキュメント化までを一貫して行える OSS データ品質フレームワークです。2018 年頃に James Campbell と Abe Gong らがコアコントリビュータとして開... -
Airbyte とは OSSで広がるELT基盤の本命
Airbyte は、Fivetran 等の有償 ELT サービスのオープンソース代替として 2020 年に登場したデータ統合プラットフォームです。創業者の Michel Tricot と John Lafleur が、ロングテールのコネクタ需要に対応するには OSS が必要だと考え、自前で書きやす... -
Fivetran とは 自動化された大規模ELT SaaS
Fivetran は、SaaS・データベース・ファイルストレージなど多様なソースからデータを抽出し、Snowflake や BigQuery、Redshift といったクラウド DWH に自動でロードするマネージド ELT サービスです。2012 年に George Fraser と Taylor Brown らが米国で... -
dbt とは SQLでデータ変換を体系化するT層基盤
dbt（data build tool）は、データウェアハウスの中で実行する SQL の変換処理をモデル化し、依存解析・テスト・ドキュメント生成まで含めて管理する OSS ツールです。2016 年にコンサルティング会社 Fishtown Analytics（現 dbt Labs）が顧客向けの社内ツ... -
Prefect とは Airflow代替を狙うPython製基盤
Prefect は、Python のネイティブな関数とデコレータでワークフローを記述できるデータオーケストレーション基盤です。Apache Airflow の主要コミッタを務めた Jeremiah Lowin が 2018 年に Prefect Technologies 社（現 Prefect 社）を設立し、Airflow の... -
Dagster とは データアセット指向の次世代基盤
Dagster は、ジョブやタスクではなく「Software-Defined Asset（SDA）」と呼ばれるデータ資産を一級概念に据えたオーケストレータです。元 Facebook で GraphQL を開発した Nick Schrock らが 2018 年に Elementl 社（現 Dagster Labs）を立ち上げ、開発を...
