編集長– Author –
-
Fivetran とは 自動化された大規模ELT SaaS
Fivetran は、SaaS・データベース・ファイルストレージなど多様なソースからデータを抽出し、Snowflake や BigQuery、Redshift といったクラウド DWH に自動でロードするマネージド ELT サービスです。2012 年に George Fraser と Taylor Brown らが米国で... -
dbt とは SQLでデータ変換を体系化するT層基盤
dbt（data build tool）は、データウェアハウスの中で実行する SQL の変換処理をモデル化し、依存解析・テスト・ドキュメント生成まで含めて管理する OSS ツールです。2016 年にコンサルティング会社 Fishtown Analytics（現 dbt Labs）が顧客向けの社内ツ... -
Prefect とは Airflow代替を狙うPython製基盤
Prefect は、Python のネイティブな関数とデコレータでワークフローを記述できるデータオーケストレーション基盤です。Apache Airflow の主要コミッタを務めた Jeremiah Lowin が 2018 年に Prefect Technologies 社（現 Prefect 社）を設立し、Airflow の... -
Dagster とは データアセット指向の次世代基盤
Dagster は、ジョブやタスクではなく「Software-Defined Asset（SDA）」と呼ばれるデータ資産を一級概念に据えたオーケストレータです。元 Facebook で GraphQL を開発した Nick Schrock らが 2018 年に Elementl 社（現 Dagster Labs）を立ち上げ、開発を... -
Apache Airflow とは Pythonで書くワークフロー基盤
Apache Airflow は、データ処理の手順を有向非巡回グラフ（DAG）として Python コードで定義し、時刻起動や依存関係に従って自動実行するワークフロー管理プラットフォームです。2014 年に Airbnb の Maxime Beauchemin が社内の集計ジョブを整理する目的... -
rkt — Docker対抗を狙ったCoreOS製コンテナランタイムの興亡
rkt（ロケット）は、米CoreOS社が2014年12月に「Rocket」として発表したコンテナランタイムです。Dockerデーモンの単一障害点・root権限要求・セキュリティモデルへの不満を背景に、「systemdと協調し、デーモンレスで動き、署名検証を組み込んだ堅牢なコ... -
Docker Swarm — Kubernetesに敗れた純正コンテナクラスタ
Docker Swarm（ドッカースウォーム）は、Docker社が開発したコンテナクラスタリングおよびオーケストレーション機能です。2014年12月のDockerCon Europeでソロモン・ハイクスが初期版を発表し、2016年6月のDocker Engine 1.12でSwarm modeとしてDocker本体... -
Docker Compose — YAMLで複数コンテナを束ねる定番オーケストレーター
Docker Compose（ドッカーコンポーズ）は、複数のコンテナで構成されるアプリケーションをYAMLファイル一枚で定義・起動・停止できるツールです。前身は2014年初頭にロンドンのOrchard Laboratoriesが開発した「Fig」というPython製ツールで、同年7月にDoc... -
nerdctl — Docker互換CLIでcontainerdを操る次世代クライアント
nerdctl（ナードコントロール）は、コンテナランタイムのcontainerdを直接操作するための、Docker互換のコマンドラインツールです。NTTの須田瑛大（あきひろ・すだ）を中心とするcontainerdコミュニティが2020年12月にバージョン0.1を公開し、Dockerのdock... -
runc — OCI仕様を直接実行する低レベルコンテナランタイム
runc（ランシー）は、OCI（Open Container Initiative）の実行時仕様を直接実装したCLIコンテナランタイムです。2015年6月のOCI設立と同時にDocker社がlibcontainerを寄贈する形で誕生し、Linuxカーネルのnamespacesとcgroups、capabilitiesなどを直接操作...
