基礎知識– tag –

CBOR（Concise Binary Object Representation、シーボア）は2013年にRFC 7049として標準化されたバイナリシリアライズ形式で、現行仕様は2020年のRFC 8949に更新されている。MessagePackから派生した設計をもとに、JSONと等価なデータモデルを維持しつつ、...

MessagePack（メッセージパック）は2008年に古橋貞之氏が公開したオープンソースのバイナリシリアライズ形式で、「Efficient binary serialization format. It lets you exchange data among multiple languages like JSON.」をキャッチコピーに掲げる。JS...

Protocol Buffers（プロトコルバッファーズ、protobuf）はGoogleが社内で利用していた言語横断のデータシリアライズ／IDL（Interface Definition Language）を2008年にオープンソース化したものだ。.protoファイルで型とサービスを定義し、専用コンパイラp...

Apache Arrow（アロー）は2016年にWes McKinneyらが立ち上げた、言語横断のインメモリ列指向データ形式である。pandasやParquetなど既存ライブラリが各々独自のメモリレイアウトを持っていたためにデータを交換するたびにシリアライズ／デシリアライズが必...

Apache ORC（Optimized Row Columnar）は2013年にHortonworksがHive用に開発した列指向ファイル形式で、当時主流だったRCFileとTrevniを置き換えるべく設計された。Parquetと並ぶHadoop系の二大列指向フォーマットとして知られ、Hive・Presto・Trino・Spar...

Apache Avro（アヴロ）は2009年にHadoopの主要メンテナDoug Cuttingが発案した行指向のデータシリアライズフォーマットで、Apache Software Foundationのトップレベルプロジェクトとして発展してきた。Protocol BuffersやThriftと並ぶバイナリ表現でありな...

Apache Parquet（パーケ）は2013年にTwitterとClouderaが共同で公開したオープンソースの列指向ファイル形式で、Hadoopエコシステムから生まれながら現在ではSpark・Presto・Trino・DuckDB・BigQuery外部テーブルなど多くの分析エンジンが第一級でサポート...

Emscriptenはイスラエル出身の開発者Alon Zakaiが2010年に公開したC/C++をブラウザで動かすためのツールチェーンです。当初はLLVM IRをJavaScriptへ変換するasm.jsターゲットとして登場し、2017年以降はWebAssemblyを主要な出力形式として再構築されました...

Nimはドイツの開発者Andreas Rumpfが2008年に発表したプログラミング言語で、もとはNimrodという名称で公開されたのち、2014年にNimへ改称されました。Pythonに近いインデントベースの構文を採用しつつ、コンパイラがC、C++、Objective-C、JavaScriptへと...

Crystalはアルゼンチンのソフトウェア企業Manas Technology Solutionsが2014年に公開したプログラミング言語で、Ary Borenszweig、Juan Wajnerman、Brian Cardiffが中心となって設計を進めてきました。Rubyの構文と表現力をほぼそのまま受け継ぎつつ、コン...