AI・機械学習・データサイエンス– category –

1x1畳み込み（Conv）は、Deep Learningにおける畳込みニューラルネットワーク(CNN)の一部として使用される小さなフィルタ。その起源と進化とともに、最近では高速な特徴マッピングやモデル軽量化に重要な役割を果たすようになってきた。 【この記事の目次...

2020年に発表された01-AI Yi Lightningは、高性能GPUと大規模データセットを活用した深度学習に焦点を当てた次世代のAIエンジンです。この記事ではその開発背景、技術的特徴、現状の展開について解説します。 【この記事の目次】 01-AI Yi Lightningの基本...

深層学習（ディープラーニング、Deep Learning）は、ニューラルネットワークの層を深く重ねることで従来の機械学習では手に負えなかった画像・音声・自然言語の問題を一気に解けるようにした技術です。2012年のImageNetコンペでアレックス・クリジェフスキ...

機械学習（Machine Learning、ML）は、明示的なルールを書く代わりに大量のデータからパターンを抽出してタスクをこなす技術の総称です。1959年にIBMのアーサー・サミュエルが造語したと言われており、長い研究の蓄積を経て2010年代以降のディープラーニン...

Constitutional AI（憲法的AI）は、機械学習と人間中心設計が融合し、自己調整能力を持つ新しいタイプの人工知能です。この記事では、その概念の背後にある歴史、技術的背景、そして現状を詳しく解剖します。 【この記事の目次】 Constitutional AIの定義 ...

DPOは、ユーザーや組織の目的に合わせた行動推奨を行う機械学習技法です。1980年代から研究が進み、2010年代後半には企業でも広く採用されるようになりました。 【この記事の目次】 直接選好最適化とは DPOの起源と進化 DPOの内部構造 DPOと他の最適化手法...

Flash Attentionは、Transformerモデルにおける長大な入力に対する効率的な推論を可能にする技術です。2020年代初頭から注目を集め、現在では大規模言語モデルのリアルタイム応答性向上に貢献しています。 【この記事の目次】 Flash Attentionの定義 Flash...

Self-Attention（自己注意）は、入力系列の各要素が同じ系列内の他のすべての要素を参照して関係性を計算する機構で、2017年の論文「Attention is All You Need」でTransformerの中核として導入されました。RNNや畳み込みに頼らず、文全体の長距離依存関係...

Attention機構は、入力系列の中から「現在の出力にとって特に重要な部分」を動的に重み付けして取り出す仕組みで、2014年にBahdanauらが機械翻訳のために導入したのが発端です。RNNが抱えていた長距離依存と固定長コンテキストの問題を解決し、その後Self-...

VAE（Variational Autoencoder、変分オートエンコーダ）は、2013年にKingmaとWellingが提案した生成モデルで、入力データを確率分布として潜在空間に符号化し、そこからサンプリングして再構成する仕組みを持ちます。確率的グラフィカルモデルと深層学習を...