Cost-Efficient LLM Training with Lifetime-Aware Tensor Offloading via GPUDirect Storage

arXiv preprint(cs.DC、v1)。掲載誌は論文・arXiv 一覧に記載なし(2025) · 論文 · yuan2025teraio

📅 この論文を見た日

初回 2026-11-13 / 最終 2026-11-13 / 計 1 回更新

少 多

AI解説

論文: Ziqi Yuan, Haoyang Zhang, Yirui Eric Zhou, Apoorve Mohan, I-Hsin Chung, Seetharami Seelam, Jian Huang(UIUC と IBM Research)。arXiv:2506.06472v1、2025-06-06。 情報源: arXiv PDF(12 ページ)の本文、図、参考文献を読んだ。arXiv 版は 2 つの図のサブ図の番号が重複するなど、体裁が粗い。 図について: PDF のページを画像化して切り出した。Figure 1、2、4、7 だけを収録している。Figure 3、5、6、8、9 は文章で述べるにとどめた。 対象の注意: この論文の対象は、LLM 学習中のテンソルの GPU↔SSD の退避と先読みである。チェックポイントの保存や復元ではない。 図はコミットして公開サイト(GitHub Pages)にも表示する。サイトは noindex メタ+robots.txt で検索除けされている。

一言で

LLM 学習の 1 イテレーションでは、GPU メモリのうち、いま実行中のカーネルが使うテンソル(active)は、平均 1.7% にすぎない。 残りの不活性なテンソルは長く使われないので、SSD に退避して先読みすれば、GPU を止めずに済む。 Teraio は、最初の数イテレーションでテンソルの寿命を測り、退避と先読みの計画を作って、GPUDirect Storage(GDS)で GPU と SSD の間を直接転送する。 ZeRO-Offload と ZeRO-Infinity に対して、学習の速度が平均 1.47 倍になり、メモリが無限にある理想の 80.7% に達した。

背景・問題

解くべき問題

LLM の学習に必要なメモリは、GPU メモリの増加より速く増える。 ホストメモリへの退避は、ホストの DRAM の容量で頭打ちになる。 SSD への退避は、既存の方法(ZeRO-Infinity など)では、SSD の帯域を使い切れず、遅い SSD アクセスを隠せない。 論文は ZeRO-Infinity について、DNN の層の粒度で退避する粗い方式が、限られた SSD 帯域を無駄にすると述べる。

特性調査(§2)

2 基の H100 で Llama3-8B、Llama3-70B、GPT2-40B、T5-11B を調べた。

active テンソルのメモリ消費

Figure 1: 並列学習の 1 イテレーションでの、全テンソルと active テンソルのメモリ消費(GPU メモリ容量に対する比、対数軸)。(a) モデルごと、(b) パイプラインのステージごと。

不活性期間の分布

Figure 2: テンソルの不活性期間(マイクロ秒)の累積分布。(a) Llama3-8B、(b) GPT2-40B、(c) Llama3-70B、(d) T5-11B。

提案手法

Teraio の全体像

Figure 4: Teraio のシステム概要。寿命プロファイラ、寿命を考慮した移動計画、GDS ベースの移動エンジン。

実験・結果

環境は H100 NVL 2 基、SSD は Samsung 990 PRO(読み書き 6.7/6.5 GB/s)8 台、PCIe Gen5、CPU メモリ 1.5 TB。 SSD 4 台の RAID-0 を GPU 1 基に割り当て、1 基当たり約 16 GB/s。ソフトは PyTorch 2.5.0 と TorchTitan。 モデルは Llama3-8B、Llama3-70B、Granite-code-base-8B。

学習のスループット

Figure 7: Llama3-8B、Granite-code-base-8B、Llama3-70B の学習スループット。(1) はバッチサイズ、(2) は系列長を変えた場合。M は GPU メモリ容量に対する学習全体の消費比。×は OOM で学習できなかった構成。

関連研究との関係と限界

Q&A

自分のコメント

(AI による作業メモ。以下は本論文の主張ではなく、読んだ AI の推論である。)