FastPersist: Accelerating Model Checkpointing in Deep Learning

arXiv preprint(cs.DC、v1)。掲載誌は論文・arXiv 一覧に記載なし(2024) · 論文 · wang2024fastpersist

📅 この論文を見た日

初回 2026-11-13 / 最終 2026-11-13 / 計 1 回更新

少 多

AI解説

論文: Guanhua Wang, Olatunji Ruwase, Bing Xie, Yuxiong He(Microsoft DeepSpeed)。arXiv:2406.13768v1、2024-06-19。 情報源: arXiv PDF(15 ページ)の本文、図、参考文献、付録冒頭までを読んだ。付録の図 13〜15 は読んでいない。 図について: PDF のページを画像化して切り出した。Figure 1、2、5、7 だけを収録している。ほかの図は本文の数値を文章に引用するにとどめた。 GDS との関係: この論文は GPUDirect Storage を使っていない。GPU から NVMe への DMA が一般には使えないという理由を、本文に 1 文で書いている。 図はコミットして公開サイト(GitHub Pages)にも表示する。サイトは noindex メタ+robots.txt で検索除けされている。

一言で

モデルのチェックポイントを書く時間は、データ並列でGPUを増やしても縮まないので、学習全体に占める割合が増える。 FastPersist は、NVMe 向けの書き込み最適化、データ並列ランクへの書き込みの分担、次のイテレーションとの重ね合わせの 3 つでこれを縮める。 128 基の V100 で、チェックポイントの作成が PyTorch の標準より最大 116 倍速くなり、1 イテレーションごとに保存しても 13B 以下のモデルで学習の遅延は 5% 未満になった。

背景・問題

解くべき問題

GPUを増やす(データ並列度 DP を上げる)と、計算時間はほぼ DP に反比例して縮む。 チェックポイントの時間は DP を上げても変わらない(Figure 1)。 そのため、V100 128 基までの構成で、チェックポイントが 1 イテレーションに占める割合は、密モデルで 50% から 89%、疎モデルで 82% から 96% に増える。

DP による学習時間への影響

Figure 1: データ並列度が学習時間に与える影響。(a) は密モデル gpt3-1.3B、(b) は疎モデル gpt3-0.3B+16MoE。黒が計算、灰色がローカル SSD へのチェックポイント。V100-32GB を最大 128 基まで使う。

標準の torch.save() については、次の 3 点を挙げている。

local SSD 利用率

Figure 2: torch.save() による保存での、ローカル SSD の書き込み帯域利用率。横軸は DGX-2 マシン数、系列はモデルサイズ。

提案手法

1. NVMe 向けの書き込み最適化

標準のI/Oライブラリは NVMe の性能を引き出せない。 FastPersist は libaio と io_uring を使い、2 つの制約に対処する。

書き込みのダブルバッファ

Figure 5: テンソル Ti と Ti+1 を、GPU メモリから NVMe へ書く流れ。(a) HBM→DRAM と DRAM→NVMe を直列にした場合、(b) FastPersist が DRAM をダブルバッファにして重ねた場合。

2. 書き込みのデータ並列への分担

DP のランクは同じチェックポイントを持つので、各ランクが一部だけを書けばよい。 分担は訓練開始前に決めるので、書き込み中に通信が要らない。 分担は直列化の後に、バイト単位で行う。層やテンソルの単位で分けると、層の種類で大きさが違うため、負荷が偏るからである。 全ランクで書くと、書き込みが小さくなりすぎたり、PCIe や SSD の競合が増えたりする。そのため、CPU ソケット当たり 1 つの書き手(Socket)のように、ランクの部分集合を使う選択肢も用意する。

3. 次のイテレーションとの重ね合わせ

チェックポイントは、前向き・後ろ向き計算とは依存がなく、オプティマイザとだけ依存がある。 次のイテレーションの前向き・後ろ向き計算を、チェックポイントの書き込みと並行して走らせる。 オプティマイザの更新は、書き込みが終わるまで待つ。 Python の GIL を避けるため、ランクごとに書き込み専用の別プロセスを立てる。 書き込みの別プロセスは GPU メモリを確保せず、既存のテンソルを page-locked な CPU メモリへ読むだけにする。

実験・結果

環境は DGX-2 を 8 台(V100-32GB を 16 基ずつ、計 128 基)、InfiniBand 接続。 各マシンに NVMe SSD が 8 台あり、RAID-0 で 1 ボリュームにしている。書き込みの合計ピークは 24.8 GB/s。 モデルは GPT-3 型の密モデル 0.7B〜13B と、1.8B の MoE。

単一 GPU でのマイクロベンチマーク(§5.3.1、Figure 7)

16 MB〜512 MB のテンソルを、GPU から SSD へ書く。baseline は torch.save()。

IO バッファサイズの影響

Figure 7: 単一 GPU で、IO バッファのサイズを変えた場合の、baseline に対する相対帯域。(a) 16 MB、(b) 512 MB のチェックポイント。

密モデルの学習(§5.4)

関連研究との関係

限界(論文の記述)

Q&A

自分のコメント

(AI による作業メモ。以下は本論文の主張ではなく、読んだ AI の推論である。)