関係マップ:GPUDirect Storage は移行経路で使えるか

ElasticKernel-GPU の issue #43(VRAM からストレージに直接書く GPUDirect Storage / cuFile は使えないのか)の先行研究調査。 結論を先に決めず、使えない側の証拠と使える側の証拠を同じ重みで集めた。 根拠の強さは3段で書く。原本確認済み(論文 PDF または NVIDIA 公式ドキュメントを読んだ)、未確認(要約や書誌情報のみ)、当方の推論(資料の主張ではない)。 検証の痕跡は docs/citation-checks/gds-topic1.md 〜 gds-topic4.md(非公開)に残した。引用文の原文、URL、版、取得日はそちらにある。

結論の先出し

論点1. VRAM からホストへのコピー(D2H)は律速か

原本確認済みの結果。

文献 測っていること 向き
CheckFreq(FAST ‘21)Table 3 VGG16、ローカルストレージ。永続化を非同期にしても残る停止が、SSD(V100)で 3.6 秒中 1.5 秒、HDD(1080Ti)で 10.7 秒中 1.3 秒。シリアライズを含み、D2H 単独ではない ストレージが遅いほど、ストレージ側が支配的になる
Check-N-Run(arXiv) スナップショットは最大 7 秒(30分間隔で 0.4% 未満)。頻度の上限はリモートストレージの書き込みとネットワーク帯域 ストレージ/ネットワーク律速を支持
Gemini(SOSP ‘23) D2H 帯域はネットワークと同程度(p4d で各約 400 Gbps)。パイプライン化しない設計は反復を 3.5% 遅くする D2H が無視できない側
PhOS(SOSP ‘25) 55 GB の Llama2-13B プロセスで、チェックポイントと復元の停止が各 2.1 秒以上 D2H が無視できない側
DataStates-LLM(HPDC ‘24) ピン留め D2H が 25 GB/s、ローカル SSD が 2 GB/s。ホストコピーが既存の非同期ツールの律速と主張。保存先は Lustre D2H が無視できない側(保存先の速度に依存)

論点2. GDS が使えない・互換モードに落ちる条件

すべて NVIDIA の公式ドキュメント(GDS v1.20、取得日 2026-11-13)を読んだ結果である。原文の引用は docs/citation-checks/gds-topic2.md にある。

使えない側(成立条件)

使える側(反証)

見つからなかったもの・未確認

論点3. GDS をチェックポイントや退避に使った先行研究

文献 GDS の使い方と効果 前提・制約
Teraio(arXiv:2506.06472、原本確認済み) 学習中のテンソルを SSD に退避。学習速度は ZeRO 系の平均 1.47 倍 チェックポイントではない。保存先はローカル SSD。GDS の有無を比べる実験は見当たらず、GDS を選んだ理由はマルチ GPU でのホスト CPU の律速という設計上の動機
FastPersist(arXiv:2406.13768、原本確認済み) GDS は使っていない。 本文に「アクセラレータと NVMe 間の DMA はまだ広くは使えない」とある。ページロックしたホストメモリのダブルバッファで、チェックポイント作成は baseline 比で最大 116 倍速い。13B 以下では毎イテレーション保存しても遅延 5% 未満 GPU からのコピー時間の内訳は報告なし
uGDS(arXiv:2610.30868、プレプリント、原本は一部のみ) GDS 自体を測って批判する。初期化 114.56 ms。最初の batch の遅れは読み出し 90.84 ms、書き込み 117.65 ms で、64 MiB 転送の経過時間の約9割。4 KiB の小さな I/O では最大 6.23 倍速いが、64 KiB・16 スレッドでは 1.2〜1.4 倍 ローカル NVMe 1台。チェックポイントではない
Fastensor(ACM TACO 20(4)、2023-12 公開、DOI 10.1145/3630108) アブストラクトによれば、GDS で NVMe と GPU の間のチェックポイント、ログ、中間特徴マップを転送する 全文は未取得(ACM が 403)。 5.37 倍・2.96 倍という数値は検索要約のみで、原本未確認。依頼文の「2024」は、Crossref の公開日(2023 年)とずれる

論点4. 変数粒度(pickle ストリーム)と GDS の相性

成立しうる側(原本確認済み)

合いにくい側(原本確認済み)

見つからなかったもの

当方の推論

反証として残る問い

  1. 経路が RDMA 付き NFS なら GDS は成立する。ElasticKernel の経路(Azure からオンプレ NFS)がそうなりうるかは、資料からは判断できない。
  2. D2H の占有率は、保存先が遅いと小さくなるという推論だけで、測定の裏づけがない。ElasticKernel 側で、保存時間を D2H・シリアライズ・書き込みに分けて測れば、この問いに直接答えられる。
  3. Fastensor の全文が読めていないため、GDS の効果を示す最も直接的な先行研究が、原本確認の外にある。