関係マップ:GPUDirect Storage は移行経路で使えるか
ElasticKernel-GPU の issue #43(VRAM からストレージに直接書く GPUDirect Storage / cuFile は使えないのか)の先行研究調査。 結論を先に決めず、使えない側の証拠と使える側の証拠を同じ重みで集めた。 根拠の強さは3段で書く。原本確認済み(論文 PDF または NVIDIA 公式ドキュメントを読んだ)、未確認(要約や書誌情報のみ)、当方の推論(資料の主張ではない)。 検証の痕跡は
docs/citation-checks/gds-topic1.md〜gds-topic4.md(非公開)に残した。引用文の原文、URL、版、取得日はそちらにある。
結論の先出し
- 「GDS はこの経路で使えない/使う必要がない」と断言できる先行研究は、今回は見つからなかった。
- 使えない側の根拠は、NVIDIA の公式ドキュメントにある成立条件が中心である(論点2)。
- 使う必要がない側の根拠は、保存時間のうち D2H が占める割合を測った研究がなく、間接証拠にとどまる(論点1)。
- 変数粒度との相性は、PyTorch の実装が示す範囲で、成立しうるが既存の経路とは合わない(論点4)。
論点1. VRAM からホストへのコピー(D2H)は律速か
原本確認済みの結果。
- D2H と書き込みの内訳を、保存時間全体について分けて測った論文は見つからなかった。
- 見つかったのは停止時間(学習が止まる時間)の測定で、保存時間全体とは別の量である。
| 文献 | 測っていること | 向き |
|---|---|---|
| CheckFreq(FAST ‘21)Table 3 | VGG16、ローカルストレージ。永続化を非同期にしても残る停止が、SSD(V100)で 3.6 秒中 1.5 秒、HDD(1080Ti)で 10.7 秒中 1.3 秒。シリアライズを含み、D2H 単独ではない | ストレージが遅いほど、ストレージ側が支配的になる |
| Check-N-Run(arXiv) | スナップショットは最大 7 秒(30分間隔で 0.4% 未満)。頻度の上限はリモートストレージの書き込みとネットワーク帯域 | ストレージ/ネットワーク律速を支持 |
| Gemini(SOSP ‘23) | D2H 帯域はネットワークと同程度(p4d で各約 400 Gbps)。パイプライン化しない設計は反復を 3.5% 遅くする | D2H が無視できない側 |
| PhOS(SOSP ‘25) | 55 GB の Llama2-13B プロセスで、チェックポイントと復元の停止が各 2.1 秒以上 | D2H が無視できない側 |
| DataStates-LLM(HPDC ‘24) | ピン留め D2H が 25 GB/s、ローカル SSD が 2 GB/s。ホストコピーが既存の非同期ツールの律速と主張。保存先は Lustre | D2H が無視できない側(保存先の速度に依存) |
- GoCkpt は D2H の主張が見積もりで、測定ではない。CRIUgpu は表の「freezing」列に GPU からホストへのコピーが含まれるか読み取れなかった。ByteCheckpoint(NSDI ‘25)は D2H を隠すべきコストとして扱うが、占有率は本文に見当たらなかった。BitSnap は自前の測定がない。
- 見つからなかったもの:NFS やクラウドからオンプレへの経路を保存先にした D2H 測定。数十 MB 以下の小さな状態の内訳。ノートブックの変数単位の測定。
- 当方の推論:保存先が遅い構成(クラウドからオンプレ NFS)では、停止時間では D2H が支配的でも、保存時間全体ではストレージが支配的になりうる。
- 未確認:Check-N-Run の掲載誌(NSDI ‘22 は PDF に書かれていない)、BitSnap の MLSys 年、PCcheck(取得した arXiv ID が違い未読)、CRAC・GPU-Snapshot・FlowGPU(全文は未読)。
論点2. GDS が使えない・互換モードに落ちる条件
すべて NVIDIA の公式ドキュメント(GDS v1.20、取得日 2026-11-13)を読んだ結果である。原文の引用は docs/citation-checks/gds-topic2.md にある。
使えない側(成立条件)
- NFS: サーバ側とクライアント側の両方で RDMA が必要。RDMA がないとソケットバッファ経由になり、互換モード(CPU のバウンスバッファ)に落ちる。API リファレンスは、互換モードを使う例に「RDMA が有効でないネットワーク」と「GDS 非対応のファイルシステム」を挙げる。
- 新規ファイルの書き込み: ファイルを拡張する書き込みやブロックを新規に割り当てる書き込みは、ページキャッシュに入って O_DIRECT から外れうる。ただしサーバ側で割り当てを行い、クライアントがバッファしない分散ファイルシステムには適用されない。新規ファイルが常に外れるとは書かれていない。クライアント側のチェックサムは無効にする必要がある。
- fork(): cuFile API は、fork() を使うアプリケーションでは非対応。壊れ方の詳細は書かれていない。
- IOMMU/ACS: IOMMU=on または ACS 有効の場合、動作も性能も保証されない。
- GPU: データセンター向けと Quadro のみが GDS モード。それ以外は互換モードだけ。vGPU は Ada、Hopper 以降で OpenRM が必要。
- ドライバ: nvidia-fs には NVIDIA のオープンカーネルモジュールが必要。MLNX_OFED/DOCA を先に入れる。
- コンテナ/Kubernetes: カーネル側の部品はホストに置き、コンテナはユーザー側のライブラリだけを持つ。GPU Operator はベアメタルの Kubernetes と vSphere VM で GDS を有効にできる。クラウド事業者の環境は互換モードで使えると書かれている。
使える側(反証)
- NVIDIA は、RDMA マウント(
proto=rdma)の NFS で GDS をベンチマークする手順を設定ガイドに載せている。サポートマトリクスには VAST などの NFS 製品が載っている。したがって「NFS では使えない」ではなく、「サーバとクライアントの両端で RDMA が必要」が正しい。
見つからなかったもの・未確認
- Azure 上(VM、Azure Files、Azure NetApp Files、Blob)で GDS が成立するかを述べた NVIDIA と Microsoft の一次資料。Azure の記述は v1.20 のリリースノートの1行(cuObject の外部 RC トランスポートが Azure Blob Storage に対応)だけで、意味と前提は書かれていない。
- TCP 上の NFS で互換モードの性能を測った論文やベンチマーク。
- NFS の RDMA 書き込みが既定で有効かどうか。クラウド VM で IOMMU/ACS を変更できない場合の可否。
- 互換モードの既定値は、現行の API リファレンスで true。古い CUDA 11.4 の要約では false とあり、版による違いは未確認。
論点3. GDS をチェックポイントや退避に使った先行研究
| 文献 | GDS の使い方と効果 | 前提・制約 |
|---|---|---|
| Teraio(arXiv:2506.06472、原本確認済み) | 学習中のテンソルを SSD に退避。学習速度は ZeRO 系の平均 1.47 倍 | チェックポイントではない。保存先はローカル SSD。GDS の有無を比べる実験は見当たらず、GDS を選んだ理由はマルチ GPU でのホスト CPU の律速という設計上の動機 |
| FastPersist(arXiv:2406.13768、原本確認済み) | GDS は使っていない。 本文に「アクセラレータと NVMe 間の DMA はまだ広くは使えない」とある。ページロックしたホストメモリのダブルバッファで、チェックポイント作成は baseline 比で最大 116 倍速い。13B 以下では毎イテレーション保存しても遅延 5% 未満 | GPU からのコピー時間の内訳は報告なし |
| uGDS(arXiv:2610.30868、プレプリント、原本は一部のみ) | GDS 自体を測って批判する。初期化 114.56 ms。最初の batch の遅れは読み出し 90.84 ms、書き込み 117.65 ms で、64 MiB 転送の経過時間の約9割。4 KiB の小さな I/O では最大 6.23 倍速いが、64 KiB・16 スレッドでは 1.2〜1.4 倍 | ローカル NVMe 1台。チェックポイントではない |
| Fastensor(ACM TACO 20(4)、2023-12 公開、DOI 10.1145/3630108) | アブストラクトによれば、GDS で NVMe と GPU の間のチェックポイント、ログ、中間特徴マップを転送する | 全文は未取得(ACM が 403)。 5.37 倍・2.96 倍という数値は検索要約のみで、原本未確認。依頼文の「2024」は、Crossref の公開日(2023 年)とずれる |
- ZeRO-Infinity(arXiv:2104.07857)は、本文を検索した範囲で GDS に言及がない。
- 見つからなかったもの:GDS をチェックポイントの保存と復元に使い、ホスト経由と比べた論文。NFS やオブジェクトストレージ越しで GDS を測った論文。数 MiB 級の保存で GDS の固定費を測った論文は uGDS のみで、これもローカル NVMe の小さな I/O である。
- 検索要約のみで原本未確認:DeepSpeed の GDS ブログ、PyTorch の GDS チュートリアル(論点4では原本を読んだ)、”phase-aware LLM datapaths”、Hanindhito ら(ISPASS 2024)、互換モードで書き込みが約2倍遅いとする個人サイト。
- 当方の推論:FastPersist は、ホストメモリ経由でも書き込みを重ねれば上限は SSD 側で決まる、という側の証拠になる。ただし GDS との直接比較はない。Teraio の動機は、単一 GPU が1本の NFS に書く構成には直接当てはまらない。
論点4. 変数粒度(pickle ストリーム)と GDS の相性
成立しうる側(原本確認済み)
- PyTorch 2.7 の GDS チュートリアルと
torch/cuda/gds.pyは、pickle のメタデータをそのまま保ち、各ストレージの生バイトをcuFileWriteで既知のオフセットに書く(skip_data、FakeTensorMode、4 KB アラインメント)。チュートリアルはローカルファイルシステムのみを扱い、性能の数値はない。
合いにくい側(原本確認済み)
torch.saveは CUDA のストレージをホストへコピーしてから書く。Storage.__reduce__はBytesIOに pickle し、ペイロードがストリームの中に入る。PyTorch の main にはPickleBufferがない。- KvikIO は 16 KiB 未満では既定で POSIX を使う。NVIDIA の Best Practices v1.20 は、64 KB 未満の小さな I/O は CPU 負荷が増え、アラインしない I/O は GPU のバウンスバッファを通ると述べる。
- LooseLeaf(arXiv:2610.33275)は最も近い先行研究である。構造とペイロードを分け、CPU バッファには protocol 5 の帯域外転送を使う。保存バイトの 95.0% が GPU テンソルで、ペイロードはピン留め DMA でホストのヒュージページに置かれる。論文に GDS の言及はない。
- FastPersist は、
torch.saveが多数のテンソル単位の書き込みで、アラインメント制約があると述べる。 - Kishu と ElasticNotebook は GDS に言及しない。Kishu は GPU 上のテンソルを
__reduce__で保存し、ElasticNotebook は CRIU が主記憶に限られると述べる。
見つからなかったもの
- GDS を pickle や変数粒度のノートブック状態で評価した論文。
- 小さな変数の多さが GDS の利得をどれだけ削るかを測った研究。
- safetensors の GDS 実装。ストレージ向けの GPU 側シリアライズ。
- 未確認:Chipmink の論文本体(リポジトリのノートのみ確認)、PyTorch ブログの「FastPersist が GDS をサポート」という記述、Dask-CUDA・cuDF・Ray の実装、Juric ら(arXiv:2101.05782)。
当方の推論
PickleBufferはホストバッファ(PEP 3118)を受けるので、protocol 5 の帯域外データを直接 GDS に渡すことはできない。PEP 574 に GPU の言及はない。- pickle の構造部分と 4 KB アラインした生バッファを分けるレイアウトなら、GDS に合う。
反証として残る問い
- 経路が RDMA 付き NFS なら GDS は成立する。ElasticKernel の経路(Azure からオンプレ NFS)がそうなりうるかは、資料からは判断できない。
- D2H の占有率は、保存先が遅いと小さくなるという推論だけで、測定の裏づけがない。ElasticKernel 側で、保存時間を D2H・シリアライズ・書き込みに分けて測れば、この問いに直接答えられる。
- Fastensor の全文が読めていないため、GDS の効果を示す最も直接的な先行研究が、原本確認の外にある。