uGDS: A User-Space Development Kit for High-Performance GPU Direct Storage

arXiv preprint(cs.DC、v2)。掲載誌は論文・arXiv 一覧に記載なし(2026) · 論文 · wei2026ugds

📅 この論文を見た日

初回 2026-11-13 / 最終 2026-11-13 / 計 1 回更新

少 多

AI解説

論文: Jing Wei, Guanyi Chen, Qi Chen, Chuyu Zhang, Zheng Zhou, Chutian Wang, Jian Zhang(ScaleX-IO、HKUST(広州))。arXiv:2610.30868v2、2026-10-23。 情報源: arXiv PDF(16 ページ)の要旨、導入、設計、実験(§4.1〜§4.3 と該当する図)、結論を読んだ。設計の細部(§2.2〜§2.6、§3)と LMCache の実験(§4.6)は、要旨と導入の記述の範囲でしか読んでいない。 図について: PDF のページを画像化して切り出した。Figure 3 と Figure 4 だけを収録している。 対象の注意: この論文は、NVIDIA の GDS(cuFile)を「ローカル NVMe SSD と GPU の間の転送」で測り、その制約を挙げて代替を提案する。チェックポイントを扱う論文ではない。 図はコミットして公開サイト(GitHub Pages)にも表示する。サイトは noindex メタ+robots.txt で検索除けされている。

一言で

GDS は、ホストメモリを経由せずに SSD と GPU の間で PCIe の P2P DMA を行う。 ただし、各 I/O がカーネルを通る制御経路のコストは、GDS でも残る。 uGDS は、この制御経路をユーザー空間に移した cuFile 風のライブラリで、小さな I/O の遅延を下げる。 副産物として、論文は GDS 自体の挙動(初期化の遅さ、最初の I/O の遅れ、小さな I/O の弱さ)を数値で示している。

背景・問題

GDS(cuFile)は、ホストの bounce buffer を使わずに、SSD と GPU の間で直接 DMA する。 論文は、GDS に残る 3 つの制約を挙げる。

  1. 制御経路がカーネルを通る。各 cuFile 呼び出しが、VFS、ファイルシステム、ブロック層、カーネルの NVMe ドライバを通り、nvidia-fs が 4 KiB ごとのシャドウページを GPU バスアドレスに変換する。大きな転送では固定費が薄まるが、小さく遅延に敏感な I/O(KV キャッシュの退避、索引の参照)では支配的になる。
  2. ストリーム順序の I/O が高い。cuFile のストリーム順序 API は、ストリームの FIFO を引き継ぐ。単一ストリームでは、同期 16 MiB 読み出しの帯域の 40.8% しか出ない。
  3. ユーザー空間の I/O エンジンがクローズドソース。nvidia-fs のカーネルモジュールは公開されているが、libcufile はバイナリ配布である。

提案手法(要旨と導入の範囲)

実験・結果(§4.1〜§4.3)

環境は A100-SXM4-40GB、Samsung 990 PRO 1TB(PCIe Gen4 x4)、IOMMU 無効、Ubuntu 22.04、CUDA 12.4、GDS 1.9.0.20、libcufile 2.12。 §4.1 の初期化の測定では、GDS の互換モード(compatibility fallback)を無効にしている。ほかの測定での設定は、読んだ範囲では確認できなかった。いずれもローカル NVMe 1 台での測定である。

セットアップ遅延

Figure 3: CUDA コンテキスト初期化後の、アプリ側のストレージ設定遅延。10 回の独立したプロセス実行の中央値(小さいほど良い)。

同期読み出しの帯域

Figure 4: 2、8、12、16 スレッドで発行した同期読み出しの合計帯域。GDS と uGDS を要求サイズ(4K〜64K)ごとに比較した。

関連研究との関係と限界

Q&A

自分のコメント

(AI による作業メモ。以下は本論文の主張ではなく、読んだ AI の推論である。)