関係マップ:帯域・I/O 性能のブレとサイズ依存

作業メモを兼ねた地図。ElasticKernel-GPU の issue #46(コストモデルの妥当性評価)の先行研究調査として作った。 事実は各ノートの # AI解説 に基づく。ここでの整理と推論は、第三者の主張と分けて書く。 根拠の強さを3段に分けて書く。原本確認済み(原本を読んだもの)、ワークフロー検証(追加調査で各主張を3票で検証したもの。原本は読み直していない)、検索要約のみ(原本未確認、引用前に確認が必要)。 論文の主張と当方の推論は、節を分けて書く。

問いと前提

コストモデルに入れる書き込み/読み込み帯域について、次の3つを知りたい。

  1. 帯域は、どれくらい、何でブレるか。
  2. 帯域のサイズ依存と頭打ちは、何で決まるか。
  3. 少ない測定回数で、帯域を決められるか。

ElasticKernel の帯域プローブは、約 8 MB を1回書いて読み戻すだけである。 保存先は Azure から medaka(オンプレ)への NFS を想定している。 「事前に正確に測る」案と「実行時に測る」案のどちらが妥当かを判断したい。

原本確認済みの5本が答えること

論文 測定対象 ブレの指標 示したこと
Leitner & Cito 2016 クラウドインスタンスのディスク(sysbench、5 GB を3分) 相対標準偏差 事業者・測り方でブレが大きく違う
Schad et al. 2010 EC2 インスタンスのローカルディスク(Bonnie++) COV EC2 の disk I/O は COV 9〜20%、物理クラスタは 0.6〜1.9%。性能帯が2つに分かれる
Uta et al. 2020 EC2 のネットワーク帯域 論文本文に式なし 約10分の連続送信で 10 Gbps から約 1 Gbps へ落ちる(トークンバケット)
Cameron et al. 2018(MOANA) 共有メモリ計算機のローカル HDD(IOZone) 標準偏差(40回) 書き込みスループットはサイズに対し増えてから減る。繰り返し回数と信頼区間をモデル化
Liu et al. 2017 広域のディスク間転送(Globus) MdAPE 総サイズの小さい転送は遅い。ログ回帰の誤差は線形 7.0%、非線形 4.6%

Q1. ブレはどれくらいか

Q2. サイズ依存と頭打ちは何で決まるか

Q3. 少ない測定回数で決められるか

当プロジェクト自身の測定(比較用、各 n=5)

ElasticKernel-GPU 側の docs/research/azure-medaka-nfs-measurement-results.md §2 による。 NFS 書き込み帯域の中央値(nconnect=8、各 n=5)は次の通り。

サイズ 中央値(MiB/s)
1 MB 32.9
10 MB 124.4
100 MB 233.7
1 GB 237.2
20 GB 233.8

判断材料として言えること、言えないこと

原本確認済みの補足(並列ファイルシステム、ほか)

背景の NFS は小規模で、Lustre/GPFS のような大規模並列 FS ではない。以下は規模が違うので、ブレの大きさをそのまま当てはめない。

ワークフロー検証(原本は読み直していない)

追加調査のワークフローが各主張を3票で検証した結果である。引用する前に原本を確認すること。

文献 主張 測定対象・年代・規模 注意
Phanekham et al., “Throughput Analytics of Cloud Networks”(OSTI 2439012) 単一フローは RTT 1 ms で約 10 Gbps、340 ms で 4 Gbps 強。10 並列では長 RTT でも約 7〜10 Gbps。RTT がほぼ同じ(80 ms と 81 ms)の2経路で平均 7.96 と 9.72 Gbps GCP の n1-standard-4 間、メモリ同士の iPerf、VM 当たり上限 10 Gbps。年代は本文から特定できず、約 2020 年以降と推測 ハイブリッドクラウド・VPN・NFS・ディスクではない。COV/RSD なし。時間帯・日単位の分析なし
Lever & Honeyman, FREENIX 2002 NFS の書き込み帯域は close() 時のフラッシュまで含めて測る必要がある。ファイルサイズとクライアント RAM の比に強く依存し、RAM に近づくとメモリ速度からディスク速度に落ちる。クライアント側の変更だけで 28 から約 115 MB/s(100 MB ファイル、write() のみ) Linux 2.4.4、NFSv3 over UDP、ギガビット LAN 現行カーネルや nconnect には一般化できない。サーバ側 NVRAM が満杯になるまでメモリ速度、という説明は著者の推測(未検証)。ばらつきが大きいという記述に定量指標はない
Herault et al., “Optimal Cooperative Checkpointing for Shared High-Performance Computing Platforms”(Inria RR-9109、APDCM/IPDPSW 2018、IJNC 2019) 同時に書くアプリの競合を、全体スループット一定で均等に分ける線形干渉モデルで仮定する。想定コミット時間と実際のずれで Young/Daly の効率が落ちる。非協調方式は無駄が 40% 超、協調方式は 20% 未満 LANL APEX ワークロードの Cielo 型モデル、帯域 40〜160 GB/s、ノード MTBF 2年(シミュレーション) 線形干渉は仮定で実測ではない。3つの文書は同じ研究の版違いで、独立した3件として数えない
El-Sayed & Schroeder, “Checkpoint/Restart in Practice: When Simple is Better”(CSRG-622、査読前) Young の閉形式の間隔は最適な固定間隔とほぼ同じ無駄時間(多くの場合 2% 以内、C は 20秒〜60分)。MTTF の見積もりが2倍ずれても、無駄な作業は 5〜10% 以内 LANL の故障ログ(約10年、20システム)によるトレース駆動シミュレーション C の誤差でも同様という主張は括弧書きで、図示がない。2% が絶対値か相対値か不明。MTTF をトレースから取っており、著者も実運用では不可能と認める
MigVisor(VEE 2017) VM ライブマイグレーションの挙動とコストをワーキングセットのパターンで予測し、平均相対誤差 6.2%(要旨では 6.2〜9%) 学会ページの要旨のみ。検証は2対1 どの指標(移行時間・ダウンタイム・転送量)の誤差か不明
個人ブログ(AWS ハイブリッド接続の選定ガイド、2026年) VPN はパブリックインターネットを通るため、レイテンシとスループットの変動を引き継ぐ 定性的記述のみ。数値は VPN トンネル上限 1.25 Gbps だけ 変動の実測ではない。「この種の情報源に定量データがない」ことを示す証拠としてのみ使う
Henwood et al., arXiv:1611.04167 同一の並列タスクの完了時間が異なる理由を、極値分布 GEV で扱う abs ページのみ確認 チェックポイント I/O・NFS・WAN 帯域の研究ではなく、適合度は弱い

ワークフローが反駁した3件の主張(arXiv 2605.09370 の2件、Herault らの最適周期式の記述)は、結論に使わない。

検索要約のみ(原本未確認。引用前に原本確認が必要)

見つからなかったもの

当方の整理(論文の主張ではなく推論)

クラウドからオンプレ NFS への経路で、ブレうるものを挙げる。各項目の根拠は括弧内の文献だけで、この経路での実測ではない。

  1. クラウド側ネットワークの絞り込み(Uta)。
  2. クラウドからオンプレへの経路(VPN・専用線・インターネット)の競合・遅延・損失。研究は見つからなかった。
  3. オンプレ NFS サーバ。専用なら小さく(Schad の物理クラスタ)、共有なら大きい(Xie)可能性がある。
  4. NFS クライアントの書き込みキャッシュ、fsync、OS の書き込み絞り込み(Lever & Honeyman)。ElasticKernel の実験 E10 でも、OS が書き手を絞る現象を観察している。
  5. 複数 pod の同時書き込みによる自己競合(Herault らの線形仮定のみ、実測なし)。
  6. 保存先と無関係な、シリアライズ/デシリアライズの CPU 時間と GPU 転送。変数の中身で決まる。

読み込み側(復元)は書き込みと別のブレ方をするが、未測定である。 Hockney 型の2パラメータ(固定の遅れ + サイズ ÷ 漸近帯域)で表せるという案は、当方の仮説で、先行研究の裏づけはない。