関係マップ:帯域・I/O 性能のブレとサイズ依存
作業メモを兼ねた地図。ElasticKernel-GPU の issue #46(コストモデルの妥当性評価)の先行研究調査として作った。 事実は各ノートの
# AI解説に基づく。ここでの整理と推論は、第三者の主張と分けて書く。 根拠の強さを3段に分けて書く。原本確認済み(原本を読んだもの)、ワークフロー検証(追加調査で各主張を3票で検証したもの。原本は読み直していない)、検索要約のみ(原本未確認、引用前に確認が必要)。 論文の主張と当方の推論は、節を分けて書く。
問いと前提
コストモデルに入れる書き込み/読み込み帯域について、次の3つを知りたい。
- 帯域は、どれくらい、何でブレるか。
- 帯域のサイズ依存と頭打ちは、何で決まるか。
- 少ない測定回数で、帯域を決められるか。
ElasticKernel の帯域プローブは、約 8 MB を1回書いて読み戻すだけである。 保存先は Azure から medaka(オンプレ)への NFS を想定している。 「事前に正確に測る」案と「実行時に測る」案のどちらが妥当かを判断したい。
原本確認済みの5本が答えること
| 論文 | 測定対象 | ブレの指標 | 示したこと |
|---|---|---|---|
| Leitner & Cito 2016 | クラウドインスタンスのディスク(sysbench、5 GB を3分) | 相対標準偏差 | 事業者・測り方でブレが大きく違う |
| Schad et al. 2010 | EC2 インスタンスのローカルディスク(Bonnie++) | COV | EC2 の disk I/O は COV 9〜20%、物理クラスタは 0.6〜1.9%。性能帯が2つに分かれる |
| Uta et al. 2020 | EC2 のネットワーク帯域 | 論文本文に式なし | 約10分の連続送信で 10 Gbps から約 1 Gbps へ落ちる(トークンバケット) |
| Cameron et al. 2018(MOANA) | 共有メモリ計算機のローカル HDD(IOZone) | 標準偏差(40回) | 書き込みスループットはサイズに対し増えてから減る。繰り返し回数と信頼区間をモデル化 |
| Liu et al. 2017 | 広域のディスク間転送(Globus) | MdAPE | 総サイズの小さい転送は遅い。ログ回帰の誤差は線形 7.0%、非線形 4.6% |
Q1. ブレはどれくらいか
- 数値は測り方で変わる。Leitner の Table IV(毎回インスタンスを取り直す)と Table VI(同一インスタンスを連続測定)は別の量なので、混ぜて比較しない。
- Leitner の Table IV では、IO の相対標準偏差が EC2 で 20〜94%、Azure で 44〜62%、GCE で 1.3〜10.4%、SoftLayer で 6〜13% だった。
- Schad は、取り直したインスタンス間の差が COV に混ざる設計である。物理クラスタとの差はそこから来る可能性がある。これはノート側の読みで、論文の主張ではない。
- 5本はいずれもインスタンスのディスクかネットワークを測っている。NFS の書き込み帯域の時間変動を測った研究は、今回の調査では見つからなかった。
- Xie らと Lockwood らは、共有 HPC 並列ファイルシステムでの別系統の証拠である(次節)。
Q2. サイズ依存と頭打ちは何で決まるか
- Liu は、総サイズが小さい転送は開始時のコストのために遅いと述べる(Figure 5)。ただし固定の遅れを測ったり、モデル化したりはしていない。
- MOANA は、ファイルサイズ 64〜1024 KB の範囲で書き込みスループットが増えてから減ることを示した。キャッシュ吸収から満杯後の書き出しへ、という説明は著者の解釈である。この範囲は当方の NFS(1 MB 以上)より小さいので、そのまま当てはめない。
- Uta は、サイズではなく送信時間で帯域が変わる例である。短い測定は過大評価になりうる。対象はネットワークで、ディスクではない。
- 頭打ちを決める要因を、NFS について扱った研究は見つからなかった。
Q3. 少ない測定回数で決められるか
- MOANA は、繰り返し回数と信頼区間の関係をモデル化した。ただし予測対象はブレの大きさ(標準偏差)で、帯域曲線ではない。
- 「少数の測定でサイズ依存の帯域曲線を決める」手法を I/O に適用した例は、見つからなかった。
- Hockney 型の2パラメータ(固定の遅れ + サイズ ÷ 漸近帯域)で表せるという案は、当方の仮説である。先行研究の裏づけはない。
当プロジェクト自身の測定(比較用、各 n=5)
ElasticKernel-GPU 側の docs/research/azure-medaka-nfs-measurement-results.md §2 による。
NFS 書き込み帯域の中央値(nconnect=8、各 n=5)は次の通り。
| サイズ | 中央値(MiB/s) |
|---|---|
| 1 MB | 32.9 |
| 10 MB | 124.4 |
| 100 MB | 233.7 |
| 1 GB | 237.2 |
| 20 GB | 233.8 |
- 1 GB 以上の min–max は、中央値の約 10% 未満だった。
- 100 MB 以上でほぼ頭打ちになり、10 MB 以下で大きく落ちる。これは Liu が述べる「小さい転送は遅い」と向きが合う。ただし論文側は広域転送で、単一ホストの NFS ではない。
- 上限は約 270 MB/s で、iperf3(ネットワークのみ)でも出ており、NFS はその約 9 割である。medaka 側の CPU もディスクも飽和していない。上限を決めているのはネットワーク経路で、オンプレ NFS サーバではない可能性があるが、原因は確定していない。
- 1回の連続実施の結果で、時間帯・日をまたぐ変動と読み込みは未測定である。
判断材料として言えること、言えないこと
- 8 MB の1回測定は、上の表では 10 MB 付近(約 124 MiB/s)にあたり、頭打ち(約 235 MiB/s)の半分程度である。大きい保存に外挿すると過小評価になりうる。これは当方の測定からの読みである。
- 時間をまたぐブレがどれほどかは、先行研究から NFS について言えない。Leitner、Schad、Uta が示すのは、クラウドでは一般にブレが無視できないことまでである。
- 「事前に測る」案と「実行時に測る」案のどちらが妥当かは、先行研究だけでは決まらない。時間変動の実測が必要になる。
原本確認済みの補足(並列ファイルシステム、ほか)
背景の NFS は小規模で、Lustre/GPFS のような大規模並列 FS ではない。以下は規模が違うので、ブレの大きさをそのまま当てはめない。
- Xie et al.(OSTI 1606822、”Applying Machine Learning to Understand Write Performance of Large-scale Parallel Filesystems”)。著者は Bing Xie ら(ORNL ほか)。掲載誌は未確認。
- 対象は Titan(Cray XK7、計算ノード 18,688、センター共有 Lustre の Spider 2、OST 1,008、I/O ルータ 172)と Cetus(Blue Gene/Q、計算ノード 4,096、GPFS)。本番稼働中で他ジョブと共有している。
- 同条件の書き込みを繰り返し測り、最大帯域が最小の 1.3 倍を超えるサンプルが Cetus で 10.41%、Titan で 49.71% あった。最悪は3桁以上の差になる。
- 平均性能をモデル化する方針で、相対誤差 30% 以内のサンプルが Cetus 92.79%、Titan 99.64%。
- Lockwood et al., SC18 “A Year in the Life of a Parallel File System”。スライドのみ確認で、論文本体は未取得。
- NERSC と ALCF の本番で 366 日、11,986 ジョブ、1ジョブ 220 メトリクスを測った。
- 基準性能とブレは時間で変わり、持続的な帯域競合の影響があるとスライドは述べる。
- Wu et al., ICDE 2013(スライドのみ):コスト係数が k 個なら、各係数を分離して測るクエリ k 個で連立方程式を立てる(PostgreSQL は k=5)。帯域のサイズ依存は扱わない。
- Lu et al., NWU-CS-04-34(要旨のみ):TCP の転送サイズとスループットに強い相関があり、小さなベンチマークは大きな転送を予測できない。
- ElasticNotebook(li2023elasticnotebook):保存/読み込み時間を、変数サイズと Profiler が測るストレージの遅延・帯域から見積もる(§5.2 付近)。コストモデルの精度評価は、grep した範囲では見つからなかった。
- Yildirim, Yin, Kosar(TPDS):3点の測定で係数を決める記述はあるが、対象は並列ストリーム数で、帯域のサイズ依存ではない。今回の問いには使えない。
ワークフロー検証(原本は読み直していない)
追加調査のワークフローが各主張を3票で検証した結果である。引用する前に原本を確認すること。
| 文献 | 主張 | 測定対象・年代・規模 | 注意 |
|---|---|---|---|
| Phanekham et al., “Throughput Analytics of Cloud Networks”(OSTI 2439012) | 単一フローは RTT 1 ms で約 10 Gbps、340 ms で 4 Gbps 強。10 並列では長 RTT でも約 7〜10 Gbps。RTT がほぼ同じ(80 ms と 81 ms)の2経路で平均 7.96 と 9.72 Gbps | GCP の n1-standard-4 間、メモリ同士の iPerf、VM 当たり上限 10 Gbps。年代は本文から特定できず、約 2020 年以降と推測 | ハイブリッドクラウド・VPN・NFS・ディスクではない。COV/RSD なし。時間帯・日単位の分析なし |
| Lever & Honeyman, FREENIX 2002 | NFS の書き込み帯域は close() 時のフラッシュまで含めて測る必要がある。ファイルサイズとクライアント RAM の比に強く依存し、RAM に近づくとメモリ速度からディスク速度に落ちる。クライアント側の変更だけで 28 から約 115 MB/s(100 MB ファイル、write() のみ) | Linux 2.4.4、NFSv3 over UDP、ギガビット LAN | 現行カーネルや nconnect には一般化できない。サーバ側 NVRAM が満杯になるまでメモリ速度、という説明は著者の推測(未検証)。ばらつきが大きいという記述に定量指標はない |
| Herault et al., “Optimal Cooperative Checkpointing for Shared High-Performance Computing Platforms”(Inria RR-9109、APDCM/IPDPSW 2018、IJNC 2019) | 同時に書くアプリの競合を、全体スループット一定で均等に分ける線形干渉モデルで仮定する。想定コミット時間と実際のずれで Young/Daly の効率が落ちる。非協調方式は無駄が 40% 超、協調方式は 20% 未満 | LANL APEX ワークロードの Cielo 型モデル、帯域 40〜160 GB/s、ノード MTBF 2年(シミュレーション) | 線形干渉は仮定で実測ではない。3つの文書は同じ研究の版違いで、独立した3件として数えない |
| El-Sayed & Schroeder, “Checkpoint/Restart in Practice: When Simple is Better”(CSRG-622、査読前) | Young の閉形式の間隔は最適な固定間隔とほぼ同じ無駄時間(多くの場合 2% 以内、C は 20秒〜60分)。MTTF の見積もりが2倍ずれても、無駄な作業は 5〜10% 以内 | LANL の故障ログ(約10年、20システム)によるトレース駆動シミュレーション | C の誤差でも同様という主張は括弧書きで、図示がない。2% が絶対値か相対値か不明。MTTF をトレースから取っており、著者も実運用では不可能と認める |
| MigVisor(VEE 2017) | VM ライブマイグレーションの挙動とコストをワーキングセットのパターンで予測し、平均相対誤差 6.2%(要旨では 6.2〜9%) | 学会ページの要旨のみ。検証は2対1 | どの指標(移行時間・ダウンタイム・転送量)の誤差か不明 |
| 個人ブログ(AWS ハイブリッド接続の選定ガイド、2026年) | VPN はパブリックインターネットを通るため、レイテンシとスループットの変動を引き継ぐ | 定性的記述のみ。数値は VPN トンネル上限 1.25 Gbps だけ | 変動の実測ではない。「この種の情報源に定量データがない」ことを示す証拠としてのみ使う |
| Henwood et al., arXiv:1611.04167 | 同一の並列タスクの完了時間が異なる理由を、極値分布 GEV で扱う | abs ページのみ確認 | チェックポイント I/O・NFS・WAN 帯域の研究ではなく、適合度は弱い |
ワークフローが反駁した3件の主張(arXiv 2605.09370 の2件、Herault らの最適周期式の記述)は、結論に使わない。
検索要約のみ(原本未確認。引用前に原本確認が必要)
- FAST ‘17 Cao et al.:条件をそろえても 25% 超の構成で 10% 超の変動、という要約。
- Vazhkudai et al.:軽量プローブが実転送とずれる、という要約。
- Kim et al., Cluster Computing 2015。
- Hockney の (r∞, n½) モデル(Parallel Computing 20(3), 1994)。無料 PDF が見つからなかった。
- BACON(NeurIPS 2024)。
- Xie et al., SC’12 “Characterizing output bottlenecks in a supercomputer”。
- Costa et al.。
- CUG 2020 の軽量プローブ。
- LISA 2014 の NFSv4.1(読み出し中心、クライアント間の不公平)。
- EBS と Azure ディスクのバースト仕様(公式ドキュメント未読)。
見つからなかったもの
- ハイブリッドクラウド(クラウドからオンプレ、VPN、専用線)の、時間帯・曜日別のスループット変動の実測。
- 現行 Linux(nconnect、wsize、同期/非同期マウント、ダーティページ設定)での、小規模 NFS/NAS の書き込み測定と長期変動。
- 小規模な共有オンプレ(研究室・部署のサーバ)の長期測定。
- NFS 書き込み帯域の時間変動を測った先行研究。
- 「少数の測定でサイズ依存・頭打ちの帯域曲線を決める」手法の I/O への適用例。
- 実測を逐次取り込んでコストモデルを更新する、オンライン推定(チェックポイント・マイグレーション分野)。
- 帯域の見積もり誤差を、実測と比べて評価した研究。
当方の整理(論文の主張ではなく推論)
クラウドからオンプレ NFS への経路で、ブレうるものを挙げる。各項目の根拠は括弧内の文献だけで、この経路での実測ではない。
- クラウド側ネットワークの絞り込み(Uta)。
- クラウドからオンプレへの経路(VPN・専用線・インターネット)の競合・遅延・損失。研究は見つからなかった。
- オンプレ NFS サーバ。専用なら小さく(Schad の物理クラスタ)、共有なら大きい(Xie)可能性がある。
- NFS クライアントの書き込みキャッシュ、fsync、OS の書き込み絞り込み(Lever & Honeyman)。ElasticKernel の実験 E10 でも、OS が書き手を絞る現象を観察している。
- 複数 pod の同時書き込みによる自己競合(Herault らの線形仮定のみ、実測なし)。
- 保存先と無関係な、シリアライズ/デシリアライズの CPU 時間と GPU 転送。変数の中身で決まる。
読み込み側(復元)は書き込みと別のブレ方をするが、未測定である。 Hockney 型の2パラメータ(固定の遅れ + サイズ ÷ 漸近帯域)で表せるという案は、当方の仮説で、先行研究の裏づけはない。