MOANA: Modeling and Analyzing I/O Variability in Parallel System Experimental Design

Virginia Tech テクニカルレポート(IEEE TPDS 投稿中と本文に記載)(2018) · 論文 · cameron2018moana

📅 この論文を見た日

初回 2026-11-09 / 最終 2026-11-09 / 計 1 回更新

少 多

AI解説

公開先: https://hdl.handle.net/10919/82857(Virginia Tech のリポジトリ。PDF は 23 ページ、日付は 2018-04-19) 情報源: PDF の全文(本文・図 1〜9・表 1〜3・関連研究・結論)を読んだ。数式の詳細(第 5 章の LSP・MARS・Delaunay の定式化)は要点のみ拾っている。 テクニカルレポートの番号は、PDF の本文から読み取れなかったため書いていない。 本文に「This work has been submitted to IEEE TPDS」とあり、査読を経た版ではない。 図について: 図 1〜9 は PDF のページから切り出した画像(figures/fig*.png)。図番号とキャプションは原論文に対応する。AI 生成の補足図は付けていない。 図はコミットして公開サイト(GitHub Pages)にも表示する。サイトは noindex メタ+robots.txt で検索除けされている。

一言で

並列共有メモリ計算機のローカルディスク I/O について、性能のブレを「構成ごとの標準偏差」として予測する手法 MOANA の論文。 IOZone で約 9.5 万構成を各 40 回測り、標準偏差を目的変数にした回帰モデル(variability map)を作る。 非線形な補間手法(LSP、Delaunay)の平均相対誤差は、学習に 9 割を使うと約 10〜11% で、線形回帰(約 323%)の 1/30 程度に収まる。 測定回数と 90% 信頼区間の収束の関係も予測でき、「あと何回測ればよいか」を見積もれる。 予測対象は帯域の平均ではなくブレである。

背景・問題

解くべき問題

HPC の I/O 性能は繰り返し測っても値がばらつく。 著者らは、ブレがスケールとともに増え、エクサスケールで性能最適化の障害になると述べる。 ブレが大きいと、何回測れば信頼できる結論が出るかが分からない。 著者らは 1 年以上かけて I/O コードを繰り返し測り、統計的信頼度を確保してきたと書く。 総当たりで測る方法は、構成の数が増えると現実的でない。

課題(この論文がやること)

測定条件

測定対象は、ノード内(intra-node)の I/O のブレである。 ネットワークや NFS は対象に含まれない。

項目 内容
計算機 2 ソケット・4 コア(2 HT/コア)Intel Xeon E5-2623 v3、32 GB DDR4
環境 ゲスト Linux(Ubuntu 14.04 / Xen 4.0)、専用の 2 TB HDD
ベンチマーク IOZone(最大 6 台の同一構成機に振り分け)
ファイルサイズ 64、256、1024 KB の 3 水準
レコードサイズ 32、128、512 KB の 3 水準(ファイルサイズとの有効な組み合わせは 6 通り)
スレッド数 1、2、4、…、256 の 9 水準
CPU 周波数 1.2〜3.0 GHz の 15 水準
I/O スケジューラ ホストと VM それぞれ CFQ、DEAD、NOOP
I/O 操作モード fread、fwrite、initial write など 13 種

ファイルサイズは 64〜1024 KB に限られる。 1 MB 以上のサイズは測られていない。

実測で分かったこと(第 2 章)

ファイルサイズとスループット

図 1 は、レコードサイズ 32 KB、スレッド数 256 で、ファイルサイズを変えた結果である。

図1

Figure 1: ファイルサイズに対する I/O スループット((a)〜(c)、CPU 周波数 1.5〜3.0 GHz)と、CPU 周波数×ファイルサイズに対するスループット分散のヒートマップ((d)〜(f))。(a)(d) が fread、(b)(e) が fwrite、(c)(f) が initial write。

ブレ(分散)の傾向

図2

Figure 2: レコードサイズに対する I/O スループット((a)〜(c))と、CPU 周波数×レコードサイズの分散ヒートマップ((d)〜(f))。ファイルサイズは 64〜1024 KB の水準、スレッド数は 256。

図3

Figure 3: スレッド数に対する I/O スループット((a)〜(c))と、CPU 周波数×スレッド数の分散ヒートマップ((d)〜(f))。ファイルサイズ 1024 KB、レコードサイズ 32 KB。

図4

Figure 4: 分散の変化のヒートマップ。(a)(b) は 256 スレッドから 64 スレッドへ、(c) は 1024 KB から 64 KB へ変えたときの変化。fwrite の結果。

図5

Figure 5: スレッド数に対するスレッドあたりの I/O スループット。左列は 1.2 GHz・ファイル 64 KB、右列は 3.0 GHz・ファイル 1024 KB。ホストスケジューラ CFQ、VM スケジューラ NOOP、レコード 32 KB。

著者は、観測できたのは 9.5 万構成のうち数百にすぎず、これらの傾向から一般的な結論は出せないと限界を書く。

提案手法 MOANA

線形解析の限界

variability map

3 つの予測手法

どれも高次元の非線形関係を近似できる手法として選ばれている。

評価指標

相対誤差は r = |f~ - f| / f で、f~ が予測した標準偏差、f が実測の標準偏差である。 ARE はその平均である。 ARE は標準偏差(ブレの大きさ)の予測誤差で、スループットの予測誤差ではない。

結果

学習割合を変えたランダム分割(表 2)

810 構成のうち割合 p を学習に使い、残りを予測する。117 マップの平均で、200 回繰り返す。

学習割合 p LR LSP MARS Delaunay
0.9 323.09% 11.13% 56.61% 9.97%
0.5 324.59% 12.22% 62.35% 11.42%
0.2 329.56% 19.33% 79.27% 16.13%
0.1 339.32% 30.44% 100.14% 23.39%

学習に無い 585 構成の予測(第 4 章)

周波数 2.5 GHz、128 スレッドに固定し、ファイルサイズ 512 KB と 768 KB の 5 組(表 3)で、学習データに無い構成を予測する。 5 × 3 × 3 × 13 = 585 構成である。

図6

Figure 6: 新しい構成での 2 つの予測モデルの比較。縦軸が予測した標準偏差、横軸が 40 回から得た実測の標準偏差。凡例に ARE を表示。

図7

Figure 7: 操作モード別の予測散布図。同じ図の点は同じモード。横軸は 40 回の実測標準偏差、縦軸は 2 モデルの予測標準偏差。

図8

Figure 8: ファイルサイズとレコードサイズの組み合わせ別の予測散布図。横軸は実測標準偏差、縦軸は予測標準偏差。

繰り返し回数と信頼区間(第 6 章)

図9

Figure 9: 測定した構成(上)と予測した構成(下)の 90% 信頼区間が、サンプル数とともに狭まる様子。縦線は 50%・75%・90% 収束の位置。予測は Delaunay、p = 90%。

この図は 1 構成の例であり、収束の割合は 40 回測った値を基準とした相対値である。

限界

関連研究との関係

Q&A

自分のコメント