HOME: A Holistic GPU Memory Management Framework for Deep Learning

IEEE Transactions on Computers 72(3)(2023) · 論文 · he2023home

📅 この論文を見た日

初回 2026-08-27 / 最終 2026-08-27 / 計 1 回更新

AI解説

情報源:アブストラクトのみ(本文未取得)。arXiv 版・オープンアクセス版は存在せず、本文は IEEE Xplore の有料版のみ。以下はすべてアブストラクトに書かれた範囲であり、PSO の設計や探索空間の削減方法などの内部は本文を取得してから補う。

一言で

GPU メモリが足りない大規模 DNN 学習向けの、テンソル配置(placement)フレームワーク。 スワップと再計算を組み合わせる点は先行研究と同じだが、モデルの部分的な情報しか見ない既存手法と違い、DNN モデル全体の情報(holistic information)を考慮して、カスタム設計の粒子群最適化(PSO)で各テンソルの配置(保持/スワップ/再計算)を大域的に決める。 PyTorch 実装で、スループットは vDNN の最大 5.7 倍、Capuchin の最大 1.3 倍。最大バッチサイズは素の PyTorch の最大 2.8 倍、Capuchin の最大 1.3 倍。

背景・問題(アブストラクトの範囲)

GPU メモリ空間が足りないときの大規模 DNN 学習では、各テンソルをどこに置くか(GPU に保持するか、CPU へスワップするか、破棄して再計算するか)の決定が性能を左右する。 既存手法はこの決定に DNN モデルの部分的な情報しか使っておらず、それが最適でない配置につながる、というのがアブストラクトの立てる問題である。

提案手法(アブストラクトの範囲)

ILP のような厳密解法ではなくメタヒューリスティック(PSO)を選んだ理由や、「部分的な情報」が具体的にどの既存手法の何を指すかは、本文未取得のため書けない。

実験・結果(アブストラクトの範囲)

関連研究との関係

アブストラクトが名指しで比較するのは vDNN(スワップのみ)と Capuchin(スワップ+再計算のランタイム方式)であり、ハイブリッド方式の系譜で Capuchin を改善対象とする位置にある。 系譜全体の中での位置づけは関係マップを参照。

Q&A

自分のコメント