関係マップ：分散深層学習のチェックポイント

この地図は、分散深層学習の学習チェックポイントに関する論文を調査し、アプローチごとに整理する。 上位の地図（深層学習のチェックポイント全般）は dl-checkpoint.md、さらに上位（GPU チェックポイント全般）は gpu-checkpoint.md を参照。 情報源は各論文のアブストラクト、公開論文、公式ドキュメントに基づく。

前提：分散学習の並列化戦略

分散深層学習のチェックポイントを理解するには、並列化戦略ごとに「何が各 GPU に載っているか」を知る必要がある。 並列化戦略は3種類あり、大規模学習ではこれらを組み合わせた3D 並列（ハイブリッド並列）が使われる。

戦略 各 GPU に載っているもの チェックポイントへの影響
データ並列（DP / DDP） モデル全体のコピー＋ミニバッチの一部 重みは全 GPU で同一なので1つ保存すればよい。ただし ZeRO ではオプティマイザ状態が分割されている
モデル並列（TP: テンソル並列） モデルの一部（レイヤー内で分割された重み行列の断片） 各 GPU の断片を集めないと完全なモデルにならない
パイプライン並列（PP） モデルの一部（連続するレイヤーの塊） 各ステージが持つレイヤー群を個別に保存する

3D 並列では、1つのモデルパラメータが TP で列方向に分割され、PP でレイヤー群に切られ、DP でオプティマイザ状態が分散している。 チェックポイントにはこれらすべての断片の一貫したスナップショットが必要になる。

並列化戦略と各GPUの保持物

補足図（AI生成）：データ並列、テンソル並列、パイプライン並列、および 3D 並列の組み合わせで各 GPU が何を保持するか。

論文の分類

調査した論文は、解こうとしている問題によって5つのアプローチに分類できる。

  1. どこに保存するか（ストレージ階層の最適化）
  2. 何を保存するか（チェックポイントサイズの削減）
  3. いつ、どう保存するか（頻度と並行性の最適化）
  4. 並列戦略の変更に対応する（チェックポイント形式の統一）
  5. チェックポイントに頼らない耐障害性（冗長計算、パイプライン再構成）

以下、各アプローチを論文とともに整理する。

5つのアプローチの分類

補足図（AI生成）：35本の論文を5つのアプローチに分類した全体マップ。

1. どこに保存するか（ストレージ階層の最適化）

従来のチェックポイントは、モデル状態をリモートストレージ（NFS、S3 など）に書き出す。 しかし大規模学習では書き出すデータが数十 GB から数 TB に達し、リモートストレージの帯域がボトルネックになる。 このアプローチは、GPU メモリ、CPU メモリ、NVMe SSD、リモートストレージといった複数のストレージ階層を使い分けることで、書き出し速度と耐障害性を両立させる。

ストレージ階層のスペクトラム

補足図（AI生成）：GPU メモリからリモートストレージまでの速度と耐障害性のトレードオフ。各システムがどの階層を活用しているか。

Gemini（SOSP 2023）

Gemini は、チェックポイントを学習ホスト群の CPU メモリに保存するインメモリチェックポイントシステムである1。 リモートストレージに比べて集約帯域が桁違いに大きいため、チェックポイント処理を高速化できる。 課題は、ノード障害時に CPU メモリ上のチェックポイントも失われることである。 Gemini は最適な配置戦略と、学習通信との干渉を排除するトラフィックスケジューリングでこの問題に対処し、既存手法より13倍以上速い障害復旧を達成している。

Gemini：インメモリチェックポイント

補足図（AI生成）：学習ホスト群の CPU メモリにチェックポイントを保存し、隣接ノードに冗長コピーを持つ。リモートストレージには低頻度で非同期バックアップ。

TierCheck（2025）

TierCheck は、障害の種類に応じてチェックポイントの保存先を使い分ける三層設計を採る2。 ローカルの揮発メモリ（Tier-1）と隣接ノードのメモリ（Tier-2）に軽量な差分チェックポイントを頻繁に保存し、リモートの永続ストレージ（Tier-3）にはフルチェックポイントを非同期で低頻度に書き出す。 GPU クラッシュのようなソフトウェア障害には Tier-1/2 から高速に復旧し、ラック障害のような広域障害には Tier-3 から復旧する。 16 GPU で最大400億パラメータのモデルを評価し、学習オーバーヘッドは 10.7%–15.1% で、Gemini や CheckFreq より52%–83% 高速である。

TierCheck：三層設計

補足図（AI生成）：障害の種類（GPU クラッシュ、ノード障害、ラック障害）に応じて3つの保存先から復旧する。

REFT（2023）

REFT は、ハイブリッド並列学習向けのインメモリチェックポイントシステムである3。 非同期な階層的スナップショットと、分散インメモリ保護（冗長コピー、イレイジャーコーディング、オプティマイザ状態の再計算）を組み合わせ、ほぼゼロのオーバーヘッドを達成する。

ACUTE（IEEE Access 2024）

ACUTE は、クラウドのスポット VM 上での分散深層学習向けに、隣接するオンデマンド VM のリモートメモリを活用するマルチレベルチェックポイント方式である4。 Check-Mem（メモリ内保存）、Check-Trans（転送最適化）、Check-Pack（パッキング最適化）の3つの最適化を組み合わせ、ベースラインより平均 43.3% 高速なチェックポイントを達成する。

FastPersist（2024）

FastPersist は、NVMe SSD への書き込みに特化したチェックポイント最適化である5。 NVMe 最適化書き込み、データ並列ランク間の並列書き込み、学習計算との重畳を組み合わせ、ベースラインより最大116倍の高速化を達成する。 Microsoft DeepSpeed チームによるもの。

FFTrainer（2024）

FFTrainer は、allreduce 通信の空き帯域を利用して、隣接ワーカーの CPU メモリにチェックポイントをバックアップする方式である6。 ディスクやデータネットワークを使わずにイテレーションごとのチェックポイントを実現し、オーバーヘッドは3%未満である。

ElasWave（2025）

ElasWave は、リング方式のインメモリスナップショットを採る7。 各ワーカーが隣接ワーカーのオプティマイザ状態パーティションを CPU メモリにバックアップし、圧縮された勾配シャードだけを転送することで、混合精度オプティマイザ（Adam）のスナップショット通信量を4倍以上削減する。 復旧時間は 0.15–0.37秒（8–64ランク）で、フルリスタートの38–82倍高速である。

ElasWave：リング方式のインメモリスナップショット

補足図（AI生成）：各ワーカーが隣接ワーカーのオプティマイザ状態をリング方式で CPU メモリにバックアップする。

2. 何を保存するか（チェックポイントサイズの削減）

大規模モデルのチェックポイントはサイズが巨大である。 このアプローチは、差分・増分・量子化・部分保存などでチェックポイントのデータ量を減らす。

チェックポイントサイズの削減手法

補足図（AI生成）：4つの削減手法（増分チェックポイント、量子化圧縮、重複排除、MoE 部分保存）の比較。

Check-N-Run（NSDI 2022）

Check-N-Run は、Meta の推薦モデル学習向けのチェックポイントシステムである8。 テラバイト規模の埋め込みテーブルに対して、増分チェックポイント（変更されたパラメータだけ保存）と量子化を組み合わせ、書き込み帯域を 6–17倍、ストレージ容量を 2.5–8倍 削減する。

IncrCP（VLDB 2025）

IncrCP は、推薦モデル学習向けの増分チェックポイントシステムである9。 変更されたパラメータとそのインデックスだけを二次元チャンクに分解して記録する方式で、復旧速度を 6.6倍、ストレージ使用量を 60.4% 削減する。

MoC-System（ASPLOS 2025）

MoC-System は、Mixture-of-Experts（MoE）モデル向けのチェックポイント最適化である10。 MoE モデルはエキスパート数が多いためチェックポイントが密なモデルより格段に大きくなる。 MoC-System は戦略的に選んだエキスパートの部分集合だけを保存し、チェックポイントサイズを密なモデル並みに縮小する（オーバーヘッド約99%削減）。

MoEvement（NSDI 2026）

MoEvement も MoE モデル向けで、エキスパートの部分集合を増分的にスナップショットし、疎なスナップショットから一貫したチェックポイントを再構成する11。 チェックポイントオーバーヘッドを4倍、復旧オーバーヘッドを31倍削減する。

MoEモデルのチェックポイント問題と解決策

補足図（AI生成）：密なモデルに比べて MoE モデルのチェックポイントが巨大になる問題と、MoC-System（部分集合選択）および MoEvement（増分スナップショット）による解決策。

LowDiff（2025）

LowDiff は、通信効率化のために圧縮された勾配をそのまま差分チェックポイントとして再利用する12。 追加コストをほぼかけずにイテレーションごとのチェックポイントを可能にする。

GPU-Accelerated De-Duplication（ICPP 2023）

GPU 上で Merkle ツリーベースの重複排除を実行し、高いメモリ帯域と並列性を活かして増分チェックポイントのサイズと I/O ボトルネックを削減する手法である13。

Inshrinkerator（SoCC 2024）

Inshrinkerator は、学習チェックポイントを動的な非一様量子化で圧縮するシステムである14。 学習中に重みの圧縮感度が変動する性質を利用し、パラメータごとに異なる量子化レベルを適用する。 最大39倍の圧縮比を達成し、障害復旧と転移学習の双方で精度損失なくチェックポイントサイズを1桁以上削減する。

3. いつ、どう保存するか（頻度と並行性の最適化）

チェックポイント頻度を上げれば障害時の損失は減るが、学習スループットが落ちる。 このアプローチは、チェックポイント処理と学習を並行させたり、最適な頻度を自動で決めたりすることで、このトレードオフを緩和する。

非同期チェックポイントのパイプライン化

補足図（AI生成）：従来のブロッキング方式（チェックポイント中は学習が停止）と、非同期パイプライン方式（学習と I/O を重畳）の比較。

CheckFreq（FAST 2021）

CheckFreq は、チェックポイント頻度をイテレーション粒度で自動チューニングするフレームワークである15。 オンラインプロファイリングで二段階パイプライン（GPU→CPU コピーとディスク書き出しの重畳）を構成し、復旧時間を数時間から数秒に短縮しつつ、実行時オーバーヘッドを 3.5% 以内に抑える。

PCcheck（ASPLOS 2025）

PCcheck は、複数の並行チェックポイントをパイプラインで処理するフレームワークである16。 GPU→CPU→ストレージの転送をマルチスレッドでパイプライン化し、10イテレーションごとという高頻度のチェックポイントを 3% のオーバーヘッドで実現する。 SSD と永続メモリ（PMEM）の双方に対応し、単一マシンと分散設定の両方で動作する。

DataStates-LLM（HPDC 2024）

DataStates-LLM は、前向き・後ろ向き計算中のテンソルの不変性を利用し、ブロッキングなしに GPU からホストへのコピーを行う遅延非同期チェックポイントシステムである17。 チェックポイント処理を最大48倍高速化し、エンドツーエンドの学習を 2.2倍高速化する。

DeepFreeze（CCGrid 2020）

DeepFreeze は、データ並列の全 GPU にチェックポイント処理を分散させ（シャーディング）、実行グラフを拡張して非同期にシリアライズと I/O を隠蔽する18。

JIT Checkpointing（EuroSys 2024）

JIT Checkpointing は、定期的なチェックポイントではなく、障害検出時にチェックポイントを取る方式である19。 Microsoft Research India のチームが提案し、チェックポイント頻度の選択という問題自体を排除する。 復旧時に全 GPU がリプレイするのは1ミニバッチ分だけで、復旧コストを数分から数秒に短縮する。 定常状態のオーバーヘッドはほぼゼロである。

定期チェックポイント vs JIT Checkpointing

補足図（AI生成）：定期チェックポイントはオーバーヘッドが常に発生し巻き戻し損失も大きいのに対し、JIT は定常オーバーヘッドがほぼゼロで復旧も数秒。

FlowCheck（SoCC 2024）

FlowCheck は、学習のネットワークトラフィックをミラーリングして勾配データを抽出し、学習ワークフローと完全に分離してチェックポイントを保存するシステムである20。 学習への影響がゼロで、実用的な障害条件下で有効学習時間が98%以上を達成する。

FlowCheck：トラフィックミラーリング

補足図（AI生成）：学習ノード間の allreduce トラフィックをネットワークスイッチでミラーリングし、別のチェックポイントサーバで状態を再構成する。学習パスに干渉しない。

GoCkpt（2025）

GoCkpt は、GPU→CPU のチェックポイント転送を複数の学習ステップにまたがって分散させる方式である21。 各ステップでチェックポイント状態の一部と勾配データを転送し、CPU 側でチェックポイントの一貫性を復元する。 従来の非同期チェックポイント方式と比較して学習スループットを最大 38.4% 改善する。

GoCkpt：マルチステップ分散

補足図（AI生成）：チェックポイント転送を複数の学習ステップにまたがって分散させ、1ステップあたりの帯域消費を抑える。

4. 並列戦略の変更に対応する（チェックポイント形式の統一）

3D 並列学習では、学習途中で GPU 数を変えたり並列戦略を切り替えたりする需要がある（たとえばスポット VM が回収されたとき）。 しかし従来のチェックポイントは特定の並列構成に密結合しており、構成を変えると復元できない。 このアプローチは、チェックポイント形式を並列戦略から分離する。

Universal Checkpointing：並列戦略からの分離

補足図（AI生成）：分散チェックポイントを並列分割を解除した「アトミックチェックポイント」に変換し、任意の並列構成で復元可能にする。

Universal Checkpointing（2024）

Universal Checkpointing（UCP）は、DeepSpeed チームが提案する並列戦略非依存のチェックポイントシステムである22。 分散チェックポイントを「アトミックチェックポイント」（並列分割を解除した論理的に統一された形式）に変換することで、ZeRO、3D 並列、シーケンス並列、異なる GPU 数のあいだでシームレスに再開できる。

ByteCheckpoint（2024）

ByteCheckpoint は、ByteDance が開発した統一チェックポイントシステムである23。 大規模基盤モデルの学習において、異なる並列戦略間でのチェックポイントの互換性と効率的な保存・復元を提供する。

LLMTailor（SC Workshops 2025）

LLMTailor は、Transformer の各レイヤーに対してレイヤー固有のチェックポイント戦略を適用し、冗長なデータの保存を減らして I/O 効率を改善するツールである24。

Elastor（PPoPP 2026）

Elastor は、部分的な GPU 障害（ノード全体ではなく一部の GPU だけが利用不能になるケース）に対応する弾力的分散学習システムである25。 ファイングレインなテンソル分割に基づくパーティション非依存のチェックポイント方式を導入し、任意の並列分割構成間でシームレスに遷移できる。

5. チェックポイントに頼らない耐障害性

チェックポイント自体を不要にする、または依存度を大幅に下げるアプローチもある。 冗長計算、パイプラインの動的再構成、重み平均による再構成などが該当する。

Bamboo（NSDI 2023）

Bamboo は、パイプライン並列のバブル（パイプラインの空き時間）に冗長な計算を詰め込み、隣接ノードが互いのレイヤーのコピーを持つことで耐障害性を確保する26。 プリエンプティブルなクラウドインスタンス上での学習を想定しており、従来のチェックポイント方式より学習スループットを 3.7倍、コストを 2.4倍改善する。

Bamboo：パイプラインのバブルに冗長計算

補足図（AI生成）：通常のパイプライン並列で生じるバブル（空き時間）に隣接ステージのレイヤーの冗長計算を詰め込む。障害時は隣接ノードのコピーから復旧する。

Oobleck（SOSP 2023）

Oobleck は、異なるパイプライン構成（パイプラインテンプレート）を f+1 個用意し、任意の f 台の同時故障に耐える方式である27。 障害時にはテンプレートを切り替えて残りのノードで学習を継続する。 従来手法より最大 29.6倍の改善を達成する。

Oobleck：パイプラインテンプレート

補足図（AI生成）：f+1 個のパイプラインテンプレートを事前に用意し、障害時にテンプレートを切り替えて残りノードで学習を継続する。

Lazarus（2024）

Lazarus は、MoE モデル向けの耐障害性システムである28。 ノード障害時にエキスパートの配置を動的に変更し、柔軟なトークンディスパッチで学習を継続する。 頻繁な障害下で、チェックポイントベースの MoE 学習より最大 5.7倍の高速化を達成する。

TrainMover（2024）

TrainMover は、弾力的なマシンとスタンバイマシンを活用して中断に対応するランタイムである29。 差分ベースの通信設定と通信不要なウォームアップにより、1024 GPU 規模で約20秒のダウンタイムとゼロのメモリオーバーヘッドを達成する。

Chameleon（2025）

Chameleon は、障害復旧戦略を実行時に動的に選択するシステムである30。 統一的な性能モデルにより、チェックポイント復元、冗長計算、パイプライン再構成などの戦略から最適なものをリアルタイムに選ぶ。 障害なし時の性能から 11% 以内を維持しつつ、固定戦略のシステムより最大 35.5% 優れる。

Chameleon：障害復旧戦略の動的選択

補足図（AI生成）：障害の種類やリソース状況に応じて、チェックポイント復元・冗長計算・パイプライン再構成から最適な戦略をリアルタイムに選択する。

CheckFree（2025）

CheckFree は、チェックポイントを完全に排除するアプローチである31。 パイプライン並列の隣接ステージの重みの加重平均から、障害で失われたレイヤーを再構成する。 チェックポイントのオーバーヘッドを完全になくしつつ、収束性を維持する。

CheckFree：重み平均による復旧

補足図（AI生成）：隣接ステージの重みの加重平均から障害ステージを再構成する仕組み。

ATTNChecker

ATTNChecker は、LLM 学習中の障害に対して、従来のチェックポイント・リストア方式と比較して復旧オーバーヘッドを最大49倍削減する手法である32。

ReCoVer（2025, 未検証）

ReCoVer は、チェックポイントからのロールバックなしに学習を継続する前方回復（forward recovery）を実装するシステムである33。 チェックポイント方式と補完関係にあり、組み合わせて使うことも可能とされる。 （deep-research の敵対的検証がセッション制限で完了しなかったため、未検証）

FT-HSDP（Meta, 2025, 未検証）

Meta の FT-HSDP は、10万 GPU 規模の学習で復旧停止を10分から3分に短縮し、有効学習時間を44%から80%に引き上げるシステムとされる34。 データ並列のレプリカを耐障害性の単位として扱い、障害レプリカだけをオフラインにして他は学習を継続する。 健全なレプリカから P2P で状態を取得して復旧する。 （未検証）

SPARe（2025, 未検証）

SPARe は、10万GPU以上の規模で冗長性とチェックポイント戦略を同時最適化し、time-to-train を最小化するシステムとされる35。 チェックポイント間隔を冗長性と共同で最適化変数として扱う。 （未検証）

チェックポイントのトレードオフ全体像

補足図（AI生成）：各アプローチが従来方式からどの方向にトレードオフを改善するかの全体像。

分散DLチェックポイント論文の年表

補足図（AI生成）：2020年から2026年にかけての論文の発表年とカテゴリ。2023年以降に研究が急増している。

論文一覧（索引）

論文 会議/年 アプローチ
Gemini SOSP 2023 ストレージ階層（インメモリ）
TierCheck arXiv 2025 ストレージ階層（三層）
REFT arXiv 2023 ストレージ階層（インメモリ）
ACUTE IEEE Access 2024 ストレージ階層（リモートメモリ）
FastPersist arXiv 2024 ストレージ階層（NVMe）
FFTrainer arXiv 2024 ストレージ階層（allreduce 空き帯域）
ElasWave arXiv 2025 ストレージ階層（リング方式インメモリ）
Check-N-Run NSDI 2022 サイズ削減（増分＋量子化）
IncrCP VLDB 2025 サイズ削減（増分）
MoC-System ASPLOS 2025 サイズ削減（MoE 部分保存）
MoEvement NSDI 2026 サイズ削減（MoE 疎スナップショット）
LowDiff arXiv 2025 サイズ削減（圧縮勾配の再利用）
GPU-Accelerated De-Dup ICPP 2023 サイズ削減（GPU 重複排除）
Inshrinkerator SoCC 2024 サイズ削減（動的量子化圧縮）
CheckFreq FAST 2021 頻度・並行性
PCcheck ASPLOS 2025 頻度・並行性
DataStates-LLM HPDC 2024 頻度・並行性
DeepFreeze CCGrid 2020 頻度・並行性
JIT Checkpointing EuroSys 2024 頻度・並行性（障害時のみ）
FlowCheck SoCC 2024 頻度・並行性（トラフィックミラー）
GoCkpt arXiv 2025 頻度・並行性（マルチステップ重畳）
Universal Checkpointing arXiv 2024 形式統一
ByteCheckpoint arXiv 2024 形式統一
LLMTailor SC Workshops 2025 形式統一
Elastor PPoPP 2026 形式統一（パーティション非依存）
Bamboo NSDI 2023 チェックポイント不要（冗長計算）
Oobleck SOSP 2023 チェックポイント不要（パイプライン再構成）
Lazarus arXiv 2024 チェックポイント不要（MoE 動的配置）
TrainMover arXiv 2024 チェックポイント不要（弾力的ランタイム）
Chameleon arXiv 2025 チェックポイント不要（動的戦略選択）
CheckFree arXiv 2025 チェックポイント不要（重み再構成）
ATTNChecker — チェックポイント不要（復旧最適化）
ReCoVer (未検証) arXiv 2025 チェックポイント不要（前方回復）
FT-HSDP (未検証) arXiv 2025 ストレージ階層（P2P 状態取得）
SPARe (未検証) arXiv 2025 頻度・並行性（冗長性との同時最適化）

  1. Zhuang Wang et al., “Gemini: Fast Failure Recovery in Distributed Training with In-Memory Checkpoints,” SOSP 2023. ↩

  2. Shujie Han et al., “TierCheck: Tiered Checkpointing for Fault Tolerance in Large Language Model Training,” arXiv:2605.17821, 2025. ↩

  3. Yuxin Wang et al., “REFT: Fault-Tolerant Hybrid-Parallel Training at Scale with Reliable and Efficient In-memory Checkpointing,” arXiv:2310.12670, 2023. ↩

  4. Yonghyeon Cho et al., “ACUTE: Optimizing Multi-Level Checkpointing for Distributed Deep Learning on Cloud Spot VM Clusters,” IEEE Access, Vol. 12, 2024. ↩

  5. Guanhua Wang et al., “FastPersist: Accelerating Model Checkpointing in Deep Learning,” arXiv:2406.13768, 2024. ↩

  6. “FFTrainer,” arXiv:2512.03644, 2024. ↩

  7. “ElasWave: An Elastic-Native System for Scalable Hybrid-Parallel Training,” arXiv:2510.00606, 2025. ↩

  8. Assaf Eisenman et al., “Check-N-Run: A Checkpointing System for Training Deep Learning Recommendation Models,” NSDI 2022. ↩

  9. Qingyin Lin et al., “IncrCP: Decomposing and Orchestrating Incremental Checkpoints for Effective Recommendation Model Training,” VLDB 2025. ↩

  10. Weilin Cai et al., “MoC-System: Efficient Fault Tolerance for Sparse Mixture-of-Experts Model Training,” ASPLOS 2025. ↩

  11. Swapnil Gandhi and Christos Kozyrakis, “MoEvement: Sparse Checkpointing for Fast and Reliable MoE Training,” NSDI 2026. ↩

  12. Chenxuan Yao et al., “LowDiff: Optimizing Frequent Checkpointing via Low-Cost Differential for Distributed Training Systems,” arXiv:2509.04084, 2025. ↩

  13. Nigel Tan et al., “Scalable Incremental Checkpointing using GPU-Accelerated De-Duplication,” ICPP 2023. ↩

  14. “Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization,” SoCC 2024. ↩

  15. Jayashree Mohan et al., “CheckFreq: Frequent, Fine-Grained DNN Checkpointing,” FAST 2021. ↩

  16. Foteini Strati et al., “PCcheck: Persistent Concurrent Checkpointing for ML,” ASPLOS 2025. ↩

  17. Avinash Maurya et al., “DataStates-LLM: Lazy Asynchronous Checkpointing for Large Language Models,” HPDC 2024. ↩

  18. Bogdan Nicolae et al., “DeepFreeze: Towards Scalable Asynchronous Checkpointing of Deep Learning Models,” CCGrid 2020. ↩

  19. Gupta et al., “JIT Checkpointing,” EuroSys 2024. ↩

  20. “FlowCheck,” SoCC 2024. ↩

  21. “GoCkpt: Gradient-Assisted Multi-Step Overlapped Checkpointing for Efficient LLM Training,” arXiv:2511.07035, 2025. ↩

  22. Xinyu Lian et al., “Universal Checkpointing: Efficient and Flexible Checkpointing for Large Scale Distributed Training,” arXiv:2406.18820, 2024. ↩

  23. ByteDance, “ByteCheckpoint: A Unified Checkpointing System for Large Foundation Model Development,” arXiv:2407.20143, 2024. ↩

  24. Minqiu Sun et al., “LLMTailor: A Layer-wise Tailoring Tool for Efficient Checkpointing of Large Language Models,” SC Workshops 2025. ↩

  25. “Elastor,” PPoPP 2026. ↩

  26. John Thorpe et al., “Bamboo: Making Preemptible Instances Resilient for Affordable Training of Large DNNs,” NSDI 2023. ↩

  27. Insu Jang et al., “Oobleck: Resilient Distributed Training of Large Models Using Pipeline Templates,” SOSP 2023. ↩

  28. Yongji Wu et al., “Lazarus: Resilient and Elastic Training of Mixture-of-Experts Models,” arXiv:2407.04656, 2024. ↩

  29. ChonLam Lao et al., “TrainMover: An Interruption-Resilient Runtime for ML Training,” arXiv:2412.12636, 2024. ↩

  30. Yuhang Zhou et al., “Chameleon: Adaptive Fault Tolerance for Distributed Training via Real-time Policy Selection,” arXiv:2508.21613, 2025. ↩

  31. Nikolay Blagoev et al., “CheckFree: All is Not Lost – LLM Recovery without Checkpoints,” arXiv:2506.15461, 2025. ↩

  32. ATTNChecker, ACM DL: https://dl.acm.org/doi/10.1145/3710848.3710870 ↩

  33. “ReCoVer,” arXiv:2605.11215, 2025. ↩

  34. Meta, “FT-HSDP,” arXiv:2602.00277, 2025. ↩

  35. “SPARe,” arXiv:2603.00357, 2025. ↩