HBM / ECC ハードウェア劣化
NVIDIA Xid 48 (訂正不能 Double Bit ECC エラー) 診断
GPU メモリ (HBM / GDDR) 上で ECC による訂正が不可能な 2 ビット誤りが発生しました。プロセス強制停止と再発リスクを伴います。
代表的なログシグネチャ
kernel: NVRM: Xid (PCI:0000:47:00): 48, An uncorrectable double bit error (DBE) has been detected on GPU in the framebuffer根本原因と二次症状の見分け方
高帯域幅メモリのセル劣化や過熱、電圧変動により単一ビット訂正の範囲を超えたエラーが起きると Xid 48 と同時にエラーページ退避 (Row Remapping) が記録されます。
再起動・再試行前に収集すべき証拠コマンド
nvidia-smi --query-gpu=index,uuid,serial,ecc.errors.uncorrected.aggregate.total,ecc.errors.uncorrected.volatile.total --format=csv
nvidia-smi -q -d ECC,ROW_REMAPPER,PAGE_RETIREMENT
dmesg -T | grep -i -E "xid.*(48|63|64|94|95)|retired|remapper"安全な切り分けと復旧ステップ
- `nvidia-smi -q -d ECC,ROW_REMAPPER` で未訂正エラー総数と Pending Remap / Remap Failure の有無を取得します。
- Xid 63 / 64 / 94 / 95 が続いていないか `dmesg` を検索し、ジョブをドレインして安全に再起動後のリマップ完了を確認します。
- リマップ領域枯渇または再発時は同一 UUID 証拠を添えてハードウェア交換を依頼します。
登録不要のライブ診断
お手元のログで最初の故障原因を無料チェック
生ログを貼り付けると、ブラウザ内で機密値を自動マスクして起点ノードや二次エラーを切り分けます。
アップロード前に クラウドでのデータ取り扱いと完全ローカル実行の選択肢 をご確認ください。
training_logs.txt
手元にログがない場合はサンプルでお試しください:
ログファイルを選択してください。大きなファイルはブラウザ内で整形され、抽出された証跡のみが診断に送信されます。
1日3回まで無料のクラウド診断
よくある質問
Xid 48 が出た状態で学習を続行できますか?
推奨されません。未訂正メモリエラーにより重みや勾配が破壊される恐れがあり、リマップ適用または隔離が必要です。
1 回だけの Xid 48 でも交換対象ですか?
ベンダー基準は Row Remapping 失敗や再発回数、Retired Pages 上限に依存するため、`nvidia-smi -q` 全文を残してください。
関連する日本語 GPU 障害ガイド
NVIDIA Xid 79 (GPU has fallen off the bus) 原因切り分けNVIDIA Xid 74 (NVLink Fatal Error) 診断と切り分けNCCL Watchdog タイムアウト原因特定ガイド無料 LLM VRAM 計算機で試算
英語版の完全データベース詳細:English Technical Reference を開く
Denpex を 30 日間お試し。 無料。
クレジットカード不要。自動課金なし。すでに原因をご存じのインシデントで Denpex の精度を検証できます。
30日間の無料 Team 評価を開始
30日間、1日最大50件まで診断可能。法人メールアドレスを認証して利用を開始し、解決済みインシデントを再実行して根拠と次アクションをチームの確定原因と比較できます。