Xid 79 / 74 / 48 / 63・ドライバ 580 不整合
NVIDIA Xid 79・74・48 原因切り分けと GPU RMA 証拠保全
GPU has fallen off the bus (Xid 79)、NVLink 障害 (Xid 74)、ECC エラー、さらに nvidia-smi NVML 580 バージョン不一致や No devices were found への正確な初期対応をまとめています。
主な障害パターンと初期対応
| ログ署名 | 分類 | 意味 | 最初の確認点 | 詳細 |
|---|---|---|---|---|
| NVRM: Xid (PCI:...): 79, GPU has fallen off the bus | ハードウェア到達不可 | ドライバが GPU との PCIe 通信を失いました。電源・熱・スロット・GPU 本体のいずれも原因になり得ます。 | リセット前に UUID・Serial・BMC ログ・dmesg を保存し、スロット交換で切り分けます。 | 詳細を見る |
| NVRM: Xid 74 (NVLink fatal error) / Xid 149 | NVLink / ファブリック | NVLink または NVSwitch 間の高速インターコネクトで回復不能エラーが発生しました。 | nvidia-smi nvlink -e と他 GPU との同時発生時刻を確認して RMA 証拠を整えます。 | RMA基準を見る |
| Failed to initialize NVML: Driver/library version mismatch / No devices | ドライバ不整合 | 自動更新等によりカーネルモジュール (580.x) とユーザー空間ライブラリが不一致です。 | /proc/driver/nvidia/version と稼働中プロセスを確認し安全に再ロードします。 | 修復手順を見る |
現場で最初に保全すべきコマンド出力
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1日本および主要 GPU クラウド障害トリアージ
ブラウザ完結の無料 GPU ツールと資料
よくある質問
Xid 79 が出たら即 GPU 本体の故障 (RMA) ですか?
即断はできません。Xid 79 はドライバが GPU を見失った結果であり、電源・冷却・PCIe スロット・ライザー・GPU 本体のいずれも起こり得ます。まず UUID と dmesg を保存し、スロット移動で再現性を確認します。
nvidia-smi で Driver/library version mismatch が出た場合は?
apt 等で libnvidia-ml だけが 580 系へ更新され、メモリ上の nvidia.ko が古いままになっています。ジョブがなければ modprobe での再ロードで再起動せず復旧できます。
$0 無料プランと 30 日間チーム評価 (カード不要・請求書 / JCB 対応)
個人・法人を問わず Gmail 等で $0 無料アカウントを作成できます。チーム評価 (月 $415 年間契約 / $499 月払い相当) では Stripe チェックアウトで JCB・各種法人カードおよび適格請求書 / VAT・GST 番号入力に対応し、銀行振込による年額インボイスも発行可能です。