Skip to content

さくら高火力・GMO・ABCI 3.0・GPUSOROBAN 対応

GPU クラスター障害診断・LLM VRAM 計算・NCCL / Xid 切り分け

CUDA OOM、WorkNCCL タイムアウト、NVIDIA Xid 79 掉卡、vLLM KV キャッシュ不足、nvfp4 量子化エラーを、ブラウザ完結のローカルツールと日本語リファレンスで安全に原因特定します。

主な障害パターンと初期対応

ログ署名分類意味最初の確認点詳細
NVRM: Xid 79 / GPU has fallen off the busハードウェア到達不可PCIe バスから GPU が脱落。電源・PCIe・GPU 本体の切り分けと RMA 証拠保存が必要です。Xid デコーダと RMA 判定ガイドで UUID と dmesg を保全します。Xid ハブへ
WorkNCCL collective operation timeout / ibv_poll_cq error 12分散通信さくら高火力・GMO・ABCI 3.0 等での InfiniBand/RoCE 停止。原因ランクを先に隔離します。NCCL ログデコーダと日本語 NCCL ハブで起点ノードを特定します。NCCL ハブへ
vLLM KV Cache OOM / EngineCore died / NVFP4LLM 推論H100 / H200 / RTX 5090 での KV キャッシュ不足や NVFP4 / FlashInfer カーネル不整合です。日本語 vLLM ハブと無料 LLM VRAM 計算機で並列数と上限を試算します。vLLM ハブへ

現場で最初に保全すべきコマンド出力

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

日本および主要 GPU クラウド障害トリアージ

ブラウザ完結の無料 GPU ツールと資料

よくある質問

ログを外部サーバーへ送信せずに日本語で解析できますか?

はい。/tools/gpu-log-analyzer および VS Code / Open VSX 拡張機能のローカル診断はブラウザと端末内で完結し、機密学習ログやプロンプトを外部に送信しません。

GMO・さくら高火力・ABCI 3.0 のような国内クラウドでも使えますか?

はい。dmesg の NVRM Xid、NCCL_DEBUG=INFO、Slurm sacct、nvidia-smi 出力は国内クラウド・オンプレミス共通で解析できます。

$0 無料プランと 30 日間チーム評価 (カード不要・請求書 / JCB 対応)

個人・法人を問わず Gmail 等で $0 無料アカウントを作成できます。チーム評価 (月 $415 年間契約 / $499 月払い相当) では Stripe チェックアウトで JCB・各種法人カードおよび適格請求書 / VAT・GST 番号入力に対応し、銀行振込による年額インボイスも発行可能です。