文档中心

Appearance

控制台

训练任务的常见错误及处理 ​

本文介绍了训练任务常见错误、排查思路及解决方案。

现场测试 ​

如果有现场保留，可以运行基准测试以检查 Pod 和硬件是否存在问题。如果这些测试都通过，那么很可能是代码出现了问题。

  • 计算基准测试，如 gpu-burn
  • 通信基准测试，如 nccl-test
  • 训练基准测试等

关于如何保留现场，可参见下方优化训练任务的启动命令。

错误日志 ​

  1. 当发生错误时，可以从任务列表中点击日志，查看所有的错误日志记录，找到第一个异常日志记录及其对应的 Pod 信息。
  2. 根据第一条错误日志的记录信息，查找相应的代码位置，分析可能的原因，例如通信超时退出、计算错误退出、硬件错误退出、Pod 或进程失去连接退出等。

训练前错误排查 ​

平台在训练前检测执行 BootCheck 检测，日志从 Start running Boot Checking... 开始。如果 Boot check Results 中由任何项目非 Pass: true 状态，请联系无问芯穹。

以下为 Boot Check 一切正常时的 Worker 日志输出：

shell
=======================================================
trying to establish with master...
trying to establish with master...Done.
=======================================================
2024/06/17 16:59:43 Start running Boot Checking...
2024/06/17 16:59:50 Boot Check Results:
2024/06/17 16:59:50 Check Type: PyTorch Version       , Pass: true , Result: v2.2.0a0+6a974be
2024/06/17 16:59:50 Check Type: CUDA                  , Pass: true , Result: Available
2024/06/17 16:59:50 Check Type: CUDA Version          , Pass: true , Result: 12.3
2024/06/17 16:59:50 Check Type: GPU Number            , Pass: true , Result: 1
2024/06/17 16:59:50 Check Type: GPU Type              , Pass: true , Result: NVIDIA A100-SXM4-40GB
2024/06/17 16:59:50 Check Type: NCCL Version          , Pass: true , Result: (2, 19, 3)
2024/06/17 16:59:50 Check Type: AllReduce Check       , Pass: true , Result: Succeed
2024/06/17 16:59:50 Running Boot Checking...Done.
=======================================================

训练失败后错误排查 ​

训练失败后平台自动执行 Troubleshooting 检测。如果输出日志中任何项目非 Pass: true 状态，请联系无问芯穹。

以下为发现 NCCL 性能问题时的 Worker 日志输出：

shell
2024/06/17 17:00:56 Check Type: PyTorch Version       , Pass: true , Result: v2.2.0a0+6a974be
2024/06/17 17:00:56 Check Type: CUDA                  , Pass: true , Result: Available
2024/06/17 17:00:56 Check Type: CUDA Version          , Pass: true , Result: 12.3
2024/06/17 17:00:56 Check Type: GPU Number            , Pass: true , Result: 1
2024/06/17 17:00:56 Check Type: GPU Type              , Pass: true , Result: NVIDIA A100-SXM4-40GB
2024/06/17 17:00:56 Check Type: NCCL Version          , Pass: true , Result: (2, 19, 3)
2024/06/17 17:00:56 Check Type: NCCL Performance Test , Pass: false, Failed Reason: Bus bandwidth is too low: 0.000
2024/06/17 17:00:56 Check Type: NCCL Connection Test  , Pass: true , Result: Succeed

NCCL 问题 ​

在调试和排障时，使用以下 NCCL 环境变量有助于排查问题。

设置 NCCL 在运行时打印丰富的日志信息，帮助调试和分析 NCCL 相关的性能问题和错误。

# 调试时打印日志使用​
export NCCL_DEBUG=INFO

NOTE

打印大量调试信息可能会影响 NCCL 的性能，因此建议只在调试需要时启用此设置。

暂时绕过自动选择接口的机制，指定 NCCL 通信使用的网络接口。

shell
# 设置socket建环使用eth0的通道
export NCCL_SOCKET_IFNAME=eth0

如果您的镜像是用的 NGC 镜像，或者加载了 NCCL 的 sharp 等插件的话，有可能会出错。可临时添加如下环境变量，帮助诊断问题或验证网络配置。

shell
# 指示 NCCL 不使用任何网络通信插件
export NCCL_NET_PLUGIN=none ​

优化训练任务的启动命令 ​

在 AIStudio 中进行模型训练时，我们希望能够提供较好的排障体验。我们将诊断一个训练任务启动命令的问题，并演示如何改进。

原始命令 ​

该训练任务的启动命令存在以下问题：

  • 缺乏日志记录，无法跟踪每个阶段的开始和结束时间以及执行状态。
  • 使用 tee 命令重定向输出，即使训练任务失败也无法识别错误。
  • 缺少错误处理机制，无法在训练任务失败时采取措施。
shell
wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-vocab.json​
wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-merges.txt​
mkdir -p checkpoints/gpt2_345m​
cd checkpoints/gpt2_345m​
wget --content-disposition https://api.ngc.nvidia.com/v2/models/nvidia/megatron_l​
m_345m/versions/v0.0/zip -O megatron_lm_345m_v0.0.zip​
unzip megatron_lm_345m_v0.0.zip​
rm megatron_lm_345m_v0.0.zip​
cd ../..​
git clone https://github.com/EastInsure/Megatron-DeepSpeed.git​
cd Megatron-DeepSpeed​
bash train/7B1_test.sh $MASTER_ADDR $MASTER_PORT $WORLD_SIZE $RANK | tee $(pwd)/M​
egatron-DeepSpeed.log

改进方案 ​

为了提高训练任务的易用性和鲁棒性，建议按照以下步骤进行改进：

  1. 添加日志记录：在每个关键操作前后添加日志记录，记录时间、Pod 名称和操作状态（例如是否已开始或结束）。这一改动将使我们能更好地跟踪脚本的执行进度。在容器内部获取 $HOSTNAME 环境变量可得到 Pod 名称。

    例如：

    shell
    echo "[$(date +"%Y-%m-%d %H:%M:%S")] \$HOSTNAME starts to download gpt2-vocab.json and gpt2-merges.txt"
wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-vocab.json
wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-merges.txt
echo "[$(date +"%Y-%m-%d %H:%M:%S")] \$HOSTNAME has completed the vocab download and starts to download the checkpoints."

  2. 使用 tee 命令并启用 set -o pipefail。原始命令最后一个操作将输出结果通过管道形式重定向到了日志文件中，因为 tee 的命令总是会成功的，导致这种方式即使任务出错了也无法正确识别到。

    例如使用 set -o pipefail 确保管道中的任何错误都会导致脚本退出。

    shell
    set -o pipefail
bash train/7B1_test.sh $MASTER_ADDR $MASTER_PORT $WORLD_SIZE $RANK | tee $(pwd)/Megatron-DeepSpeed.log

    同理，如果重定向操作在脚本内部完成，也可以这样改造，从而可以把出错信息完整的保留。

    shell
    bash train/7B1_test.sh $MASTER_ADDR $MASTER_PORT $WORLD_SIZE $RANK > >(tee -i $(pwd)/logs/$$HOSTNAME.log) 2>&1

  3. 添加错误处理机制，保留现场。在训练任务完成后，检查其返回值。如果返回值非零，则表示训练任务失败，需要采取措施，例如记录错误信息并保留容器。

    例如，在 bash train/7B1_test.sh 命令之后使用 ret=$? 捕获退出代码。如果退出代码非零，则意味着训练失败，打印错误消息并保留 10000 秒。使用 exit $? 将 bash train/7B1_test.sh 执行结果状态返回给容器。

    shell
    ret=$?
if [[ ${ret} -ne 0 ]]; then
    echo "[$(date +"%Y-%m-%d %H:%M:%S")] $HOSTNAME has crashed! The onsite reservation time is 10000s"
    sleep 10000
fi
exit $?

以下是改造后的完整脚本：

shell
set -o pipefail

# 下载 gpt2-vocab.json 和 gpt2-merges.txt
echo "[$(date +"%Y-%m-%d %H:%M:%S")] \$HOSTNAME 开始下载 gpt2-vocab.json 和 gpt2-merges.txt"
wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-vocab.json
wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-merges.txt
echo "[$(date +"%Y-%m-%d %H:%M:%S")] \$HOSTNAME 已完成 vocab 下载，开始下载检查点"

# 创建检查点目录并下载检查点
mkdir -p checkpoints/gpt2_345m
cd checkpoints/gpt2_345m
wget --content-disposition https://api.ngc.nvidia.com/v2/models/nvidia/megatron_lm_345m/versions/v0.0/zip -O megatron_lm_345m_v0.0.zip
unzip megatron_lm_345m_v0.0.zip
rm megatron_lm_345m_v0.0.zip
cd ../..

# 克隆训练代码
echo "[$(date +"%Y-%m-%d %H:%M:%S")] \$HOSTNAME 已完成检查点下载，开始拉取训练代码"
git clone https://github.com/EastInsure/Megatron-DeepSpeed.git
cd Megatron-DeepSpeed

# 运行训练脚本
echo "[$(date +"%Y-%m-%d %H:%M:%S")] \$HOSTNAME 已完成代码拉取，开始运行训练脚本"
bash train/7B1_test.sh $MASTER_ADDR $MASTER_PORT $WORLD_SIZE $RANK | tee $(pwd)/Megatron-DeepSpeed.log

# 检查训练结果
ret=$?
if [[ ${ret} -ne 0 ]]; then
  echo "[$(date +"%Y-%m-%d %H:%M:%S")] \$HOSTNAME 训练失败！现场保留时间为 10000s"
  sleep 10000
fi

exit $?

登录任务的 worker ​

在任务详情页查看到任务 worker 的状态，可点击刷新获取当前最新状态。​必要时可以登录 worker 进行错误排查或查询进程信息。

Worker 的登录入口在任务详情页 Worker 信息中。

alt text

NOTE

仅在任务运行中时可登录 Worker。