训练失败原因排查

检查标注数据格式

仅支持 labelme 格式的标注数据。如果是 YOLO 或 VOC 的格式可以使用工具箱的工具进行转换后再训练。

Labelme 格式样例

{
  "version": "2024.11.8.0a1",
  "flags": {},
  "shapes": [
    {
      "label": "崩坏",
      "points": [
        [
          454.52173913043475,
          630.5217391304346
        ],
        [
          438.86956521739125,
          649.6521739130434
        ],
        [
          423.21739130434787,
          654.8695652173913
        ],
        [
          411.9130434782609,
          680.9565217391304
        ],
        [
          390.17391304347825,
          687.9130434782608
        ],
        [
          382.3478260869565,
          699.2173913043478
        ],
        [
          461.47826086956525,
          697.4782608695651
        ]
      ],
      "group_id": null,
      "description": "",
      "shape_type": "polygon",
      "flags": {},
      "mask": null
    },
    {
      "label": "崩坏",
      "points": [
        [
          388.0398406374502,
          1132.6055776892429
        ],
        [
          399.59362549800795,
          1126.231075697211
        ],
        [
          416.3266932270916,
          1122.645418326693
        ],
        [
          431.4661354581673,
          1123.043824701195
        ],
        [
          443.81673306772905,
          1119.458167330677
        ],
        [
          453.77689243027885,
          1123.840637450199
        ],
        [
          460.54980079681275,
          1129.816733067729
        ],
        [
          466.5258964143426,
          1125.832669322709
        ],
        [
          466.9243027888446,
          1166.4701195219122
        ],
        [
          457.76095617529876,
          1161.2908366533864
        ],
        [
          455.76892430278883,
          1154.5179282868523
        ],
        [
          451.3864541832669,
          1153.3227091633464
        ],
        [
          441.0278884462151,
          1154.1195219123504
        ],
        [
          436.64541832669323,
          1154.1195219123504
        ],
        [
          427.8804780876494,
          1145.7529880478087
        ],
        [
          419.91235059760953,
          1140.9721115537848
        ],
        [
          415.1314741035856,
          1142.1673306772907
        ],
        [
          406.3665338645418,
          1142.5657370517927
        ],
        [
          390.43027888446215,
          1139.3784860557766
        ],
        [
          388.43824701195217,
          1137.3864541832668
        ]
      ],
      "group_id": null,
      "description": "",
      "shape_type": "polygon",
      "flags": {},
      "mask": null
    }
  ],
  "imagePath": "7560d7f2-6746-4756-9aec-74307e0c0c87.png",
  "imageData": null,
  "imageHeight": 1168,
  "imageWidth": 1096
}

检查数据集路径

如果数据集位置变化,需要先修改数据集路径。

一个数据集路径对应一个项目,如果已经用同一个数据集路径建立了项目,再次创建项目会提示失败。

显存不足

如果显卡配置较低,训练的图像尺寸过大,可能会出现 RuntimeError: CUDA out of memory

可以尝试:

  • 缩小训练尺寸缩小
  • 批量大小最小可调至1,推荐设置为 2 以上。

如果进行以上操作后仍然因为显存不足报错,需要尝试使用更高配置的机器进行训练或者联系技术支持。

检查显卡驱动版本

如何查看显卡版本

支持的显卡驱动最低版本 531.14

显卡版本过低可能会出现如下错误:

The NVIDIA driver on your system is too old.

技术支持

微信扫码添加技术微信