如何对测试结果评估

[Charcy-yang]

您好，您这写的很好，我已验证可以运行。
可以请教对测试结果如何评估，我测试出来只有AP 值，请问如何绘制PR 曲线呢？谢谢您

[Stephenfang51]

您好，您这写的很好，我已验证可以运行。
可以请教对测试结果如何评估，我测试出来只有AP 值，请问如何绘制PR 曲线呢？谢谢您

感谢您的称赞 ！

PR曲线的绘制我需要花些时间研究一下， 应该是要改源码才能实现

另外您测速完的pkl档案有包含什么内容吗？ 我手边还没有data可以看

[Stephenfang51]

@Charcy-yang 您好 我已经加您QQ了

[lovewyy]

同问，谢谢！

[Stephenfang51]

同问，谢谢！
目前只能支持 voc 数据集的PR 绘制

如果是coco dataset的话，初步了解mmdetection使用的是pycocotools这个包实践评测的，
可在pycocotools/cocoeval下查找 COCOeval这个函数来修改进行实现PR curve

因为我目前只有VOC的数据集，我会找时间研究一下COCO的 ！

[lovewyy]

感谢回复，想问的就是VOC的

[Stephenfang51]

感谢回复，想问的就是VOC的

将以下的档案放置到mmdetection的指定目录
put voc_eval_visualize.py under /mmdetection/tools/

put mean_ap_visualize.py under mmdetection/mmdet/core/evaluation/

依照以下的步骤执行，

1. make sure voc_eval_visualize.py and mean_ap_visualize.py settled down
2. command as usual like python tools/voc_eval_visualize.py {your pkl file} {your network configs file}

• example python tools/voc_eval_visualize.py result.pkl ./configs/faster_rcnn_r101_fpn_1x.py

3. check the /mmdetection main directory, you will see the PR_curve_each_class.png there， Done !

注意最终图会生成在mmdetection的主目录下

[Ruolingdeng]

@Stephenfang51 请问如何才能生成.pkl文档呢？我训练完只有.json文件和.pth文件，跪求大神指导一下，还有如何导出json文件里面的loss值、precision值和recall值呢？

[Ruolingdeng]

@Stephenfang51 您好，我生成了pkl文件，按您的教程运行 python tools/voc_eval_visualize.py result.pkl ./configs/faster_rcnn_r101_fpn_1x.py 出现ModuleNotFoundError: No module named 'mmdet.core.evaluation.mean_ap_visualize'，我明明已经把mean_ap_visualize.py这个文件放到mmdet/core/evaluation/目录下了，还是出现这样的错误。恳请大神指点一二。

[lijf138]

(mede) ii@ii-Legion-Y7000P-2019:~/mmdetection$ python tools/voc_eval_visualize.py result.pkl ./configs/faster_rcnn_r101_fpn_1x_coco.py
Traceback (most recent call last):
File "tools/voc_eval_visualize.py", line 62, in
main()
File "tools/voc_eval_visualize.py", line 58, in main
voc_eval(args.result, test_dataset, args.iou_thr)
File "tools/voc_eval_visualize.py", line 43, in voc_eval
print_summary=True)
File "/home/ii/mmdetection/mmdet/core/evaluation/mean_ap_visualize.py", line 247, in map_roc_pr
assert len(det_results) == len(gt_bboxes) == len(gt_labels)
AssertionError
请问大神为何会这样？

[xia-xb]

@Stephenfang51 您好，我生成了pkl文件，按您的教程运行 python tools/voc_eval_visualize.py result.pkl ./configs/faster_rcnn_r101_fpn_1x.py 出现ModuleNotFoundError: No module named 'mmdet.core.evaluation.mean_ap_visualize'，我明明已经把mean_ap_visualize.py这个文件放到mmdet/core/evaluation/目录下了，还是出现这样的错误。恳请大神指点一二。

I encountered the same problem, did you solve it and how did you solve it