Skip to content

Commit

Permalink
'fix'
Browse files Browse the repository at this point in the history
  • Loading branch information
ywlife committed Oct 17, 2019
1 parent afef0f5 commit 04be5ed
Show file tree
Hide file tree
Showing 2 changed files with 18 additions and 8 deletions.
10 changes: 6 additions & 4 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -37,11 +37,13 @@ LFFD-v1|0.910|0.881|0.780
LFFD-v2|0.837|0.835|0.729
CenterFace|0.932|0.921|0.873

> - **RetinaFace-mnet** 是RetinaFace-MobileNet-0.25的简写,来自于非常好的工作[insightface](https://github.com/deepinsight/insightface).
> - **LFFD-v1** 也是很好的工作[LFFD](https://github.com/YonghaoHe/A-Light-and-Fast-Face-Detector-for-Edge-Devices).
> - **RetinaFace-mnet** 是RetinaFace-MobileNet-0.25的简写,来自于非常好的工作[insightface](https://github.com/deepinsight/insightface)
> - **LFFD-v1** 也是很好的工作[LFFD](https://github.com/YonghaoHe/A-Light-and-Fast-Face-Detector-for-Edge-Devices)
> - CenterFace/CenterFace-small的测试方法是MULTI-SCALE,因为训练图像和测试图像尺度的不一致性,多尺度测试才能反应centerface的真实性能。
不过,对于SIO(原图单次推理),CenterFace在val集上也可以达到:92.2% (Easy), 91.1% (Medium) and 78.2% .
> - 关于Evaluation的一些思考:[人脸检测小江湖](evaluation.md)
不过,对于SIO(原图单次推理),CenterFace在val集上也可以达到:92.2% (Easy), 91.1% (Medium) and 78.2% 。
而RetinaFace-mnet在val集上是:89.6% (Easy), 87.1% (Medium) and 68.1%

> - 关于Evaluation的一些思考:[人脸检测小江湖](evaluation.md)
- FDDB的结果:

Expand Down
16 changes: 12 additions & 4 deletions evaluation.md
Original file line number Diff line number Diff line change
Expand Up @@ -18,23 +18,31 @@

- 单尺度原图测试:这是lffd提出的测试方法,也是比较严谨的测试方法,而且对工业界更具有参考意义。

- 单尺度缩放测试:faceboxes将图像放大三倍进行测试。放大三倍后,图像中的人脸变大了,就更容易检测了,性能自然会好一些。而Ultra-Light-Fast-Generic-Face-Detector是将图像不等比例的resize到320*240和640*480进行测试,resize后,图像变小了,人脸也会出现形变。
- 单尺度缩放测试:faceboxes将图像放大三倍进行测试。
而Ultra-Light-Fast-Generic-Face-Detector是将图像不等比例的resize到320**240和640**480进行测试。

#### 实验对比
几乎所有的实验对比都是严谨的,但也有把其他算法测低了的。有以下几种情况:

- 采用paper的数据进行比较:测试方法虽然混乱(存在着各种tricks和差异性),但都是用paper的数据进行对比。测试方法不能统一,那就用各自最好结果进行对比吧,这也是公平的。

- 单尺度原图进行测试比较:这种方法有些不公平,因为训练和测试的图像分辨率是不一样,例如,sfd的训练图像分辨率是640*640*3,而测试图像分辨率大都是1280*720*3,有些不公平。
- 单尺度原图进行测试比较:这种方法有些不公平,因为训练和测试的图像分辨率是不一样,例如,sfd的训练图像分辨率是640**640**3,而测试图像分辨率大都是1280**720**3,有些不公平。

- 单尺度640*480和320*240进行比较:Ultra-Light-Fast-Generic-Face-Detector的实验比较方法。因为这个网络使用的训练图像是缩放到640*480或320*240的,所以对这个尺度的图像比较鲁棒了,而其他算法却不行;所以,这样比较准确性不够。更好的是采用paper的数据或测试方法。
- 单尺度缩放比较:faceboxes将FDDB的图像放大三倍进行测试,放大三倍后,图像中的人脸变大了,就更容易检测了,性能自然会好一些。
而Ultra-Light-Fast-Generic-Face-Detector是针对640**480或320**240的设计的anchor,所以,这样分辨率下准确性比较高。不过这么设计是从工业场景出发,毕竟学术与工业界还是有gap的,大多数忽略了这个细节而已。


#### 总结

针对更好的评测人脸检测的问题,本人进行了以下总结,可供参考:

- 多尺度测试:拿出算法在多尺度下最好结果和别的算法最好结果(一般就是paper上的数据啦)进行pk;

- 单尺度测试:拿出算法在单尺度图像下最好结果和别人单尺度最好的结果进行pk,而不是把别人的算法测低了。
- 单尺度测试:拿出算法在单尺度图像下最好结果和别人单尺度最好的结果进行pk。

对于实际应用场景而言,可以使用Ultra-Light-Fast-Generic-Face-Detector采用的测试比较方法,以判断实际场景下的准确性。

一点思考,写出来与大家交流。


0 comments on commit 04be5ed

Please sign in to comment.