图片Normalize可省略提升性能

[linxiaochunsd]

在推理阶段, 图片预处理Normalize占用了大量CPU资源, tensorrt跑推理速度只有使用timing_inference_latency预计的0.5倍.
在网络内有BN的情况下, 可以省略预处理的Normalize. 即在训练时和推理时同时去掉Normalize. 肉眼看性能明显提升, 准召差别不大

[YonghaoHe]

@linxiaochunsd 如果是部署的话，可以把normalize写到onnx里面去，这样就可以让GPU来做这个操作。