模型编译推理参考Jupyter脚本:User_guide,脚本中包含了单输入和多输入的示例。也可以使用单独的编译脚本 Single build完成kmodel的编译。
如果在Docker中运行Jupyter脚本,可以参考配置Jupyter lab进行配置。
在执行脚本之前需要根据自身需求修改以下内容:
compile_kmodel
函数中compile_options
,ptq_options
相关信息compile_options
详细信息见CompileOptionsptq_options
详细信息见PTQTensorOptionscompile kmodel single input(multiple inputs)
部分 修改model_path
和dump_path
,用于指定模型路径和编译期间文件生成路径。 修改calib_data
的实现,数据格式见注释。run kmodel(simulate)
部分,修改input_data
的实现,数据格式见注释。
推理结束后,会在 dump_path
路径下生成 kmodel
、输出结果和编译期间的文件。