Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

MegEngine 量化文档内容改进收集 & 追踪 #314

Open
CaoWGG opened this issue Dec 1, 2021 · 4 comments
Open

MegEngine 量化文档内容改进收集 & 追踪 #314

CaoWGG opened this issue Dec 1, 2021 · 4 comments
Assignees
Labels
documentation Improvements or additions to documentation

Comments

@CaoWGG
Copy link
Collaborator

CaoWGG commented Dec 1, 2021

需要添加

  1. 如何创建一个量化的 Tensor
  2. 量化训练时支持哪些量化类型
  3. dump quantized 模型时哪些 op 支持哪些量化类型
@cheekyshibe cheekyshibe added the documentation Improvements or additions to documentation label Dec 1, 2021
@CaoWGG
Copy link
Collaborator Author

CaoWGG commented Jan 10, 2022

量化文档中对 QuantStub 和 DeQuantStub 描述较少,用户非常容易忽略这两个 Module 的重要性(控制哪里量化,哪里不量化的)。

需要在量化文档中增加这两个 Module 的介绍和用法例子(虽然目前文档中给出了 resnet18 的例子链接,但似乎用户并不会点进去看,点进去看也淹没在大段的代码中了)。

@cheekyshibe cheekyshibe changed the title 增加量化训练和推理目前支持的 dtype 类型介绍和用法 MegEngine 量化文档内容改进收集 & 追踪 Jan 10, 2022
@cheekyshibe
Copy link
Contributor

Hi @CaoWGG 这个季度(Q2)有计划整一整 量化 这一整块文档吗?可以拉用户和相关人员先简单交流一下,争取先动起来。

目前收到比较多的吐槽是:量化整个 Model 的情景还是不太常见的,更多时候仅仅需要量化指定类型的 Op 就能取得不错的效果。以及这个 Issue 中已经记录的内容,感觉都是很值得改进的点。好消息是,我们的量化文档目前在 Google 搜索 量化 关键词,也可以取得比较靠前的排名。

@CaoWGG
Copy link
Collaborator Author

CaoWGG commented Apr 6, 2022

@MegChai Q2 有计划扩展 MegEngine 量化模块,并完善量化相关的文档内容。

@cheekyshibe
Copy link
Contributor

  • 混合量化怎么更方便的做,用户是不是要显示的插入量化算子,告诉用户那些op支持多少bit,以及能在哪个平台上inference
  • 怎么定义某些层应该共用量化参数

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
documentation Improvements or additions to documentation
Projects
None yet
Development

No branches or pull requests

2 participants