Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

讨论:traced_module feature 如何更好地被用户感知 #329

Open
cheekyshibe opened this issue Dec 16, 2021 · 3 comments
Open

讨论:traced_module feature 如何更好地被用户感知 #329

cheekyshibe opened this issue Dec 16, 2021 · 3 comments
Assignees

Comments

@cheekyshibe
Copy link
Contributor

Module -> Traced Module (下简称 tm) .tm -> dump .mge -> lite 将作为当前首推的一种训推流程,但目前的文档内容似乎还不足以让已经习惯了 Module -> dump .mge -> lite 流程的用户感知到 tm 的存在。 @CaoWGG 已经基于 tm 文档做了一些改进,但目前整个文档的情景连通性依然不足,其实不应该只依赖修改 tm 文档的内容来完成目标,可能需要对已有的文档内容进行补充拓展,希望在这个 Issue 中讨论具体的做法。

已经感受到的需求:

  • Module 用户指南中,需要提到 tm, 将其视作一种进阶情景
  • 当前的模型保存与加载用户指南中,需要提到 tm, 并显式说明相较原做法的好处
  • dump 用户指南中,需要提到 tm
@cheekyshibe
Copy link
Contributor Author

cheekyshibe commented Dec 16, 2021

疑惑点,“发版” 这个词是否是 模型部署的通用黑话(软件工程、项目管理中确实有这个说法),我第一次听到这个概念的时候觉得很懵逼,而且容易搞混。如果是内部黑话,建议换成更加通用的词汇。

@CaoWGG
Copy link
Collaborator

CaoWGG commented Dec 16, 2021

Module -> Traced Module (下简称 tm) .tm -> dump .mge -> lite 将作为当前首推的一种训推流程,但目前的文档内容似乎还不足以让已经习惯了 Module -> dump .mge -> lite 流程的用户感知到 tm 的存在。 @CaoWGG 已经基于 tm 文档做了一些改进,但目前整个文档的情景连通性依然不足,其实不应该只依赖修改 tm 文档的内容来完成目标,可能需要对已有的文档内容进行补充拓展,希望在这个 Issue 中讨论具体的做法。

已经感受到的需求:

  • Module 用户指南中,需要提到 tm, 将其视作一种进阶情景
  • 当前的模型保存与加载用户指南中,需要提到 tm, 并显式说明相较原做法的好处
  • dump 用户指南中,需要提到 tm
  1. 嗯嗯,Module 部分要介绍一下 TracedModule,明确 TracedModule 和 Module 的区别在于哪。
  2. 保存和加载的时候,感觉需要明确针对不同情况,保存不同的模型。在有源码的环境可以 save module 、state_dict 或 TracedModule,无源码的环境需要 save TracedModule。最终部署可以 dump 为 c++ 模型。
  3. 我理解 jit.trace 和 dump 的输入是一个可以执行的 function 或 module 的一个计算序列,并将这个计算序列转为静态图的 c++ 模型保存。在 TracedModule 本质就是一个 Module 的情况下,感觉无需将 TracedModule 和 Module 分裂的太大???

@xxr3376
Copy link
Member

xxr3376 commented Dec 17, 2021

疑惑点,“发版” 这个词是否是 模型部署的通用黑话(软件工程、项目管理中确实有这个说法),我第一次听到这个概念的时候觉得很懵逼,而且容易搞混。如果是内部黑话,建议换成更加通用的词汇。

@MegChai 我觉得”发版“这个词汇是我们所推荐的最佳应用实践中的一个环节,对应到英语里面就是 release,可以保留(如果需要我们另外写一个名词介绍页面)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants