【论文复现】TaskMatrix

[shiyutang]

问题描述

背景

构建了一个名为Visual ChatGPT的系统，结合了不同的Visual Foundation模型，使用户能够通过1）不仅发送和接收语言，还发送和接收图像2）提供复杂的视觉问题或视觉编辑指令来与ChatGPT进行交互，这些问题或指令需要多个人工智能模型多步骤协作。3） 提供反馈并要求纠正结果。我们设计了一系列提示，将视觉模型信息注入ChatGPT，考虑到多个输入/输出的模型和需要视觉反馈的模型。实验表明，Visual ChatGPT为借助Visual Foundation Models研究ChatGPT的视觉角色打开了大门。
Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models

解决步骤：

1.实现visualChatGPT，并进行相应验证，代码链接。https://github.com/microsoft/TaskMatrix
2.接入开源模型例如chatglm v2或者llama v2，来实现中文版本的Visual ChatGPT，给出使用示例和文档以及UI。提交至https://github.com/PaddlePaddle/PaddleNLP/tree/develop/pipelines/examples/agents

[Evan-master]

我想认领这个

[shiyutang]

好的，请在PaddlePaddle/PaddleOCR#10223 报名，并加我的微信transy-k，拉你进我们的命题任务交流群。