Skip to content
This repository has been archived by the owner on Feb 10, 2025. It is now read-only.

上下文聊天太贵了,如果能加上一个开关就好了 #378

Closed
somego opened this issue Mar 7, 2023 · 8 comments
Closed

上下文聊天太贵了,如果能加上一个开关就好了 #378

somego opened this issue Mar 7, 2023 · 8 comments

Comments

@somego
Copy link

somego commented Mar 7, 2023

大部分时候可能需要上下文,这样能获得更好的回答。
但是有时候也不需要上下文,这样不需要上下文的如果想省钱,只能每发送一条就new一个新聊天窗口,要不然就会把之前生成的回答也发送了,相当费钱。如果在聊天窗口上有个选项,是否开启上下文,这样不需要上下文聊天时候就关闭这个选项,可以省不少钱😄

或者还有复杂一些的,能自己选择把之前的哪些回答作为上下文发送

@Byz-liu
Copy link

Byz-liu commented Mar 7, 2023

对,以为很便宜,其实一个请求就占了2K-3K个token。

@qimo2020
Copy link

qimo2020 commented Mar 8, 2023

这个支持!

@assassinliujie
Copy link
Contributor

之前生成的回答还会每次重新发送计费么,这玩意计费啥原理来着

@assassinliujie
Copy link
Contributor

我现在每五分钟就有几万个token,不知道问题出在哪

@fierceX
Copy link

fierceX commented Mar 8, 2023

@assassinliujie 是不是有可能被盗刷了

@assassinliujie
Copy link
Contributor

@assassinliujie 是不是有可能被盗刷了

这还真不知道,docker部署的不知道该怎么查看请求日志

@Byz-liu
Copy link

Byz-liu commented Mar 8, 2023

应该不是被刷了,几万个token也就几十次请求,应该就是用的人多了一点,更新一下加个访问密码,应该会好一点。

@Arvintian
Copy link

重写了一下服务端api,做了一个chat会话保持时间机制,和预留tokens数截断上下文的机制,参考https://github.com/Arvintian/chatgpt-web

Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Labels
None yet
Projects
None yet
Development

No branches or pull requests

7 participants