基于llamacpp的Yuanchat.exe使用教程.md

基于llamacpp的 Yuanchat.exe 使用教程

版本对比

推理性能	GGUF格式（C++）	HF格式（Python）	加速比
	9.34 tokens/s	1.21 tokens/s	7.72
内存占用	GGUF格式（C++）	HF格式（Python）	内存比（GGUF/HF）
	~0.4 GB	~8.6 GB	4.65%

效果

1. 配置要求

• 可使用内存：400MB以上
• 系统: windows10/11 64位

2. 软件下载

2.1 百度云盘

链接：https://pan.baidu.com/s/1fVWKNL-GQum4PCsU8YNruQ?pwd=qq4g

本版本只适用于gguf格式模型。

3. 运行YuanChat.exe

YuanChat.exe占用本地的5050端口，如果系统中有其他应用占用了此端口会导致YuanChat.exe启动失败，请使用前确认系统环境。

YuanChat.exe支持两种方式对模型进行加载: 本地模型 和 在线加载（ModelScope）

3.1 在线加载（ModelScope，需要联网）

如果是第一次运行YuanChat.exe，且没有下载过Yuan2-2B的gguf模型，可以选择ModelScope方式进行模型的下载。 Yuan2-2B的gguf模型在ModelScope的路径为：模型地址链接。

打开链接后，点击复制按钮复制模型地址。

复制模型地址到输入框，并填写一个本地目录用于保存模型(下一次启动不用再次下载)

待模型下载完成后，会自动加载，加载完成后即可开始使用

3.2 本地模型

此种方式适用于本地已有下载的模型，复制模型所在目录地址，及模型文件的文件名称，即复制模型文件全路径信息，填写到页面中

本地模型加载完成后，即可开始使用

4. 问题反馈

如果在使用程序过程中有任何问题，欢迎在本项目的issue中进行提问