FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！
2.1 模型部署
安装glm-4-9b-chat
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。 除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能
编辑trans_cli_demo.py，将MODEL_PATH指向模型所在路径
启动命令行调试
启动API
2.2 启动m3e模型
非常棒的中文开源embedding项目，收集和整理了较多的中文高质量数据集，uniem也是一个不错的框架
m3e接口地址：ip:6008
默认api_key: sk-aaabbbcccdddeeefffggghhhiiijjjkkk
2.3 配置one-api
通过标准的 OpenAI API 格式聚合各种大模型，开箱即用 。
基于docker运行one-api
访问ip:3000登录系统，初始账号密码root/123456
在one-api中添加chatglm3渠道
-
类型：自定义渠道。
-
名称：chatglm4-9b-chat
-
模型名称可以自定义：chatglm4-9b-chat
-
密钥随便填：sk-aaabbbcccdddeeefffggghhhiiijjjkkk
-
代理地址填入 ChatGLM4-9B-chat 的 API 地址，此处我填的本地地址（注意：本地调试不能填127.0.0.1，需要填写ipv4地址，可以通过ip -a命令查看）
点击渠道，返回测试成功，说明配置成功
在one-api中添加m3e渠道
-
类型：自定义渠道。
-
名称：m3e
-
模型名称可以自定义：m3e
-
密钥随便填：sk-aaabbbcccdddeeefffggghhhiiijjjkkk (默认）
-
代理地址填入m3e的 API 地址，此处我填的本地地址（注意：本地调试不能填127.0.0.1，需要填写ipv4地址，可以通过ip -a命令查看）
点击测试，返回以下结果说明配置成功
-
点击令牌，添加新令牌名称：fastGPT
-
过期时间：永不过期
-
取消无限额度：设置成取消无限额度
配置完成之后提交，点击复制ChatGPT Next Web
2.4 FastGPT
拉取配置文件
修改 docker-compose.yml 配置文件
因为one-api占用了本机的3000端口，所有修改映射到本地的端口为3020，默认映射端口为3000
对应上篇文章的操作保存的令牌，修改docker-compose.yml中的DEFAULT_ROOT_PSW（fastGPT默认密码）、OPENAI_base_URL（API 接口的地址，需要加/v1）和CHAT_API_KEY（API 接口的凭证）参数。localhost换成ipv4地址，key换成生成的令牌
修改config.json配置文件
在chatModels、qaModels、cqModels、extractModels模块中添加chatglm-9b-chat模型配置（模型名称是在one-api中创建的,以上配置仅供参考），在qaModels、cqModels、vectorModels模块中添加m3e模型配置
2.4.1 启动FastGPT
2.4.2 工作流编排
通过“应用”---“高级编排”功能，进行自定义Rag工作流
设置知识库Embedding模型和LLM模型