上次尝试了“宝塔面板docker安装deepseek等AI大模型”,发现效果还可以,部署过程简单,响应速度也挺快的。本方案适用于中等偏公开知识库建设方案:基于硅基流动的满血版deepseek R1+anythingLLM知识库管理工具,最后通过服务器实现不同设备访问。有些需要注意的地方如下:
1.服务器内存
测试即便使用了硅基流动api,对服务器内存也要求较高,如公共使用,建议:
密切监控内存使用
确保SWAP正常工作
适当限制并发请求
对于宝塔面板,安装Linux工具设置,标准如下:
2.服务器端口
确保服务器安全组开放3001端口,tcp/udp
3.anythingLLM设置
选择Generic OpenAI,依次填入:
Base URL:https://api.siliconflow.cn
API Key:自定义key,硅基流动后台获取
Chat Model Name:Pro/deepseek-ai/DeepSeek-R1
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
评论(0)