上次尝试了“宝塔面板docker安装deepseek等AI大模型”,发现效果还可以,部署过程简单,响应速度也挺快的。本方案适用于中等偏公开知识库建设方案:基于硅基流动的满血版deepseek R1+anythingLLM知识库管理工具,最后通过服务器实现不同设备访问。有些需要注意的地方如下:

1.服务器内存

测试即便使用了硅基流动api,对服务器内存也要求较高,如公共使用,建议:

密切监控内存使用

确保SWAP正常工作

适当限制并发请求

对于宝塔面板,安装Linux工具设置,标准如下:

服务器宝塔面板部署anythingLLM+硅基流动deepseek

2.服务器端口

确保服务器安全组开放3001端口,tcp/udp

3.anythingLLM设置

选择Generic OpenAI,依次填入:

Base URL:https://api.siliconflow.cn

API Key:自定义key,硅基流动后台获取

Chat Model Name:Pro/deepseek-ai/DeepSeek-R1

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。