Dify配置大模型,接上一篇Windows 安装Dify
登录Dify 在右上方点击用户头像
弹窗选设置
注意:这里如果很快弹窗安装成功只是排队成功。下载安装需要时间
以场景的本地部署 ollama和LM Studio为例
模型名称:
通过ollama list 查看已经pull的大模型,把列表中的NAME配置过来,例如 deepseek-r1:8b
模型类型:
模型类型一般分为LLM 聊天模型,Text Embedding 嵌入模型,Rerank 检索模型
例如 :
凭据名称:
非必填,不管
基础URL:
也就是ollama接口地址
例如:http://192.168.31.181:11434
注意:如果是Windows + docker 部署的dify,请不要使用localhost,找不到的哈,使用Windows主机的局域网ip。
上下文长度:
默认即可
以上信息配置完成后点击添加即可。
LM Studio 默认搞个gpt-3.5不知道哪里来的,删不掉。
重要提示:
经测试,LM Studio 插件在工作流使用中出现问题,目前无法解决,提代方案使用OpenAI-API-compatible 插件提代(走openai协议),参考Dify OpenAI-API-compatible 使用LM Studio-XQLEE'Blog
https://blog.xqlee.com/article/2509161637111553.html