AGI 之 【Dify】 之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型,实现聊天对话

news/2024/10/18 13:41:30 标签: agi, Dify, Ollama, 大语言模型, llm

Dify%E3%80%91%20%E4%B9%8B%20Dify%20%E5%9C%A8%20Windows%20%E7%AB%AF%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E8%B0%83%E7%94%A8%20Ollama%20%E6%9C%AC%E5%9C%B0%E4%B8%8B%E8%BD%BD%E7%9A%84%E5%A4%A7%E6%A8%A1%E5%9E%8B%EF%BC%8C%E5%AE%9E%E7%8E%B0%E8%81%8A%E5%A4%A9%E5%AF%B9%E8%AF%9D">AGI 之 【Dify】 之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型,实现聊天对话

目录

Dify%E3%80%91%20%E4%B9%8B%20Dify%20%E5%9C%A8%20Windows%20%E7%AB%AF%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E8%B0%83%E7%94%A8%20Ollama%20%E6%9C%AC%E5%9C%B0%E4%B8%8B%E8%BD%BD%E7%9A%84%E5%A4%A7%E6%A8%A1%E5%9E%8B%EF%BC%8C%E5%AE%9E%E7%8E%B0%E8%81%8A%E5%A4%A9%E5%AF%B9%E8%AF%9D-toc" style="margin-left:0px;">AGI 之 【Dify】 之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型,实现聊天对话

一、简单介绍

Ollama%20%E4%B8%8B%E8%BD%BD%E5%AE%89%E8%A3%85-toc" style="margin-left:40px;">二、 Ollama 下载安装

Ollama%20%E4%B8%8B%E8%BD%BD%20LLM%20%E6%A8%A1%E5%9E%8B%EF%BC%8C%E5%B9%B6%E8%BF%90%E8%A1%8C-toc" style="margin-left:40px;">三、Ollama 下载 LLM 模型,并运行

Ollama%20%E6%A8%A1%E5%9E%8B%E5%88%B0%20Dify-toc" style="margin-left:40px;">四、添加本地 Ollama 模型到 Dify

Dify%20%E8%B0%83%E7%94%A8%20Ollama%20%E6%A8%A1%E5%9E%8B%EF%BC%8C%E5%88%9B%E5%BB%BA%E8%81%8A%E5%A4%A9%E5%BA%94%E7%94%A8-toc" style="margin-left:40px;">五、Dify 调用 Ollama 模型,创建聊天应用

附录:其他

Ollama%20%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD%E9%BB%98%E8%AE%A4%E8%B7%AF%E5%BE%84%E5%9C%B0%E5%9D%80-toc" style="margin-left:40px;">一、更改 Ollama 模型下载默认路径地址


一、简单介绍

AGI,即通用人工智能(Artificial General Intelligence),是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务,而且能够理解、学习和应用知识于广泛的问题解决中,具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整,并能在没有人为干预的情况下解决各种复杂问题。

Dify 是一个开源的大语言模型(LLM)应用开发平台,它旨在简化和加速生成式 AI 应用的创建和部署。这个平台结合了后端即服务(Backend as Service, BaaS)和 LLMOps 的理念,为开发者提供了一个用户友好的界面和一系列强大的工具,使他们能够快速搭建生产级的 AI 应用。

Dify 的核心功能包括:

  1. 低代码/无代码开发:通过可视化的方式允许开发者轻松定义 Prompt、上下文和插件等,无需深入底层技术细节。
  2. 模块化设计:采用模块化的设计,每个模块都有清晰的功能和接口,可以根据需求选择性地使用。
  3. 丰富的功能组件:包括 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等,帮助开发者从原型到生产的全过程。
  4. 支持多种大语言模型:已支持 OpenAI GPT 系列等模型,并计划进一步扩展。
  5. 数据处理和特征工程工具:提供了数据清洗、特征选择、特征变换等功能,帮助开发者更好地准备数据。
  6. 集成外部知识源:允许自定义 API 接入外部知识源,让大型语言模型深入理解企业知识和业务。

Dify 提供了四种基于 LLM 构建的应用程序,可以针对不同的应用场景和需求进行优化和定制,包括聊天助手、文本生成、智能代理和工作流程。此外,Dify 还支持从 Notion 导入数据,并设置同步,使得数据在 Notion 更新后便自动同步到 DifyDify 中存在知识库数据集的单独 API,这与他的服务 API 不同,可以单独使用数据集的 API。

Ollama 是一个开源的本地大型语言模型(LLM)运行框架,它旨在简化在本地运行大型语言模型的过程。Ollama 提供了一个简洁易用的命令行界面和服务器,让你能够轻松下载、运行和管理各种开源大型语言模型,如 Llama 3、Mistral、Qwen2 等。

Ollama 的一些主要特点包括:

  1. 开源免费Ollama 及其支持的模型完全开源免费,任何人都可以自由使用、修改和分发。
  2. 简单易用:无需复杂的配置和安装过程,只需几条命令即可启动和运行 Ollama
  3. 模型丰富Ollama 支持多种热门开源大型语言模型,并提供一键下载和切换功能。
  4. 资源占用低:相比于商业大型语言模型,Ollama 对硬件要求更低,即使在普通笔记本电脑上也能流畅运行。
  5. 社区活跃Ollama 拥有庞大且活跃的社区,用户可以轻松获取帮助、分享经验和参与模型开发。

Ollama%20%E4%B8%8B%E8%BD%BD%E5%AE%89%E8%A3%85">二、 Ollama 下载安装

Ollama 官网:https://ollama.com/

1、到官网下载 Ollama ,根据自己的平台选择需要下载的安装包

Ollama 下载地址:https://ollama.com/download

2、下载完之后,双击运行安装即可

3、安装完后,打开 cmd ,输入 ollama 下面表示 Ollama 已经安装号

4、启动了 Ollama ,在 浏览器中输入 指定网址显示 Ollama 正在运行中

网址:http://localhost:11434

Ollama%20%E4%B8%8B%E8%BD%BD%20LLM%20%E6%A8%A1%E5%9E%8B%EF%BC%8C%E5%B9%B6%E8%BF%90%E8%A1%8C">三、Ollama 下载 LLM 模型,并运行

1、在 Ollama Models 搜索需要 LLM 模型

这里是搜索千问 Qwen

2、这里选择 qwen 2.5 的 1.5b 的模型,同时旁边也有 运行的命令

3、在 cmd 中输入上面的命令下载模型并运行

命令:ollama run qwen2.5:1.5b

4、下载成功后,就会可以输入问题进行提问了

Ollama%20%E6%A8%A1%E5%9E%8B%E5%88%B0%20Dify">四、添加本地 Ollama 模型到 Dify

 Dify 本地部署参见:AGI 之 【Dify】 之 使用 Docker 在 Windows 端本地部署 Dify 大语言模型(LLM)应用开发平台

1、登录 本地部署的 Dify,在进入设置

2、在设置中选中“模型供应商”,然后添加 Ollama 模型

3、在 cmd 中查看 Ollama 部署的模型,使用 NAME 已下载的模型名称,用于后面进行添加

命令:ollama list

4、添加模型,设置这里添加 qwen2.5:1.5b 模型,进行相关配置后,保存

5、随后,在模型列表中就可以看到添加的模型

Dify%20%E8%B0%83%E7%94%A8%20Ollama%20%E6%A8%A1%E5%9E%8B%EF%BC%8C%E5%88%9B%E5%BB%BA%E8%81%8A%E5%A4%A9%E5%BA%94%E7%94%A8">五、Dify 调用 Ollama 模型,创建聊天应用

Dify 本地部署参见:AGI 之 【Dify】 之 使用 Docker 在 Windows 端本地部署 Dify 大语言模型(LLM)应用开发平台

1、登录 本地部署的 Dify,点击“创建空白应用”

2、填写应用名称和描述,更加需要更换图标,这里应用类型选中 “聊天助手”,点击创建

3、创建效果如下,得到了一个聊天应用,这里由于目前只有一个模型,默认选择了刚才添加的

4、如果模型多的话,可以根据需要选择需要的模型

5、可以在如图位置,输入问题进行提问

6、还可以发布,运行到网页上

附录:其他

Ollama%20%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD%E9%BB%98%E8%AE%A4%E8%B7%AF%E5%BE%84%E5%9C%B0%E5%9D%80">一、更改 Ollama 模型下载默认路径地址

Ollama 默认模型下载在 C 盘,根据需要更改下载位置哈

1、打开环境变量设置

2、如果没有 OLLAMA_MODELS 环境变量,设置自己需要的路径,确定保存

3、要生效,记得重启一下 Ollama 应用


http://www.niftyadmin.cn/n/5711266.html

相关文章

Unity DOTS中的Archetype与Chunk

Unity DOTS中的Archetype与Chunk 在Unity中,archetype(原型)用来表示一个world里具有相同component类型组合的entity。也就是说,相同component类型的entity在Unity内部会存储到一起,共享同一个archetype。 使用这样的设…

Mac 编译 Unreal 源码版本

Mac M3 Pro、XCode 16.0、Unreal 5.4 流程 分享下我本地操作的全流程和遇到的问题 安装 XCodeGithubDesktop 克隆自己 Fork 的仓库运行 Setup.command运行 GenerateProjectFiles.command 出现警告:Platform Mac is not a valid platform to build. Check that the…

VsCode 如何自定义代码片段(Code Snippet)

前言 在现代前端开发中,提高工作效率是每个开发者的追求。Visual Studio Code(Vscode)作为一款强大的代码编辑器,提供了许多让开发者高效编程的功能,其中自定义代码片段(Code Snippet)便是一个…

http://localhost:8080要求用户输入用户名和密码,解决方法!

我们在Eclipse配置Tomcat,测试Tomcat是否配置完成的时候会遇到这样的问题 解决方法: 方法1、修改Tomcat的配置。找自己安装tomcat的目录,打开conf文件夹,找到server.xml,进行修改。 建议用VS code打开修改方便&#x…

贪心算法简记

一、概念 贪心算法的理念是每步都选择局部最优解,最终得到的全局最优解。 贪心算法的特点是实现起来很容易,运行速度快,得到的结果又与正确结果相当接近。 贪心算法可以认为是一种近似算法 二、一般步骤 (1) 选出当…

【人工智能】实验室GPU资源申请使用

实验室独占实例Ubuntu 20.04 配置 Pytorch GPU 一、换源 1. 备份原来的文件 sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup2. 编辑vi /etc/apt/sources.list文件 vim /etc/apt/sources.list3. 将内容全部替换为下面 # 默认注释了源码镜像以提高 apt update…

如何使用C#实现Padim算法的训练和推理

目录 说明 项目背景 算法实现 预处理模块——图像预处理 主要模块——训练:Resnet层信息提取 主要模块——信息处理,计算Anomaly Map 主要模块——评估 主要模块——评估:门限值的确定 主要模块——推理 写在最后 项目下载链接 说…

软考中级考试入门学习,超详细知识点总结

章节目录 计算机组成与体系结构操作系统基本原理数据库系统计算机网络系统安全分析与设计数据结构与算法基础程序设计语言与语言处理程序基础法律法规多媒体基础软件工程面向对象系统设计 1. 计算机组成与体系结构 重点详细内容知识点总结 数据表示:包括进制转换…