飞牛NAS本地化docker部署dify打造私有LLMOps平台
Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。
由于 Dify 内置了构建 LLM 应用所需的关键技术栈,包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排,并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间,使其可以专注在创新和业务需求上。
NAS作为私有化的个人数据中心,基本保持不停机的状态并且功耗小,比较适合作为私有化的开发平台载体。本文介绍如何在家庭飞牛NAS上本地化部署dify打造属于自己的私有化LLMOps平台,可以随时随地的通过Dify来构建自己的AI应用。
一、准备工作
1、环境介绍
我的NAS设备为自己组建的小主机,CPU intel i5-9600T,内存32G,装了fnOS作为NAS用。这个配置如果仅仅只是存存相片、文件等还是有点过剩了,所以为了充分发挥迷你主机的效用决定把它打造为私有的LLMOps平台。

2、打开飞牛OS的SSH登录
登录到飞牛OS,在“系统设置”中找到“SSH”,打开SSH功能

3、通过SSH客户端连上NAS主机
打开SSH后就可以通过SSH的客户端工具连到fnOS

二、在飞牛NAS上安装Dify
1、找到Dify的安装源
在github或gitee上找到dify的项目地址 https://github.com/langgenius/dify/ https://gitee.com/dify_ai/dify 在国内访问github比较慢,可以访问gitee上的difyi项目地址。 这里有安装Dify的硬件要求和安装步骤。

2、在飞牛NAS上创建存储目录
在飞牛NAS上创建一个用户clone和安装dify的目录

右键点击dify文件夹,点击“详细信息”。

在详细信息中找到“复制原始路径”,这里复制的原始路径就是该文件夹在fnOS操作系统的实际路径。

3、开始安装Dify
安装Dify需要docker环境,fnOS本身就已经安装好了docker环境,所以可以直接clone后进行安装 通过sudo -i 切换到 root 用户,进入到开始复制的原始路径。

通过git clone https://gitee.com/dify_ai/dify 命令clone项目或者下载提前下载好后上传到自定义的目录,如前面步骤。
进入到dify下的docker目录,将.env.example 复制成.env文件
cd dify/docker
cp .env.example .env.env文件中配置的是dify的一些环境变量,dify默认的web端口是80,为了避免80端口冲突,我们把dify的默认端口改成8080,修改.env的配置文件,将docker输出的Nginx端口改成8080,Nginx的SSL端口改成8443。
EXPOSE_NGINX_PORT=8080
EXPOSE_NGINX_SSL_PORT=8080
然后执行 docker compose up -d 就可以完成dify的安装

安装完成后通过NAS的内网IP就可以访问到dify的初始化界面 http://你的IP:8080/install 通过简单的配置,配置用户名、口令就可以正式使用dify了。

- 感谢你赐予我前进的力量

