首先我们从 DB-GPT官网,可以得到的https://docs.dbgpt.site/docs/latest/quickstart
DB-GPT是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。目的是构建大模型领域的基础设施,通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单,更方便。
数据3.0 时代,基于模型、数据库,企业/开发者可以用更少的代码搭建自己的专属应用

本次 我们通过代理模型方式,使用讯飞星火大模型3.5版本,来进行验证部署。

需要提前将Miniconda环境安装

环境配置

首先根据官方文档说明,下载源码,并配置环境(python >= 3.10)

1
2
3
4
// 拉取源码
git clone https://github.com/eosphoros-ai/DB-GPT.git
// 进入项目目录
cd DB-GPT

创建环境

1
2
3
4
5
6
7
8
// 创建环境
conda create -n dbgpt_env python=3.10
// 激活环境
conda activate dbgpt_env
// 安装依赖
pip install -e ".[default]"
// 复制环境配置文件
cp .env.template .env

文本向量模型配置

在项目目录下,创建一个models文件夹,用来存放模型文件

1
mkdir models and cd models

下载模型,国内访问不了https://huggingface.co/GanymedeNil/text2vec-large-chinese
可以替换为镜像站https://hf-mirror.com/GanymedeNil/text2vec-large-chinese

1
git clone https://hf-mirror.com/GanymedeNil/text2vec-large-chinese

配置星火3.5模型

因为源码中没有3.5的API,需要手动修改一下代码,主要需要修改/DB-GPT/dbgpt/model/proxy/llms/spark.py
直接将3.1改为3.5即可使用

然后在.env文件中 将以下星火相关的配置替换即可

1
2
3
4
5
LLM_MODEL=spark_proxyllm
XUNFEI_SPARK_API_VERSION=v3.5
XUNFEI_SPARK_APPID=xx
XUNFEI_SPARK_API_KEY=xxx
XUNFEI_SPARK_API_SECRET=xxx

启动项目

1
python dbgpt/app/dbgpt_server.py


看到日志输出启动完成,打开浏览器访问http://localhost:5670