github/DB-GPT
1
0
Fork 0
mirror of https://github.com/csunny/DB-GPT.git synced 2025-09-17 23:18:20 +00:00
Code Issues Packages Projects Releases Wiki Activity

Update: readme

Browse Source
This commit is contained in:
csunny
2023-05-16 19:46:56 +08:00
parent 759c30eb36 67a960efd3
commit bd98a1eb83
2 changed files with 161 additions and 56 deletions
Download Patch File Download Diff File Expand all files Collapse all files

39
README.md
View File

@@ -2,12 +2,12 @@
[English Edition](README.en.md)
## 背景
## DB-GPT 是什么？
随着大模型的发布迭代，大模型变得越来越智能，在使用大模型的过程当中，遇到极大的数据安全与隐私挑战。在利用大模型能力的过程中我们的私密数据跟环境需要掌握自己的手里，完全可控，避免任何的数据隐私泄露以及安全风险。基于此，我们发起了DB-GPT项目，为所有以数据库为基础的场景，构建一套完整的私有大模型解决方案。 此方案因为支持本地部署，所以不仅仅可以应用于独立私有环境，而且还可以根据业务模块独立部署隔离，让大模型的能力绝对私有、安全、可控。
## 愿景
DB-GPT 是一个开源的以数据库为基础的GPT实验项目，使用本地化的GPT大模型与您的数据和环境进行交互，无数据泄露风险，100% 私密，100% 安全。
## 特性一览
目前我们已经发布了多种关键的特性，这里一一列举展示一下当前发布的能力。
@@ -81,7 +81,7 @@ DB-GPT 是一个开源的以数据库为基础的GPT实验项目，使用本地
- TODO
## 架构方案
DB-GPT基于[FastChat](https://github.com/lm-sys/FastChat) 构建大模型运行环境，并提供 vicuna 作为基础的大语言模型。此外，我们通过langchain提供私域知识库问答能力。同时我们支持插件模式, 在设计上原生支持Auto-GPT插件。
DB-GPT基于 [FastChat](https://github.com/lm-sys/FastChat) 构建大模型运行环境，并提供 vicuna 作为基础的大语言模型。此外，我们通过LangChain提供私域知识库问答能力。同时我们支持插件模式, 在设计上原生支持Auto-GPT插件。
整个DB-GPT的架构，如下图所示
@@ -101,7 +101,12 @@ DB-GPT基于[FastChat](https://github.com/lm-sys/FastChat) 构建大模型运行
下面对每个模块也做一些简要的介绍:
### 知识库能力
知识库作为当前用户需求最大的场景，我们原生支持知识库的构建与处理。同时在本项目当中，也提供了多种知识库的管理策略。 如: 1. 默认内置知识库 2. 自定义新增知识库 3. 通过插件能力自抓取构建知识库等多种使用场景。 用户只需要整理好知识文档，即可用我们现有的能力构建大模型所需要的知识库能力。
知识库作为当前用户需求最大的场景，我们原生支持知识库的构建与处理。同时在本项目当中，也提供了多种知识库的管理策略。 如:
1. 默认内置知识库
2. 自定义新增知识库
3. 通过插件能力自抓取构建知识库等多种使用场景。
用户只需要整理好知识文档，即可用我们现有的能力构建大模型所需要的知识库能力。
### 大模型管理能力
在底层大模型接入中，设计了开放的接口，支持对接多种大模型。同时对于接入模型的效果，我们有非常严格的把控与评审机制。对大模型能力上与ChatGPT对比，在准确率上需要满足85%以上的能力对齐。我们用更高的标准筛选模型，是期望在用户使用过程中，可以省去前面繁琐的测试评估环节。
@@ -119,20 +124,18 @@ Agent与插件能力是大模型能否自动化的核心，在本的项目中，
Prompt是与大模型交互过程中非常重要的部分，一定程度上Prompt决定了大模型生成答案的质量与准确性，在本的项目中，我们会根据用户输入与使用场景，自动优化对应的Prompt，让用户使用大语言模型变得更简单、更高效。
### 多端产品界面
TODO: 在终端展示上，我们将提供多端产品界面。包括PC、手机、命令行、slack等多种模式。
TODO: 在终端展示上，我们将提供多端产品界面。包括PC、手机、命令行、Slack等多种模式。
## 安装教程
### 硬件说明
### 1.硬件说明
因为我们的项目在效果上具备ChatGPT 85%以上的能力，因此对硬件有一定的要求。 但总体来说，我们在消费级的显卡上即可完成项目的部署使用，具体部署的硬件说明如下:
```
GPU型号 | 显存大小 | 性能
-------|----------|------------------------------
TRX4090| 24G |可以流畅的进行对话推理，无卡顿
TRX3090| 24G |可以流畅进行对话推理，有卡顿感，但好与V100
V100 | 16G |可以进行对话推理，有明显卡顿
```
### DB-GPT安装
| GPU型号 | 显存大小 | 性能 |
| ------- | -------- | ------------------------------------------ |
| RTX4090 | 24G | 可以流畅的进行对话推理，无卡顿 |
| RTX3090 | 24G | 可以流畅进行对话推理，有卡顿感，但好于V100 |
| V100 | 16G | 可以进行对话推理，有明显卡顿 |
### 2.DB-GPT安装
本项目依赖一个本地的 MySQL 数据库服务，你需要本地安装，推荐直接使用 Docker 安装。
```
@@ -159,10 +162,10 @@ echo "/root/workspace/DB-GPT" > /root/miniconda3/env/dbgpt_env/lib/python3.10/si
### 3. 运行大模型
关于基础模型, 可以根据[vicuna](https://github.com/lm-sys/FastChat/blob/main/README.md#model-weights)合成教程进行合成。
如果此步有困难的同学，也可以直接使用[Hugging Face](https://huggingface.co/)上的模型进行替代. [替代模型](https://huggingface.co/Tribbiani/vicuna-7b)
关于基础模型, 可以根据[Vicuna](https://github.com/lm-sys/FastChat/blob/main/README.md#model-weights)合成教程进行合成。
如果此步有困难的同学，也可以直接使用[此链接](https://huggingface.co/Tribbiani/vicuna-7b)上的模型进行替代。
2. 运行模型服务
运行模型服务
```
cd pilot/server
python llmserver.py
@@ -177,7 +180,7 @@ $ python webserver.py
## 使用说明
我们提供了gradio的用户界面，可以通过我们的用户界面使用DB-GPT， 同时关于我们项目相关的一些代码跟原理介绍，我们也准备了以下几篇参考文章。
我们提供了Gradio的用户界面，可以通过我们的用户界面使用DB-GPT， 同时关于我们项目相关的一些代码跟原理介绍，我们也准备了以下几篇参考文章。
1. [大模型实战系列(1) —— 强强联合Langchain-Vicuna应用实战](https://zhuanlan.zhihu.com/p/628750042)
2. [大模型实战系列(2) —— DB-GPT 阿里云部署指南](https://zhuanlan.zhihu.com/p/629467580)
3. [大模型实战系列(3) —— DB-GPT插件模型原理与使用](https://zhuanlan.zhihu.com/p/629623125)