diff --git a/pilot/server/vicuna_server.py b/pilot/server/vicuna_server.py index 61a651fe7..6c18f9cc6 100644 --- a/pilot/server/vicuna_server.py +++ b/pilot/server/vicuna_server.py @@ -86,9 +86,9 @@ def api_generate_stream(request: StreamRequest): # model_semaphore = asyncio.Semaphore(LIMIT_MODEL_CONCURRENCY) generator = generate_stream_gate(params) - background_tasks = BackgroundTasks() - background_tasks.add_task(release_model_semaphore) - return StreamingResponse(generator, background=background_tasks) + # background_tasks = BackgroundTasks() + # background_tasks.add_task(release_model_semaphore) + return StreamingResponse(generator) @app.post("/generate") def generate(prompt_request: PromptRequest): diff --git a/pilot/server/webserver.py b/pilot/server/webserver.py index 1a2ea0665..00f71ae3c 100644 --- a/pilot/server/webserver.py +++ b/pilot/server/webserver.py @@ -254,7 +254,7 @@ def build_single_model_ui(): notice_markdown = """ # DB-GPT - [DB-GPT](https://github.com/csunny/DB-GPT) 是一个实验性的开源应用程序,它基于[FastChat](https://github.com/lm-sys/FastChat),并使用vicuna作为基础模型。此外,此程序结合了langchain和llama-index基于现有知识库进行In-Context Learning来对其进行数据库相关知识的增强, 总的来说,它是一个用于数据库的复杂且创新的AI工具。如果您对如何在工作中使用或实施DB-GPT有任何具体问题,请联系我, 我会尽力提供帮助, 同时也欢迎大家参与到项目建设中, 做一些有趣的事情。 + [DB-GPT](https://github.com/csunny/DB-GPT) 是一个实验性的开源应用程序,它基于[FastChat](https://github.com/lm-sys/FastChat),并使用vicuna-13b作为基础模型。此外,此程序结合了langchain和llama-index基于现有知识库进行In-Context Learning来对其进行数据库相关知识的增强。它可以进行SQL生成、SQL诊断、数据库知识问答等一系列的工作。 总的来说,它是一个用于数据库的复杂且创新的AI工具。如果您对如何在工作中使用或实施DB-GPT有任何具体问题,请联系我, 我会尽力提供帮助, 同时也欢迎大家参与到项目建设中, 做一些有趣的事情。 """ learn_more_markdown = """ ### Licence