github/ColossalAI
1
0
Fork 0
mirror of https://github.com/hpcaitech/ColossalAI.git synced 2025-09-01 17:17:05 +00:00
Code Issues Packages Projects Releases Wiki Activity

[doc] put individual plugin explanation in front

Browse Source
This commit is contained in:
Pengtai Xu
2023-09-19 16:27:37 +08:00
parent 10513f203c
commit a04337bfc3
2 changed files with 15 additions and 15 deletions
Download Patch File Download Diff File Expand all files Collapse all files

12
docs/source/zh-Hans/basics/booster_plugins.md
View File

@@ -19,12 +19,6 @@
更多插件即将推出。
## 插件选择
- [Torch DDP 插件](#torch-ddp-插件): 适用于参数少于 20 亿的模型。
- [Torch FSDP 插件](#torch-fsdp-插件) / [Low Level Zero 插件](#low-level-zero-插件): 适用于参数少于 100 亿的模型。
- [Gemini 插件](#gemini-插件): 适合参数超过 100 亿的模型，且跨节点带宽高、中小规模集群（千卡以下）的场景。
- [Hybrid Pararllel 插件](#hybrid-parallel-插件): 适合参数超过 600 亿的模型、超长序列、超大词表等特殊模型，且跨节点带宽低、大规模集群（千卡以上）的场景。
## 插件
### Torch DDP 插件
@@ -93,4 +87,10 @@ Zero-2 不支持局部梯度累积。如果您坚持使用，虽然可以积累
{{ autodoc:colossalai.booster.plugin.HybridParallelPlugin }}
## 插件选择
- [Torch DDP 插件](#torch-ddp-插件): 适用于参数少于 20 亿的模型。
- [Torch FSDP 插件](#torch-fsdp-插件) / [Low Level Zero 插件](#low-level-zero-插件): 适用于参数少于 100 亿的模型。
- [Gemini 插件](#gemini-插件): 适合参数超过 100 亿的模型，且跨节点带宽高、中小规模集群（千卡以下）的场景。
- [Hybrid Pararllel 插件](#hybrid-parallel-插件): 适合参数超过 600 亿的模型、超长序列、超大词表等特殊模型，且跨节点带宽低、大规模集群（千卡以上）的场景。
<!-- doc-test-command: echo -->