49 lines
1.2 KiB
Bash
49 lines
1.2 KiB
Bash
|
#!/bin/bash
|
||
|
|
|
||
|
|
# 激活conda环境
|
||
|
|
source $(conda info --base)/etc/profile.d/conda.sh
|
||
|
|
conda activate ycz_accelerate
|
||
|
|
|
||
|
|
# 设置环境变量以帮助调试
|
||
|
|
export NCCL_DEBUG=INFO
|
||
|
|
export PYTHONFAULTHANDLER=1
|
||
|
|
|
||
|
|
# 方法1: 使用预先配置的accelerate配置文件
|
||
|
|
# accelerate launch --config_file accelerate_config.yaml train_pretrain_accelerate.py \
|
||
|
|
# --epochs 3 \
|
||
|
|
# --batch_size 24 \
|
||
|
|
# --learning_rate 2e-4 \
|
||
|
|
# --dtype bfloat16 \
|
||
|
|
# --accumulation_steps 32 \
|
||
|
|
# --grad_clip 1.0 \
|
||
|
|
# --log_interval 100 \
|
||
|
|
# --save_interval 10000 \
|
||
|
|
# --dim 1024 \
|
||
|
|
# --n_layers 32 \
|
||
|
|
# --max_seq_len 1024 \
|
||
|
|
# --use_flash_attn \
|
||
|
|
# --profile \
|
||
|
|
# --profile_interval 10
|
||
|
|
|
||
|
|
# 方法2: 使用命令行参数直接配置accelerate
|
||
|
|
CUDA_VISIBLE_DEVICES=0,1,2,3 accelerate launch \
|
||
|
|
--multi_gpu \
|
||
|
|
--num_processes=4 \
|
||
|
|
--mixed_precision=bf16 \
|
||
|
|
--main_process_port=29500 \
|
||
|
|
train_pretrain_accelerate.py \
|
||
|
|
--epochs 3 \
|
||
|
|
--batch_size 24 \
|
||
|
|
--learning_rate 2e-4 \
|
||
|
|
--dtype bfloat16 \
|
||
|
|
--accumulation_steps 32 \
|
||
|
|
--grad_clip 1.0 \
|
||
|
|
--log_interval 100 \
|
||
|
|
--save_interval 10000 \
|
||
|
|
--dim 1024 \
|
||
|
|
--n_layers 32 \
|
||
|
|
--max_seq_len 1024 \
|
||
|
|
--use_flash_attn \
|
||
|
|
--profile \
|
||
|
|
--profile_interval 10
|