Merge branch 'pretrain' of http://110.42.53.85:3000/iomgaa/Minimind into pretrain

run_file/experiment_1_4_10.sh

@@ -40,8 +40,8 @@ LOG_FILE="$LOG_DIR/experiment.log"
 # ----------------------------------------------------------------------------
 # 🤖 硬件配置
 # ----------------------------------------------------------------------------
-CUDA_VISIBLE_DEVICES="0,1,2,3"
+CUDA_VISIBLE_DEVICES="0,1"
-NUM_PROCESSES="4"
+NUM_PROCESSES="2"
 MIXED_PRECISION="bf16"
 MAIN_PROCESS_PORT="29500"
 
@@ -66,9 +66,9 @@ DISABLE_DB="false"
 # 🤖 训练超参数
 # ----------------------------------------------------------------------------
 EPOCHS="3"
-EMBEDDING_EPOCH="42"
+EMBEDDING_EPOCH="2"
-BATCH_SIZE="4"          # 🔥 降低批次大小以适应更复杂的计算
+BATCH_SIZE="42"          # 🔥 降低批次大小以适应更复杂的计算
-ACCUMULATION_STEPS="4"  # 🔥 增加累积步数保持有效批次大小
+ACCUMULATION_STEPS="8"  # 🔥 增加累积步数保持有效批次大小
 LEARNING_RATE="2e-4"   # 🔥 适度降低学习率提升稳定性
 DTYPE="bfloat16"
 GRAD_CLIP="1.0"
@@ -80,8 +80,8 @@ SIMILARITY_LOSS_COEF="0.15"   # 🔥 相似度损失系数（核心损失）
 DIVERSITY_LOSS_COEF="0.08"    # 🔥 多样性损失系数（避免候选重复）
 
 # 数据和缓存路径
-DATA_PATH="/home/zym/Code/stable/merged_pretrain.jsonl"
+DATA_PATH="dataset/stable/merged_pretrain.jsonl"
-DATABASE_INIT_PATH="/home/zym/Code/stable/sentence_trex_data.json"
+DATABASE_INIT_PATH="dataset/stable/sentence_trex_data.json"
 CLUSTER_CACHE_PATH="None"  # 禁用聚类缓存
 VAL_DATA_PATH="dataset/stable/eval_data.json"