Minimind/experiment/EXPERIMENT_TEMPLATE.md

实验记录模版 - Experiment [VERSION]

🎯 使用说明:

• 🧑‍🔬 [人类填写] - 实验开始前由人类研究者填写
• 🤖 [AI构建] - 实验构建过程中由AI自动填写
• ✅ [AI完成] - 实验完成后由AI分析填写

---

🧠 AI思考过程

🤖 [AI构建] 实验设计思路

问题分析:

[PROBLEM_ANALYSIS]
- 当前问题: [CURRENT_ISSUES]
- 关键挑战: [KEY_CHALLENGES] 
- 解决思路: [SOLUTION_APPROACH]

参数选择逻辑:

[PARAMETER_REASONING]
- 模型架构选择: [MODEL_CHOICE_REASONING]
- 超参数设定: [HYPERPARAMETER_REASONING]
- 数据配置: [DATA_CONFIG_REASONING]

预期影响评估:

[IMPACT_ASSESSMENT]
- 性能预期: [PERFORMANCE_EXPECTATIONS]
- 资源需求: [RESOURCE_REQUIREMENTS]
- 潜在风险: [POTENTIAL_RISKS]

🤖 [AI构建] 决策推理过程

关键决策点:

1. [DECISION_POINT_1]

   • 选项: [OPTIONS_1]
   • 选择: [CHOICE_1]
   • 理由: [REASONING_1]

2. [DECISION_POINT_2]

   • 选项: [OPTIONS_2]
   • 选择: [CHOICE_2]
   • 理由: [REASONING_2]

3. [DECISION_POINT_3]

   • 选项: [OPTIONS_3]
   • 选择: [CHOICE_3]
   • 理由: [REASONING_3]

权衡考量:

[TRADE_OFF_ANALYSIS]
- 性能 vs 资源: [PERFORMANCE_VS_RESOURCE]
- 稳定性 vs 速度: [STABILITY_VS_SPEED]
- 创新性 vs 风险: [INNOVATION_VS_RISK]

---

📝 Git变更记录

🤖 [AI构建] 代码修改概述

变更概览:

• 修改文件数: [MODIFIED_FILES_COUNT]
• 新增代码行: [ADDED_LINES]
• 删除代码行: [DELETED_LINES]
• 修改类型: [CHANGE_TYPE] (功能增强/Bug修复/参数调优/架构重构)

🤖 [AI构建] 详细变更列表

文件路径	修改类型	修改原因	关键变更
[FILE_PATH_1]	[CHANGE_TYPE_1]	[REASON_1]	[KEY_CHANGES_1]
[FILE_PATH_2]	[CHANGE_TYPE_2]	[REASON_2]	[KEY_CHANGES_2]
[FILE_PATH_3]	[CHANGE_TYPE_3]	[REASON_3]	[KEY_CHANGES_3]

🤖 [AI构建] 关键代码片段

核心修改:

# [DESCRIPTION_OF_CHANGE_1]
[CODE_SNIPPET_1]

# [DESCRIPTION_OF_CHANGE_2]
[CODE_SNIPPET_2]

🤖 [AI构建] 版本对比

与上一版本差异:

• 功能变化: [FUNCTIONAL_CHANGES]
• 性能影响: [PERFORMANCE_IMPACT]
• 兼容性: [COMPATIBILITY_NOTES]
• 依赖变更: [DEPENDENCY_CHANGES]

Git Diff 摘要:

[GIT_DIFF_SUMMARY]

---

📋 实验基本信息

🧑‍🔬 [人类填写] 实验目标

基于实验: [PREVIOUS_EXPERIMENT]

实验目的:

研究假设:

预期结果:

实验重点:

🤖 [AI构建] 实验信息

实验编号: experiment_[VERSION] 创建时间: [TIMESTAMP] 实验脚本: run_file/experiment_[VERSION].sh 输出目录: out/experiment_[VERSION] 实验环境: [ENVIRONMENT_INFO]

---

⚙️ 配置参数

🤖 [AI构建] 模型配置

参数类别	参数名	值	说明
模型架构	dim	[DIM]	模型维度
	n_layers	[N_LAYERS]	Transformer层数
	n_heads	[N_HEADS]	注意力头数
	max_seq_len	[MAX_SEQ_LEN]	最大序列长度
	model_type	[MODEL_TYPE]	模型类型 (model/model_original/model_no_feed)
知识库	knowledge_num	[KNOWLEDGE_NUM]	知识条目数量
	knowledge_length	[KNOWLEDGE_LENGTH]	单条知识长度
	use_moe	[USE_MOE]	是否使用专家混合

🤖 [AI构建] 训练配置

参数类别	参数名	值	说明
训练设置	epochs	[EPOCHS]	训练轮次
	batch_size	[BATCH_SIZE]	批次大小
	accumulation_steps	[ACCUMULATION_STEPS]	梯度累积步数
	learning_rate	[LEARNING_RATE]	学习率
	dtype	[DTYPE]	数据类型
	grad_clip	[GRAD_CLIP]	梯度裁剪
数据路径	data_path	[DATA_PATH]	训练数据路径
	database_init_path	[DATABASE_INIT_PATH]	知识库初始化路径
	cluster_cache_path	[CLUSTER_CACHE_PATH]	聚类缓存路径

🤖 [AI构建] 硬件配置

配置项	值	说明
GPU设置	CUDA_VISIBLE_DEVICES	[CUDA_DEVICES]
	num_processes	[NUM_PROCESSES]
	mixed_precision	[MIXED_PRECISION]
监控	use_swanlab	[USE_SWANLAB]
	swanlab_project	[SWANLAB_PROJECT]

---

🚀 执行记录

🤖 [AI构建] 开始执行

• 开始时间: [START_TIME]
• 命令行:

[COMMAND_LINE]

🤖 [AI构建] 训练进度

阶段	开始时间	结束时间	状态	备注
环境初始化	[INIT_START]	[INIT_END]	[INIT_STATUS]	[INIT_NOTES]
数据加载	[DATA_START]	[DATA_END]	[DATA_STATUS]	[DATA_NOTES]
模型初始化	[MODEL_START]	[MODEL_END]	[MODEL_STATUS]	[MODEL_NOTES]
训练执行	[TRAIN_START]	[TRAIN_END]	[TRAIN_STATUS]	[TRAIN_NOTES]

🤖 [AI构建] 错误日志

[ERROR_LOGS]

---

📊 训练结果

✅ [AI完成] 关键指标

指标	最终值	最佳值	达到轮次	目标值	是否达标
Loss	[FINAL_LOSS]	[BEST_LOSS]	[BEST_LOSS_EPOCH]	[TARGET_LOSS]	[LOSS_ACHIEVED]
困惑度	[FINAL_PPL]	[BEST_PPL]	[BEST_PPL_EPOCH]	[TARGET_PPL]	[PPL_ACHIEVED]
学习率	[FINAL_LR]	-	-	-	-
GPU内存	[FINAL_GPU_MEM]	[PEAK_GPU_MEM]	-	-	[GPU_WITHIN_LIMIT]

✅ [AI完成] 训练曲线分析

Loss收敛情况:

[LOSS_CONVERGENCE_ANALYSIS]

内存使用分析:

[MEMORY_USAGE_ANALYSIS]

训练稳定性:

[TRAINING_STABILITY_ANALYSIS]

✅ [AI完成] 模型质量评估

文本生成样例 (前10个token):

[TEXT_GENERATION_SAMPLES]

生成质量评估:

• 连贯性: [COHERENCE_SCORE]
• 流畅度: [FLUENCY_SCORE]
• 多样性: [DIVERSITY_SCORE]

✅ [AI完成] 与基线对比

模型	Loss	困惑度	生成质量	训练时间	GPU内存
本实验	[CURRENT_LOSS]	[CURRENT_PPL]	[CURRENT_QUALITY]	[CURRENT_TIME]	[CURRENT_MEM]
model_original	[BASELINE_LOSS]	[BASELINE_PPL]	[BASELINE_QUALITY]	[BASELINE_TIME]	[BASELINE_MEM]
提升比例	[LOSS_IMPROVEMENT]	[PPL_IMPROVEMENT]	[QUALITY_IMPROVEMENT]	[TIME_CHANGE]	[MEM_CHANGE]

---

📈 深度分析

✅ [AI完成] 实验发现

主要发现:

1. [FINDING_1]
2. [FINDING_2]
3. [FINDING_3]

异常情况:

• [ANOMALY_1]
• [ANOMALY_2]

性能瓶颈:

• [BOTTLENECK_1]
• [BOTTLENECK_2]

✅ [AI完成] 问题诊断

已知问题:

1. 问题: [PROBLEM_1]

   • 表现: [SYMPTOM_1]
   • 可能原因: [CAUSE_1]
   • 建议方案: [SOLUTION_1]

2. 问题: [PROBLEM_2]

   • 表现: [SYMPTOM_2]
   • 可能原因: [CAUSE_2]
   • 建议方案: [SOLUTION_2]

✅ [AI完成] 改进建议

短期优化 (下个实验):

• [SHORT_TERM_1]
• [SHORT_TERM_2]

中期改进 (未来3-5个实验):

• [MEDIUM_TERM_1]
• [MEDIUM_TERM_2]

长期研究方向:

• [LONG_TERM_1]
• [LONG_TERM_2]

---

🎯 实验结论

✅ [AI完成] 假设验证

假设	验证结果	支撑证据	置信度
[HYPOTHESIS_1]	[RESULT_1]	[EVIDENCE_1]	[CONFIDENCE_1]
[HYPOTHESIS_2]	[RESULT_2]	[EVIDENCE_2]	[CONFIDENCE_2]

✅ [AI完成] 实验评价

目标达成情况: [GOAL_ACHIEVEMENT] / 10 实验成功度: [SUCCESS_RATE] / 10 数据可信度: [DATA_RELIABILITY] / 10

总体结论:

[OVERALL_CONCLUSION]

关键收获:

• [KEY_LEARNING_1]
• [KEY_LEARNING_2]
• [KEY_LEARNING_3]

✅ [AI完成] 后续行动

立即行动:

• [IMMEDIATE_ACTION_1]
• [IMMEDIATE_ACTION_2]

下个实验计划:

• 实验编号: experiment_[NEXT_VERSION]
• 主要改动: [NEXT_EXPERIMENT_CHANGES]
• 预期改进: [NEXT_EXPERIMENT_EXPECTATIONS]

---

📁 文件清单

✅ [AI完成] 生成文件

• 实验脚本: run_file/experiment_[VERSION].sh
• 模型检查点: out/experiment_[VERSION]/checkpoint_*.pt
• 训练日志: out/experiment_[VERSION]/train.log
• SwanLab链接: [SWANLAB_URL]

✅ [AI完成] 实验环境

# 实验环境信息
[ENVIRONMENT_SNAPSHOT]

---

实验完成时间: [COMPLETION_TIME]
审核状态: 🔄 待审核 | ✅ 已审核 | ❌ 需修改
Git提交: 🔄 待提交 | ✅ 已提交 ([COMMIT_HASH])