|
|
8d6d217c2f
|
fix: 优化论文爬取功能
- papers_crawler.py: 优化CSV下载参数默认值为"yes"，提升用户体验
- src/crawler.py:
* 修复摘要字段换行符处理，确保数据清洁性
* 增强MedRxiv PDF链接获取策略，支持多种URL格式和版本号
|
2025-08-24 15:07:34 +08:00 |
|
|
|
41e5fd1543
|
feat: 实现PDF下载功能
- 新增 download_pdfs_from_csv() 方法支持从CSV文件批量下载论文PDF
- 支持ArXiv和MedRxiv两种数据源的PDF链接解析和下载
- 实现并发下载控制、失败重试机制和PDF完整性验证
- 添加实时下载进度显示和详细的错误日志记录
- 更新命令行参数支持PDF下载测试功能
- 清理临时文件和更新.gitignore规则
|
2025-08-23 19:42:47 +08:00 |
|
|
|
27398dc890
|
feat: 实现论文爬取核心功能
- 新增src/crawler.py模块，实现PaperCrawler类
- 更新papers_crawler.py主文件，集成实际爬取逻辑
- 添加requests依赖支持HTTP请求
- 更新依赖锁定文件uv.lock
|
2025-08-23 16:33:36 +08:00 |
|
|
|
2b8cdaf742
|
feat: 添加论文爬取功能主文件
- 新增papers_crawler.py作为论文爬取主文件
- 实现论文信息获取和处理的核心功能
- 支持项目架构中定义的论文爬取需求
|
2025-08-23 12:28:45 +08:00 |
|
