20 Commits

Author SHA1 Message Date
b5f611f21c refactor: 更新视频队列键名以提高代码可读性,并添加项目配置文件 2025-05-20 21:15:41 +08:00
62184e8ad8 fix: 优化视频数据插入逻辑,使用 ON DUPLICATE KEY 更新现有记录以提高性能 2025-05-20 21:12:15 +08:00
a3a8834df0 feat: 添加视频数据字段并更新数据库查询以支持新数据 2025-05-19 21:54:45 +08:00
64f8ed96a1 fix: 添加 MySQL 重试机制以处理 InterfaceError 并确保连接稳定 2025-05-19 20:59:56 +08:00
3260372edc fix: 修改 item_keyword 方法的默认参数以减少获取的项目数量 2025-05-18 18:54:04 +08:00
1737f87299 feat: 添加 Redis 重试机制以增强连接稳定性 2025-05-18 18:27:00 +08:00
7f60997a58 fix: 修改视频列表获取逻辑,支持级别 2 的请求以增加最大页数和限制 2025-05-18 13:09:19 +08:00
cf74282459 fix: 修改视频列表获取逻辑,支持级别 2 的请求以增加最大页数和限制 2025-05-18 12:49:39 +08:00
2c44e77664 feat: 添加项目配置文件和数据库连接设置,更新.gitignore以排除不必要的文件 2025-05-17 15:37:09 +08:00
f067fba177 fix: 修改属性名称以提高代码可读性并修正回滚逻辑 2025-05-17 15:33:29 +08:00
8e0c99284b fix: 修改代理获取逻辑以使用新的 fetch_proxies2 函数并优化打印信息 2025-05-17 14:35:59 +08:00
e4ae20acb4 fix: 修改视频数据插入逻辑以使用“is_piracy”字段并更新“is_repeat”字段的获取方式 2025-05-17 13:29:25 +08:00
8239dde04c fix: 修改代理获取方法以使用区域代码并更新全局代理字典 2025-05-17 12:43:46 +08:00
fe3a8bea4c fix: 修正代理数据提取逻辑以返回参数字段 2025-05-17 11:51:39 +08:00
78b793b0df fix: 修正代理数据提取逻辑以使用字典格式 2025-05-17 11:44:03 +08:00
d310c8a418 fix: 修正代理数据提取逻辑以使用字典格式 2025-05-17 11:40:43 +08:00
75cf8f7345 feat: 添加委托代理检索方法并重构代理处理 2025-05-17 11:13:55 +08:00
bbb2cf1823 feat: 重构数据库操作以改进错误处理和重试逻辑 2025-05-17 00:57:52 +08:00
dd90cc3c91 feat: 更新视频插入逻辑以包括is_repeat字段并改进代理池为空时的阻塞处理 2025-05-17 00:33:55 +08:00
14023c3b48 feat: 初始化 DailyMotion 分布式爬虫项目 2025-05-16 22:16:26 +08:00