|
|
2d75510c59
|
feat: 添加 _buf_payload 缓冲区以增强 DB.py 的数据处理能力
|
2025-05-21 08:37:18 +08:00 |
|
|
|
1c4823d633
|
feat: 优化视频数据处理逻辑，调整缓冲区大小和刷新策略，增强并发支持
|
2025-05-21 00:55:41 +08:00 |
|
|
|
c33bffa392
|
feat: 增强调试信息，upsert_video 和 get_searchInfo 函数中添加制表符以改善可读性
|
2025-05-21 00:08:44 +08:00 |
|
|
|
aa68179183
|
feat: 增强调试信息，upsert_video 和 get_searchInfo 函数中添加 level 参数
|
2025-05-21 00:06:39 +08:00 |
|
|
|
2484cc8b3d
|
feat: 修改 get_searchInfo 函数，增强调试信息以包含代理名称
|
2025-05-21 00:02:02 +08:00 |
|
|
|
6c78edeacd
|
feat: 添加调试信息以增强 get_searchInfo 函数的可追踪性
|
2025-05-21 00:00:01 +08:00 |
|
|
|
b1e54312ca
|
feat: 添加调试信息以增强数据处理的可追踪性
|
2025-05-20 23:54:24 +08:00 |
|
|
|
82f134fe2f
|
feat: 修改 get_searchInfo 函数，添加代理参数以支持代理请求
|
2025-05-20 23:41:26 +08:00 |
|
|
|
91a1113d51
|
feat: 修改 get_searchInfo 函数，添加代理参数以支持代理请求
|
2025-05-20 23:21:24 +08:00 |
|
|
|
f9e88e98c9
|
feat: 重构数据集成逻辑，支持并行处理和异常回滚机制
|
2025-05-20 23:16:32 +08:00 |
|
|
|
456be9f8c5
|
feat: 优化代理和头部管理，增强请求重试机制
|
2025-05-20 22:59:39 +08:00 |
|
|
|
16c71d5b5b
|
feat: 添加项目配置文件和更新代理设置以支持新功能
|
2025-05-19 22:18:55 +08:00 |
|
|
|
01c3576d6d
|
fix: 优化视频任务处理逻辑，移除冗余代码并确保仅添加有效视频数据
|
2025-05-19 21:45:48 +08:00 |
|
|
|
0d35030f6d
|
fix: 修改 traffic_segment 的生成范围以确保更合理的值并更新 fetch_proxies3 的返回格式
|
2025-05-18 22:59:51 +08:00 |
|
|
|
39d4bc111a
|
fix: 修改 traffic_segment 的生成范围以确保更合理的值并更新 fetch_proxies3 的返回格式
|
2025-05-18 22:00:26 +08:00 |
|
|
|
94c15b8611
|
fix: 在适当位置重新调用 gettoken 方法以确保令牌有效性
|
2025-05-18 21:12:16 +08:00 |
|
|
|
9768acca11
|
fix: 在适当位置重新调用 gettoken 方法以确保令牌有效性
|
2025-05-18 20:58:19 +08:00 |
|
|
|
af3945dbec
|
feat: 添加 fetch_proxies3 方法以增强代理获取功能并更新相关调用
|
2025-05-18 20:49:37 +08:00 |
|
|
|
fad30a1c21
|
fix: 修改视频列表获取逻辑，支持级别 0 的请求以增加最大页数和限制
|
2025-05-18 14:03:30 +08:00 |
|
|
|
1b46a94e7e
|
fix: 修改获取搜索信息的逻辑，支持根据请求级别传递参数
|
2025-05-18 13:36:15 +08:00 |
|
|
|
ac87dfa9c3
|
fix: 移除未使用的导入以清理代码
|
2025-05-18 13:32:06 +08:00 |
|
|
|
e587efcfd4
|
fix: 修改视频列表获取逻辑，支持级别 2 的请求以增加最大页数和限制
|
2025-05-18 12:31:57 +08:00 |
|
|
|
84c6f3afd9
|
fix: 修改搜索信息获取逻辑，增加参数以支持不同级别的请求和视频时长过滤
|
2025-05-17 20:06:15 +08:00 |
|
|
|
69137dd128
|
fix: 更新代理 API URL 和请求参数以适应新的接口和流量段生成
|
2025-05-17 16:51:45 +08:00 |
|
|
|
8e0c99284b
|
fix: 修改代理获取逻辑以使用新的 fetch_proxies2 函数并优化打印信息
|
2025-05-17 14:35:59 +08:00 |
|
|
|
8239dde04c
|
fix: 修改代理获取方法以使用区域代码并更新全局代理字典
|
2025-05-17 12:43:46 +08:00 |
|
|
|
75cf8f7345
|
feat: 添加委托代理检索方法并重构代理处理
|
2025-05-17 11:13:55 +08:00 |
|
|
|
dd90cc3c91
|
feat: 更新视频插入逻辑以包括is_repeat字段并改进代理池为空时的阻塞处理
|
2025-05-17 00:33:55 +08:00 |
|
|
|
14023c3b48
|
feat: 初始化 DailyMotion 分布式爬虫项目
|
2025-05-16 22:16:26 +08:00 |
|
