|
|
a2547962cf
|
feat: 更新主程序以使用特定关键字和代理进行搜索信息
|
2025-05-30 22:12:11 +08:00 |
|
|
|
5d83b15831
|
fix: 确保代理数据检索中的URL以http://开头
|
2025-05-30 21:49:04 +08:00 |
|
|
|
85b45ac49d
|
fix: 添加睡眠间隔以改善视频数据检索期间的速率限制
|
2025-05-30 20:46:57 +08:00 |
|
|
|
9648f8b3e9
|
fix: 更新代理检索方法，以使用Redis获得更好的可靠性和错误处理
|
2025-05-30 20:42:39 +08:00 |
|
|
|
aab52002e9
|
添加用户代理轮换和更新授权头处理
|
2025-05-30 18:58:26 +08:00 |
|
|
|
8ed1d9d403
|
fix: disable SSL certificate warnings and update proxy fetching method to use fetch_proxies1
|
2025-05-28 22:46:01 +08:00 |
|
|
|
bcab7d1ac1
|
fix: 禁用 SSL 证书验证以解决请求失败问题
|
2025-05-28 21:44:31 +08:00 |
|
|
|
a6e2dfc0da
|
feat: 添加 dailymotion_graphql.pem 证书文件并更新 SSL 验证配置
|
2025-05-28 21:31:52 +08:00 |
|
|
|
50a7b283e0
|
feat: 添加项目配置文件和日志文件以支持新模块的设置
|
2025-05-28 21:05:27 +08:00 |
|
|
|
81412f52fc
|
feat: 添加 fetch_proxies4 方法以从新 API 获取代理 IP，并更新 fetch_proxies 函数以使用新方法
|
2025-05-28 21:03:51 +08:00 |
|
|
|
2004aa0900
|
fix: 使用 logger.exception 替换 logger.info 以记录异常信息
|
2025-05-28 17:26:54 +08:00 |
|
|
|
5169c9250b
|
fix: 修正日志记录格式以正确显示 resinfo 的长度
|
2025-05-28 17:02:01 +08:00 |
|
|
|
b4db51a8e7
|
feat: 引入自定义日志记录器并替换 print 语句为 logger 记录
|
2025-05-28 15:02:57 +08:00 |
|
|
|
9b74bdf312
|
feat: 添加对响应为 None 的处理以增强 main.py 的健壮性
|
2025-05-22 11:46:26 +08:00 |
|
|
|
2d75510c59
|
feat: 添加 _buf_payload 缓冲区以增强 DB.py 的数据处理能力
|
2025-05-21 08:37:18 +08:00 |
|
|
|
1c4823d633
|
feat: 优化视频数据处理逻辑，调整缓冲区大小和刷新策略，增强并发支持
|
2025-05-21 00:55:41 +08:00 |
|
|
|
c33bffa392
|
feat: 增强调试信息，upsert_video 和 get_searchInfo 函数中添加制表符以改善可读性
|
2025-05-21 00:08:44 +08:00 |
|
|
|
aa68179183
|
feat: 增强调试信息，upsert_video 和 get_searchInfo 函数中添加 level 参数
|
2025-05-21 00:06:39 +08:00 |
|
|
|
2484cc8b3d
|
feat: 修改 get_searchInfo 函数，增强调试信息以包含代理名称
|
2025-05-21 00:02:02 +08:00 |
|
|
|
6c78edeacd
|
feat: 添加调试信息以增强 get_searchInfo 函数的可追踪性
|
2025-05-21 00:00:01 +08:00 |
|
|
|
b1e54312ca
|
feat: 添加调试信息以增强数据处理的可追踪性
|
2025-05-20 23:54:24 +08:00 |
|
|
|
82f134fe2f
|
feat: 修改 get_searchInfo 函数，添加代理参数以支持代理请求
|
2025-05-20 23:41:26 +08:00 |
|
|
|
91a1113d51
|
feat: 修改 get_searchInfo 函数，添加代理参数以支持代理请求
|
2025-05-20 23:21:24 +08:00 |
|
|
|
f9e88e98c9
|
feat: 重构数据集成逻辑，支持并行处理和异常回滚机制
|
2025-05-20 23:16:32 +08:00 |
|
|
|
456be9f8c5
|
feat: 优化代理和头部管理，增强请求重试机制
|
2025-05-20 22:59:39 +08:00 |
|
|
|
16c71d5b5b
|
feat: 添加项目配置文件和更新代理设置以支持新功能
|
2025-05-19 22:18:55 +08:00 |
|
|
|
01c3576d6d
|
fix: 优化视频任务处理逻辑，移除冗余代码并确保仅添加有效视频数据
|
2025-05-19 21:45:48 +08:00 |
|
|
|
0d35030f6d
|
fix: 修改 traffic_segment 的生成范围以确保更合理的值并更新 fetch_proxies3 的返回格式
|
2025-05-18 22:59:51 +08:00 |
|
|
|
39d4bc111a
|
fix: 修改 traffic_segment 的生成范围以确保更合理的值并更新 fetch_proxies3 的返回格式
|
2025-05-18 22:00:26 +08:00 |
|
|
|
94c15b8611
|
fix: 在适当位置重新调用 gettoken 方法以确保令牌有效性
|
2025-05-18 21:12:16 +08:00 |
|
|
|
9768acca11
|
fix: 在适当位置重新调用 gettoken 方法以确保令牌有效性
|
2025-05-18 20:58:19 +08:00 |
|
|
|
af3945dbec
|
feat: 添加 fetch_proxies3 方法以增强代理获取功能并更新相关调用
|
2025-05-18 20:49:37 +08:00 |
|
|
|
fad30a1c21
|
fix: 修改视频列表获取逻辑，支持级别 0 的请求以增加最大页数和限制
|
2025-05-18 14:03:30 +08:00 |
|
|
|
1b46a94e7e
|
fix: 修改获取搜索信息的逻辑，支持根据请求级别传递参数
|
2025-05-18 13:36:15 +08:00 |
|
|
|
ac87dfa9c3
|
fix: 移除未使用的导入以清理代码
|
2025-05-18 13:32:06 +08:00 |
|
|
|
e587efcfd4
|
fix: 修改视频列表获取逻辑，支持级别 2 的请求以增加最大页数和限制
|
2025-05-18 12:31:57 +08:00 |
|
|
|
84c6f3afd9
|
fix: 修改搜索信息获取逻辑，增加参数以支持不同级别的请求和视频时长过滤
|
2025-05-17 20:06:15 +08:00 |
|
|
|
69137dd128
|
fix: 更新代理 API URL 和请求参数以适应新的接口和流量段生成
|
2025-05-17 16:51:45 +08:00 |
|
|
|
8e0c99284b
|
fix: 修改代理获取逻辑以使用新的 fetch_proxies2 函数并优化打印信息
|
2025-05-17 14:35:59 +08:00 |
|
|
|
8239dde04c
|
fix: 修改代理获取方法以使用区域代码并更新全局代理字典
|
2025-05-17 12:43:46 +08:00 |
|
|
|
75cf8f7345
|
feat: 添加委托代理检索方法并重构代理处理
|
2025-05-17 11:13:55 +08:00 |
|
|
|
dd90cc3c91
|
feat: 更新视频插入逻辑以包括is_repeat字段并改进代理池为空时的阻塞处理
|
2025-05-17 00:33:55 +08:00 |
|
|
|
14023c3b48
|
feat: 初始化 DailyMotion 分布式爬虫项目
|
2025-05-16 22:16:26 +08:00 |
|
