67 Commits

Author SHA1 Message Date
12915c13a5 feat: 添加视频重复检测功能,支持Redis存储视频键 2025-06-02 22:23:44 +08:00
f70a441dd8 fix: 添加异常处理以增强请求稳定性和错误日志记录 2025-06-01 19:42:39 +08:00
b7e8fa4977 fix: 更新item_keyword调用参数以优化任务处理逻辑 2025-06-01 19:30:34 +08:00
1db2bb0418 fix: 更新item_keyword调用参数以优化任务处理逻辑(测试存) 2025-06-01 18:30:24 +08:00
d34be05b6b fix: 调整视频处理间隔时间并更新item_keyword调用参数 2025-06-01 17:06:48 +08:00
035aadb6d2 fix: 移除不必要的统计回滚注释以清理代码 2025-06-01 17:03:59 +08:00
af948c48e6 fix: 移除不必要的统计回滚注释以清理代码 2025-06-01 16:55:26 +08:00
501edbc398 fix: 修正item_keyword调用参数以确保正确获取任务 2025-06-01 16:51:20 +08:00
befa954c9a feat: 添加视频统计字段并更新视频数据处理逻辑 2025-06-01 16:44:18 +08:00
f0fa81da92 refactor: 优化时间处理逻辑,简化datetime使用 2025-06-01 16:13:46 +08:00
3e03f6cd3f fix: 添加视频数据打印以便调试 2025-06-01 16:01:37 +08:00
978a61f49e fix: 修正视频拥有者ID的提取逻辑 2025-06-01 15:58:51 +08:00
6d8dca5e24 refactor: 清理无用代码并优化代理处理逻辑 2025-06-01 15:55:07 +08:00
db440b420a fix: 使用公共api搜素视频 2025-06-01 15:43:16 +08:00
4db01ec6da feat: 优化并发任务处理逻辑以提高搜索效率 2025-05-31 03:43:40 +08:00
4b3a8ce864 feat: 移除SSL验证选项以简化请求配置 2025-05-30 23:11:28 +08:00
d33c37db27 feat: 添加首选国家头以支持代理配置 2025-05-30 22:52:32 +08:00
ae7d23a59e feat: 修改搜索信息获取逻辑以存储返回值并简化后续处理 2025-05-30 22:50:20 +08:00
c1f964feda feat: 修改搜索信息获取逻辑以存储返回值并简化后续处理 2025-05-30 22:49:12 +08:00
2f5febf7fb feat: 重构任务处理逻辑以简化并发执行和结果处理 2025-05-30 22:48:40 +08:00
2c4477aa51 feat: 移除不必要的重定向和SSL验证选项以简化请求配置 2025-05-30 22:42:46 +08:00
5b1c6bc358 feat: 调整分页和限制参数以优化数据检索性能 2025-05-30 22:35:54 +08:00
0468bcea03 feat: 添加代理配置和Redis支持以增强数据检索功能 2025-05-30 22:17:19 +08:00
5cbe612d97 feat: 添加代理配置和Redis支持以增强数据检索功能 2025-05-30 22:13:18 +08:00
a2547962cf feat: 更新主程序以使用特定关键字和代理进行搜索信息 2025-05-30 22:12:11 +08:00
5d83b15831 fix: 确保代理数据检索中的URL以http://开头 2025-05-30 21:49:04 +08:00
85b45ac49d fix: 添加睡眠间隔以改善视频数据检索期间的速率限制 2025-05-30 20:46:57 +08:00
9648f8b3e9 fix: 更新代理检索方法,以使用Redis获得更好的可靠性和错误处理 2025-05-30 20:42:39 +08:00
aab52002e9 添加用户代理轮换和更新授权头处理 2025-05-30 18:58:26 +08:00
8ed1d9d403 fix: disable SSL certificate warnings and update proxy fetching method to use fetch_proxies1 2025-05-28 22:46:01 +08:00
bcab7d1ac1 fix: 禁用 SSL 证书验证以解决请求失败问题 2025-05-28 21:44:31 +08:00
a6e2dfc0da feat: 添加 dailymotion_graphql.pem 证书文件并更新 SSL 验证配置 2025-05-28 21:31:52 +08:00
50a7b283e0 feat: 添加项目配置文件和日志文件以支持新模块的设置 2025-05-28 21:05:27 +08:00
81412f52fc feat: 添加 fetch_proxies4 方法以从新 API 获取代理 IP,并更新 fetch_proxies 函数以使用新方法 2025-05-28 21:03:51 +08:00
2004aa0900 fix: 使用 logger.exception 替换 logger.info 以记录异常信息 2025-05-28 17:26:54 +08:00
5169c9250b fix: 修正日志记录格式以正确显示 resinfo 的长度 2025-05-28 17:02:01 +08:00
b4db51a8e7 feat: 引入自定义日志记录器并替换 print 语句为 logger 记录 2025-05-28 15:02:57 +08:00
9b74bdf312 feat: 添加对响应为 None 的处理以增强 main.py 的健壮性 2025-05-22 11:46:26 +08:00
2d75510c59 feat: 添加 _buf_payload 缓冲区以增强 DB.py 的数据处理能力 2025-05-21 08:37:18 +08:00
1c4823d633 feat: 优化视频数据处理逻辑,调整缓冲区大小和刷新策略,增强并发支持 2025-05-21 00:55:41 +08:00
c33bffa392 feat: 增强调试信息,upsert_video 和 get_searchInfo 函数中添加制表符以改善可读性 2025-05-21 00:08:44 +08:00
aa68179183 feat: 增强调试信息,upsert_video 和 get_searchInfo 函数中添加 level 参数 2025-05-21 00:06:39 +08:00
2484cc8b3d feat: 修改 get_searchInfo 函数,增强调试信息以包含代理名称 2025-05-21 00:02:02 +08:00
6c78edeacd feat: 添加调试信息以增强 get_searchInfo 函数的可追踪性 2025-05-21 00:00:01 +08:00
b1e54312ca feat: 添加调试信息以增强数据处理的可追踪性 2025-05-20 23:54:24 +08:00
82f134fe2f feat: 修改 get_searchInfo 函数,添加代理参数以支持代理请求 2025-05-20 23:41:26 +08:00
91a1113d51 feat: 修改 get_searchInfo 函数,添加代理参数以支持代理请求 2025-05-20 23:21:24 +08:00
f9e88e98c9 feat: 重构数据集成逻辑,支持并行处理和异常回滚机制 2025-05-20 23:16:32 +08:00
456be9f8c5 feat: 优化代理和头部管理,增强请求重试机制 2025-05-20 22:59:39 +08:00
16c71d5b5b feat: 添加项目配置文件和更新代理设置以支持新功能 2025-05-19 22:18:55 +08:00