138 Commits

Author SHA1 Message Date
2c0a55232d feat: using Playwright 2025-06-01 15:01:57 +08:00
30a28d66bb fix: 添加sec-ch-ua头部并优化User-Agent选择逻辑 2025-05-31 07:45:59 +08:00
a20d49a0e2 fix: 添加代理日志输出并重构reCAPTCHA任务的异常处理逻辑 2025-05-31 05:45:03 +08:00
aa302bdb58 fix: 修改reCAPTCHA响应处理以返回gRecaptchaResponse代替token 2025-05-31 05:40:28 +08:00
e89557a289 fix: 更新reCAPTCHA任务类型为ReCaptchaV3TaskProxyLess并调整payload格式 2025-05-31 05:38:04 +08:00
80f81d4dc5 fix: 更新reCAPTCHA配置中的pageAction以适应搜索功能 2025-05-31 05:27:04 +08:00
8470c1f21a refactor: 移除reCAPTCHA任务的异常处理和超时逻辑以简化代码 2025-05-31 05:24:40 +08:00
7c645e93ca fix: 修改日志输出以显示任务ID的响应文本 2025-05-31 05:22:59 +08:00
d068a72a1e fix: 修改日志输出以显示完整的响应对象 2025-05-31 05:22:16 +08:00
44b34b2776 refactor: 清空reCAPTCHA的pageAction以简化配置 2025-05-31 05:21:06 +08:00
6dba440401 fix: 更新reCAPTCHA配置以提高验证成功率 2025-05-31 05:12:41 +08:00
50df0c698c refactor: 注释掉reCAPTCHA相关的pageAction和minScore以简化代码 2025-05-31 05:05:30 +08:00
1936eaea42 fix: 修复搜索URL编码以确保正确处理关键词 2025-05-31 05:01:55 +08:00
7bfd9d8181 fix: 增加最大轮询尝试次数以提高任务结果获取的成功率 2025-05-31 04:54:49 +08:00
3a80b9ce9e refactor: 移除代理参数以简化reCAPTCHA处理逻辑 2025-05-31 04:49:37 +08:00
ef3b223121 fix: 修复获取搜索信息时使用的代理名称 2025-05-31 04:44:00 +08:00
b160abf7cc fix: 格式化代码以提高可读性和一致性 2025-05-31 04:41:37 +08:00
539ccad2f3 feat: 添加并行数据集成逻辑以优化搜索信息获取 2025-05-31 04:40:26 +08:00
4db01ec6da feat: 优化并发任务处理逻辑以提高搜索效率 2025-05-31 03:43:40 +08:00
4b3a8ce864 feat: 移除SSL验证选项以简化请求配置 2025-05-30 23:11:28 +08:00
d33c37db27 feat: 添加首选国家头以支持代理配置 2025-05-30 22:52:32 +08:00
ae7d23a59e feat: 修改搜索信息获取逻辑以存储返回值并简化后续处理 2025-05-30 22:50:20 +08:00
c1f964feda feat: 修改搜索信息获取逻辑以存储返回值并简化后续处理 2025-05-30 22:49:12 +08:00
2f5febf7fb feat: 重构任务处理逻辑以简化并发执行和结果处理 2025-05-30 22:48:40 +08:00
2c4477aa51 feat: 移除不必要的重定向和SSL验证选项以简化请求配置 2025-05-30 22:42:46 +08:00
89ecb07ede feat: 将区域代码转换为大写以确保一致性 2025-05-30 22:37:48 +08:00
5b1c6bc358 feat: 调整分页和限制参数以优化数据检索性能 2025-05-30 22:35:54 +08:00
0468bcea03 feat: 添加代理配置和Redis支持以增强数据检索功能 2025-05-30 22:17:19 +08:00
5cbe612d97 feat: 添加代理配置和Redis支持以增强数据检索功能 2025-05-30 22:13:18 +08:00
a2547962cf feat: 更新主程序以使用特定关键字和代理进行搜索信息 2025-05-30 22:12:11 +08:00
5d83b15831 fix: 确保代理数据检索中的URL以http://开头 2025-05-30 21:49:04 +08:00
6d5941cd17 fix: 确保代理数据检索中的URL以http://开头 2025-05-30 20:57:03 +08:00
85b45ac49d fix: 添加睡眠间隔以改善视频数据检索期间的速率限制 2025-05-30 20:46:57 +08:00
9648f8b3e9 fix: 更新代理检索方法,以使用Redis获得更好的可靠性和错误处理 2025-05-30 20:42:39 +08:00
aab52002e9 添加用户代理轮换和更新授权头处理 2025-05-30 18:58:26 +08:00
8ed1d9d403 fix: disable SSL certificate warnings and update proxy fetching method to use fetch_proxies1 2025-05-28 22:46:01 +08:00
d015dd8266 fix: update proxy fetching method to use fetch_proxies2 in main execution 2025-05-28 22:40:05 +08:00
6f866982a1 fix: update main execution to print fetch_proxies2 output for better visibility 2025-05-28 22:38:40 +08:00
512cad19c9 feat: implement fetch_proxies2 method to retrieve proxy IPs from external API 2025-05-28 22:37:43 +08:00
203eb54d6c fix: 更新 fetch_proxies4 方法以使用 socks5 协议并修正代理 IP 格式 2025-05-28 22:13:54 +08:00
bcab7d1ac1 fix: 禁用 SSL 证书验证以解决请求失败问题 2025-05-28 21:44:31 +08:00
77619787ae fix: 修复 fetch_proxies4 方法调用为 fetch_proxies 以正确获取代理 IP 2025-05-28 21:42:36 +08:00
a6e2dfc0da feat: 添加 dailymotion_graphql.pem 证书文件并更新 SSL 验证配置 2025-05-28 21:31:52 +08:00
50a7b283e0 feat: 添加项目配置文件和日志文件以支持新模块的设置 2025-05-28 21:05:27 +08:00
81412f52fc feat: 添加 fetch_proxies4 方法以从新 API 获取代理 IP,并更新 fetch_proxies 函数以使用新方法 2025-05-28 21:03:51 +08:00
38562aba60 feat: 添加 fetch_proxies4 方法以从新 API 获取代理 IP,并更新 fetch_proxies 函数以使用新方法 2025-05-28 20:57:57 +08:00
2004aa0900 fix: 使用 logger.exception 替换 logger.info 以记录异常信息 2025-05-28 17:26:54 +08:00
5169c9250b fix: 修正日志记录格式以正确显示 resinfo 的长度 2025-05-28 17:02:01 +08:00
b4db51a8e7 feat: 引入自定义日志记录器并替换 print 语句为 logger 记录 2025-05-28 15:02:57 +08:00
68d79c84b0 refactor: 移除未使用的导入以清理代码 2025-05-28 14:34:02 +08:00