158 Commits

Author SHA1 Message Date
82f134fe2f feat: 修改 get_searchInfo 函数,添加代理参数以支持代理请求 2025-05-20 23:41:26 +08:00
91a1113d51 feat: 修改 get_searchInfo 函数,添加代理参数以支持代理请求 2025-05-20 23:21:24 +08:00
f9e88e98c9 feat: 重构数据集成逻辑,支持并行处理和异常回滚机制 2025-05-20 23:16:32 +08:00
456be9f8c5 feat: 优化代理和头部管理,增强请求重试机制 2025-05-20 22:59:39 +08:00
4f3051b100 feat: 重构 dump_keyword_title.py,优化数据库查询和数据推送逻辑 2025-05-20 22:07:09 +08:00
49c2e1d43c feat: 添加 l0、l1 和 l2 队列的推送方法,优化数据处理流程 2025-05-20 21:43:00 +08:00
0903a00ed2 fix: 优化数据库连接关闭逻辑,确保资源正确释放并处理 Redis 关闭异常 2025-05-20 21:39:35 +08:00
5ba453fad7 feat: 添加 fetch_keyword_title 方法以支持关键词标题的数据库查询 2025-05-20 21:35:17 +08:00
b54f30c200 feat: 添加视频队列键名和回滚逻辑,优化视频处理流程 2025-05-20 21:29:11 +08:00
b5f611f21c refactor: 更新视频队列键名以提高代码可读性,并添加项目配置文件 2025-05-20 21:15:41 +08:00
62184e8ad8 fix: 优化视频数据插入逻辑,使用 ON DUPLICATE KEY 更新现有记录以提高性能 2025-05-20 21:12:15 +08:00
16c71d5b5b feat: 添加项目配置文件和更新代理设置以支持新功能 2025-05-19 22:18:55 +08:00
a3a8834df0 feat: 添加视频数据字段并更新数据库查询以支持新数据 2025-05-19 21:54:45 +08:00
01c3576d6d fix: 优化视频任务处理逻辑,移除冗余代码并确保仅添加有效视频数据 2025-05-19 21:45:48 +08:00
64f8ed96a1 fix: 添加 MySQL 重试机制以处理 InterfaceError 并确保连接稳定 2025-05-19 20:59:56 +08:00
90ad9c28ff fix: 添加更新 is_repeat 字段的功能并修改数据获取函数以支持批次参数 2025-05-18 23:54:14 +08:00
0a1d4492ee fix: 更新代理获取 URL 以指向新的域名 2025-05-18 23:21:41 +08:00
6af3cc2b78 fix: 修正 fetch_proxies3 调用为 fetch_proxies 以确保正确获取代理 2025-05-18 23:02:12 +08:00
0d35030f6d fix: 修改 traffic_segment 的生成范围以确保更合理的值并更新 fetch_proxies3 的返回格式 2025-05-18 22:59:51 +08:00
39d4bc111a fix: 修改 traffic_segment 的生成范围以确保更合理的值并更新 fetch_proxies3 的返回格式 2025-05-18 22:00:26 +08:00
94c15b8611 fix: 在适当位置重新调用 gettoken 方法以确保令牌有效性 2025-05-18 21:12:16 +08:00
9768acca11 fix: 在适当位置重新调用 gettoken 方法以确保令牌有效性 2025-05-18 20:58:19 +08:00
70eab7a847 feat: 添加 fetch_proxies3 方法以增强代理获取功能并更新相关调用 2025-05-18 20:51:34 +08:00
af3945dbec feat: 添加 fetch_proxies3 方法以增强代理获取功能并更新相关调用 2025-05-18 20:49:37 +08:00
3260372edc fix: 修改 item_keyword 方法的默认参数以减少获取的项目数量 2025-05-18 18:54:04 +08:00
1737f87299 feat: 添加 Redis 重试机制以增强连接稳定性 2025-05-18 18:27:00 +08:00
fad30a1c21 fix: 修改视频列表获取逻辑,支持级别 0 的请求以增加最大页数和限制 2025-05-18 14:03:30 +08:00
1b46a94e7e fix: 修改获取搜索信息的逻辑,支持根据请求级别传递参数 2025-05-18 13:36:15 +08:00
ac87dfa9c3 fix: 移除未使用的导入以清理代码 2025-05-18 13:32:06 +08:00
7c1c5bf5a0 feat: 添加重试机制以处理错误记录并写入数据库 2025-05-18 13:17:39 +08:00
7f60997a58 fix: 修改视频列表获取逻辑,支持级别 2 的请求以增加最大页数和限制 2025-05-18 13:09:19 +08:00
cf74282459 fix: 修改视频列表获取逻辑,支持级别 2 的请求以增加最大页数和限制 2025-05-18 12:49:39 +08:00
e587efcfd4 fix: 修改视频列表获取逻辑,支持级别 2 的请求以增加最大页数和限制 2025-05-18 12:31:57 +08:00
84c6f3afd9 fix: 修改搜索信息获取逻辑,增加参数以支持不同级别的请求和视频时长过滤 2025-05-17 20:06:15 +08:00
69137dd128 fix: 更新代理 API URL 和请求参数以适应新的接口和流量段生成 2025-05-17 16:51:45 +08:00
41a74e7408 fix: 更新代理请求参数以使用新的认证方式并修复返回格式 2025-05-17 16:25:47 +08:00
eb5f8bf1d0 fix: 更新代理 API URL 和请求参数以适应新的接口 2025-05-17 16:11:13 +08:00
2c44e77664 feat: 添加项目配置文件和数据库连接设置,更新.gitignore以排除不必要的文件 2025-05-17 15:37:09 +08:00
f067fba177 fix: 修改属性名称以提高代码可读性并修正回滚逻辑 2025-05-17 15:33:29 +08:00
eacc30979c fix: 修改代理获取逻辑以使用新的 fetch_proxies2 函数并优化打印信息 2025-05-17 14:39:56 +08:00
7804bcfebd Merge remote-tracking branch 'origin/main' 2025-05-17 14:36:16 +08:00
8e0c99284b fix: 修改代理获取逻辑以使用新的 fetch_proxies2 函数并优化打印信息 2025-05-17 14:35:59 +08:00
a75a5a5396 fix: 添加“is_repeat”字段的默认值设置为3 2025-05-17 13:46:45 +08:00
e4ae20acb4 fix: 修改视频数据插入逻辑以使用“is_piracy”字段并更新“is_repeat”字段的获取方式 2025-05-17 13:29:25 +08:00
8239dde04c fix: 修改代理获取方法以使用区域代码并更新全局代理字典 2025-05-17 12:43:46 +08:00
fe3a8bea4c fix: 修正代理数据提取逻辑以返回参数字段 2025-05-17 11:51:39 +08:00
78b793b0df fix: 修正代理数据提取逻辑以使用字典格式 2025-05-17 11:44:03 +08:00
d310c8a418 fix: 修正代理数据提取逻辑以使用字典格式 2025-05-17 11:40:43 +08:00
7822ef9943 feat: 更新代理API URL及请求参数格式 2025-05-17 11:24:15 +08:00
75cf8f7345 feat: 添加委托代理检索方法并重构代理处理 2025-05-17 11:13:55 +08:00