|
|
42b7b8ad79
|
feat: 优化 DB.py 和 dump_keyword_title.py，增强数据处理和日志记录功能
|
2025-05-22 23:11:24 +08:00 |
|
|
|
217d8c7ed7
|
feat: 优化 DB.py 和 dump_keyword_title.py，增强数据处理和日志记录功能
|
2025-05-22 21:46:11 +08:00 |
|
|
|
9b74bdf312
|
feat: 添加对响应为 None 的处理以增强 main.py 的健壮性
|
2025-05-22 11:46:26 +08:00 |
|
|
|
2d75510c59
|
feat: 添加 _buf_payload 缓冲区以增强 DB.py 的数据处理能力
|
2025-05-21 08:37:18 +08:00 |
|
|
|
b25e3cf5f5
|
feat: 修改 dump_keyword_title.py 中的级别判断，将 level 2 更改为 level 9
|
2025-05-21 02:03:22 +08:00 |
|
|
|
e2eb8ab13e
|
feat: 添加 _buf_payload 缓冲区以增强 DB.py 的数据处理能力
|
2025-05-21 01:43:37 +08:00 |
|
|
|
06503422ee
|
feat: 优化 DB.py 代码，简化表定义并增强 upsert_video 方法的调试信息
|
2025-05-21 01:41:32 +08:00 |
|
|
|
9a30c2f86d
|
feat: 移除未使用的 turtledemo.penrose 导入，优化代码整洁性
|
2025-05-21 01:20:17 +08:00 |
|
|
|
4c6725ddde
|
feat: 移除未使用的 turtledemo.penrose 导入，优化代码整洁性
|
2025-05-21 01:19:15 +08:00 |
|
|
|
ab1a2408f6
|
feat: 移除未使用的 turtledemo.penrose 导入，优化代码整洁性
|
2025-05-21 01:13:49 +08:00 |
|
|
|
93bbc4770d
|
feat: 移除未使用的 turtledemo.penrose 导入，优化代码整洁性
|
2025-05-21 01:05:59 +08:00 |
|
|
|
ed73a94a4f
|
feat: 增强 upsert_video 方法，添加缓冲区长度和操作时间的调试信息
|
2025-05-21 01:04:52 +08:00 |
|
|
|
1c4823d633
|
feat: 优化视频数据处理逻辑，调整缓冲区大小和刷新策略，增强并发支持
|
2025-05-21 00:55:41 +08:00 |
|
|
|
bcc4751328
|
feat: 添加视频操作和视频表结构，支持批量插入和更新功能
|
2025-05-21 00:41:44 +08:00 |
|
|
|
c33bffa392
|
feat: 增强调试信息，upsert_video 和 get_searchInfo 函数中添加制表符以改善可读性
|
2025-05-21 00:08:44 +08:00 |
|
|
|
aa68179183
|
feat: 增强调试信息，upsert_video 和 get_searchInfo 函数中添加 level 参数
|
2025-05-21 00:06:39 +08:00 |
|
|
|
2484cc8b3d
|
feat: 修改 get_searchInfo 函数，增强调试信息以包含代理名称
|
2025-05-21 00:02:02 +08:00 |
|
|
|
6c78edeacd
|
feat: 添加调试信息以增强 get_searchInfo 函数的可追踪性
|
2025-05-21 00:00:01 +08:00 |
|
|
|
b1e54312ca
|
feat: 添加调试信息以增强数据处理的可追踪性
|
2025-05-20 23:54:24 +08:00 |
|
|
|
82f134fe2f
|
feat: 修改 get_searchInfo 函数，添加代理参数以支持代理请求
|
2025-05-20 23:41:26 +08:00 |
|
|
|
91a1113d51
|
feat: 修改 get_searchInfo 函数，添加代理参数以支持代理请求
|
2025-05-20 23:21:24 +08:00 |
|
|
|
f9e88e98c9
|
feat: 重构数据集成逻辑，支持并行处理和异常回滚机制
|
2025-05-20 23:16:32 +08:00 |
|
|
|
456be9f8c5
|
feat: 优化代理和头部管理，增强请求重试机制
|
2025-05-20 22:59:39 +08:00 |
|
|
|
4f3051b100
|
feat: 重构 dump_keyword_title.py，优化数据库查询和数据推送逻辑
|
2025-05-20 22:07:09 +08:00 |
|
|
|
49c2e1d43c
|
feat: 添加 l0、l1 和 l2 队列的推送方法，优化数据处理流程
|
2025-05-20 21:43:00 +08:00 |
|
|
|
0903a00ed2
|
fix: 优化数据库连接关闭逻辑，确保资源正确释放并处理 Redis 关闭异常
|
2025-05-20 21:39:35 +08:00 |
|
|
|
5ba453fad7
|
feat: 添加 fetch_keyword_title 方法以支持关键词标题的数据库查询
|
2025-05-20 21:35:17 +08:00 |
|
|
|
b54f30c200
|
feat: 添加视频队列键名和回滚逻辑，优化视频处理流程
|
2025-05-20 21:29:11 +08:00 |
|
|
|
b5f611f21c
|
refactor: 更新视频队列键名以提高代码可读性，并添加项目配置文件
|
2025-05-20 21:15:41 +08:00 |
|
|
|
62184e8ad8
|
fix: 优化视频数据插入逻辑，使用 ON DUPLICATE KEY 更新现有记录以提高性能
|
2025-05-20 21:12:15 +08:00 |
|
|
|
16c71d5b5b
|
feat: 添加项目配置文件和更新代理设置以支持新功能
|
2025-05-19 22:18:55 +08:00 |
|
|
|
a3a8834df0
|
feat: 添加视频数据字段并更新数据库查询以支持新数据
|
2025-05-19 21:54:45 +08:00 |
|
|
|
01c3576d6d
|
fix: 优化视频任务处理逻辑，移除冗余代码并确保仅添加有效视频数据
|
2025-05-19 21:45:48 +08:00 |
|
|
|
64f8ed96a1
|
fix: 添加 MySQL 重试机制以处理 InterfaceError 并确保连接稳定
|
2025-05-19 20:59:56 +08:00 |
|
|
|
90ad9c28ff
|
fix: 添加更新 is_repeat 字段的功能并修改数据获取函数以支持批次参数
|
2025-05-18 23:54:14 +08:00 |
|
|
|
0a1d4492ee
|
fix: 更新代理获取 URL 以指向新的域名
|
2025-05-18 23:21:41 +08:00 |
|
|
|
6af3cc2b78
|
fix: 修正 fetch_proxies3 调用为 fetch_proxies 以确保正确获取代理
|
2025-05-18 23:02:12 +08:00 |
|
|
|
0d35030f6d
|
fix: 修改 traffic_segment 的生成范围以确保更合理的值并更新 fetch_proxies3 的返回格式
|
2025-05-18 22:59:51 +08:00 |
|
|
|
39d4bc111a
|
fix: 修改 traffic_segment 的生成范围以确保更合理的值并更新 fetch_proxies3 的返回格式
|
2025-05-18 22:00:26 +08:00 |
|
|
|
94c15b8611
|
fix: 在适当位置重新调用 gettoken 方法以确保令牌有效性
|
2025-05-18 21:12:16 +08:00 |
|
|
|
9768acca11
|
fix: 在适当位置重新调用 gettoken 方法以确保令牌有效性
|
2025-05-18 20:58:19 +08:00 |
|
|
|
70eab7a847
|
feat: 添加 fetch_proxies3 方法以增强代理获取功能并更新相关调用
|
2025-05-18 20:51:34 +08:00 |
|
|
|
af3945dbec
|
feat: 添加 fetch_proxies3 方法以增强代理获取功能并更新相关调用
|
2025-05-18 20:49:37 +08:00 |
|
|
|
3260372edc
|
fix: 修改 item_keyword 方法的默认参数以减少获取的项目数量
|
2025-05-18 18:54:04 +08:00 |
|
|
|
1737f87299
|
feat: 添加 Redis 重试机制以增强连接稳定性
|
2025-05-18 18:27:00 +08:00 |
|
|
|
fad30a1c21
|
fix: 修改视频列表获取逻辑，支持级别 0 的请求以增加最大页数和限制
|
2025-05-18 14:03:30 +08:00 |
|
|
|
1b46a94e7e
|
fix: 修改获取搜索信息的逻辑，支持根据请求级别传递参数
|
2025-05-18 13:36:15 +08:00 |
|
|
|
ac87dfa9c3
|
fix: 移除未使用的导入以清理代码
|
2025-05-18 13:32:06 +08:00 |
|
|
|
7c1c5bf5a0
|
feat: 添加重试机制以处理错误记录并写入数据库
|
2025-05-18 13:17:39 +08:00 |
|
|
|
7f60997a58
|
fix: 修改视频列表获取逻辑，支持级别 2 的请求以增加最大页数和限制
|
2025-05-18 13:09:19 +08:00 |
|
