|
|
3753885781
|
fix: 更新视频处理逻辑以使用唯一键对比，优化数据查询
|
2025-06-01 18:48:16 +08:00 |
|
|
|
45ced06532
|
feat: 添加视频作者表并更新视频数据处理逻辑
|
2025-06-01 18:27:55 +08:00 |
|
|
|
035aadb6d2
|
fix: 移除不必要的统计回滚注释以清理代码
|
2025-06-01 17:03:59 +08:00 |
|
|
|
befa954c9a
|
feat: 添加视频统计字段并更新视频数据处理逻辑
|
2025-06-01 16:44:18 +08:00 |
|
|
|
89ecb07ede
|
feat: 将区域代码转换为大写以确保一致性
|
2025-05-30 22:37:48 +08:00 |
|
|
|
6d5941cd17
|
fix: 确保代理数据检索中的URL以http://开头
|
2025-05-30 20:57:03 +08:00 |
|
|
|
9648f8b3e9
|
fix: 更新代理检索方法，以使用Redis获得更好的可靠性和错误处理
|
2025-05-30 20:42:39 +08:00 |
|
|
|
b4db51a8e7
|
feat: 引入自定义日志记录器并替换 print 语句为 logger 记录
|
2025-05-28 15:02:57 +08:00 |
|
|
|
da374a7ed0
|
feat: 过滤更新参数，只保留 video 表中存在的列
|
2025-05-23 00:07:33 +08:00 |
|
|
|
9d1e2033c7
|
feat: 添加 update_video_stats_async 方法以支持异步更新视频统计信息
|
2025-05-23 00:02:09 +08:00 |
|
|
|
95fed6b6c8
|
feat: 添加 update_video_stats 方法以更新视频统计信息
|
2025-05-22 23:56:38 +08:00 |
|
|
|
217d8c7ed7
|
feat: 优化 DB.py 和 dump_keyword_title.py，增强数据处理和日志记录功能
|
2025-05-22 21:46:11 +08:00 |
|
|
|
e2eb8ab13e
|
feat: 添加 _buf_payload 缓冲区以增强 DB.py 的数据处理能力
|
2025-05-21 01:43:37 +08:00 |
|
|
|
06503422ee
|
feat: 优化 DB.py 代码，简化表定义并增强 upsert_video 方法的调试信息
|
2025-05-21 01:41:32 +08:00 |
|
|
|
9a30c2f86d
|
feat: 移除未使用的 turtledemo.penrose 导入，优化代码整洁性
|
2025-05-21 01:20:17 +08:00 |
|
|
|
4c6725ddde
|
feat: 移除未使用的 turtledemo.penrose 导入，优化代码整洁性
|
2025-05-21 01:19:15 +08:00 |
|
|
|
ab1a2408f6
|
feat: 移除未使用的 turtledemo.penrose 导入，优化代码整洁性
|
2025-05-21 01:13:49 +08:00 |
|
|
|
93bbc4770d
|
feat: 移除未使用的 turtledemo.penrose 导入，优化代码整洁性
|
2025-05-21 01:05:59 +08:00 |
|
|
|
ed73a94a4f
|
feat: 增强 upsert_video 方法，添加缓冲区长度和操作时间的调试信息
|
2025-05-21 01:04:52 +08:00 |
|
|
|
1c4823d633
|
feat: 优化视频数据处理逻辑，调整缓冲区大小和刷新策略，增强并发支持
|
2025-05-21 00:55:41 +08:00 |
|
|
|
bcc4751328
|
feat: 添加视频操作和视频表结构，支持批量插入和更新功能
|
2025-05-21 00:41:44 +08:00 |
|
|
|
c33bffa392
|
feat: 增强调试信息，upsert_video 和 get_searchInfo 函数中添加制表符以改善可读性
|
2025-05-21 00:08:44 +08:00 |
|
|
|
aa68179183
|
feat: 增强调试信息，upsert_video 和 get_searchInfo 函数中添加 level 参数
|
2025-05-21 00:06:39 +08:00 |
|
|
|
b1e54312ca
|
feat: 添加调试信息以增强数据处理的可追踪性
|
2025-05-20 23:54:24 +08:00 |
|
|
|
49c2e1d43c
|
feat: 添加 l0、l1 和 l2 队列的推送方法，优化数据处理流程
|
2025-05-20 21:43:00 +08:00 |
|
|
|
0903a00ed2
|
fix: 优化数据库连接关闭逻辑，确保资源正确释放并处理 Redis 关闭异常
|
2025-05-20 21:39:35 +08:00 |
|
|
|
5ba453fad7
|
feat: 添加 fetch_keyword_title 方法以支持关键词标题的数据库查询
|
2025-05-20 21:35:17 +08:00 |
|
|
|
b54f30c200
|
feat: 添加视频队列键名和回滚逻辑，优化视频处理流程
|
2025-05-20 21:29:11 +08:00 |
|
|
|
b5f611f21c
|
refactor: 更新视频队列键名以提高代码可读性，并添加项目配置文件
|
2025-05-20 21:15:41 +08:00 |
|
|
|
62184e8ad8
|
fix: 优化视频数据插入逻辑，使用 ON DUPLICATE KEY 更新现有记录以提高性能
|
2025-05-20 21:12:15 +08:00 |
|
|
|
a3a8834df0
|
feat: 添加视频数据字段并更新数据库查询以支持新数据
|
2025-05-19 21:54:45 +08:00 |
|
|
|
64f8ed96a1
|
fix: 添加 MySQL 重试机制以处理 InterfaceError 并确保连接稳定
|
2025-05-19 20:59:56 +08:00 |
|
|
|
3260372edc
|
fix: 修改 item_keyword 方法的默认参数以减少获取的项目数量
|
2025-05-18 18:54:04 +08:00 |
|
|
|
1737f87299
|
feat: 添加 Redis 重试机制以增强连接稳定性
|
2025-05-18 18:27:00 +08:00 |
|
|
|
7f60997a58
|
fix: 修改视频列表获取逻辑，支持级别 2 的请求以增加最大页数和限制
|
2025-05-18 13:09:19 +08:00 |
|
|
|
cf74282459
|
fix: 修改视频列表获取逻辑，支持级别 2 的请求以增加最大页数和限制
|
2025-05-18 12:49:39 +08:00 |
|
|
|
2c44e77664
|
feat: 添加项目配置文件和数据库连接设置，更新.gitignore以排除不必要的文件
|
2025-05-17 15:37:09 +08:00 |
|
|
|
f067fba177
|
fix: 修改属性名称以提高代码可读性并修正回滚逻辑
|
2025-05-17 15:33:29 +08:00 |
|
|
|
8e0c99284b
|
fix: 修改代理获取逻辑以使用新的 fetch_proxies2 函数并优化打印信息
|
2025-05-17 14:35:59 +08:00 |
|
|
|
e4ae20acb4
|
fix: 修改视频数据插入逻辑以使用“is_piracy”字段并更新“is_repeat”字段的获取方式
|
2025-05-17 13:29:25 +08:00 |
|
|
|
8239dde04c
|
fix: 修改代理获取方法以使用区域代码并更新全局代理字典
|
2025-05-17 12:43:46 +08:00 |
|
|
|
fe3a8bea4c
|
fix: 修正代理数据提取逻辑以返回参数字段
|
2025-05-17 11:51:39 +08:00 |
|
|
|
78b793b0df
|
fix: 修正代理数据提取逻辑以使用字典格式
|
2025-05-17 11:44:03 +08:00 |
|
|
|
d310c8a418
|
fix: 修正代理数据提取逻辑以使用字典格式
|
2025-05-17 11:40:43 +08:00 |
|
|
|
75cf8f7345
|
feat: 添加委托代理检索方法并重构代理处理
|
2025-05-17 11:13:55 +08:00 |
|
|
|
bbb2cf1823
|
feat: 重构数据库操作以改进错误处理和重试逻辑
|
2025-05-17 00:57:52 +08:00 |
|
|
|
dd90cc3c91
|
feat: 更新视频插入逻辑以包括is_repeat字段并改进代理池为空时的阻塞处理
|
2025-05-17 00:33:55 +08:00 |
|
|
|
14023c3b48
|
feat: 初始化 DailyMotion 分布式爬虫项目
|
2025-05-16 22:16:26 +08:00 |
|
