42 Commits

Author SHA1 Message Date
0a1d4492ee fix: 更新代理获取 URL 以指向新的域名 2025-05-18 23:21:41 +08:00
6af3cc2b78 fix: 修正 fetch_proxies3 调用为 fetch_proxies 以确保正确获取代理 2025-05-18 23:02:12 +08:00
0d35030f6d fix: 修改 traffic_segment 的生成范围以确保更合理的值并更新 fetch_proxies3 的返回格式 2025-05-18 22:59:51 +08:00
39d4bc111a fix: 修改 traffic_segment 的生成范围以确保更合理的值并更新 fetch_proxies3 的返回格式 2025-05-18 22:00:26 +08:00
94c15b8611 fix: 在适当位置重新调用 gettoken 方法以确保令牌有效性 2025-05-18 21:12:16 +08:00
9768acca11 fix: 在适当位置重新调用 gettoken 方法以确保令牌有效性 2025-05-18 20:58:19 +08:00
70eab7a847 feat: 添加 fetch_proxies3 方法以增强代理获取功能并更新相关调用 2025-05-18 20:51:34 +08:00
af3945dbec feat: 添加 fetch_proxies3 方法以增强代理获取功能并更新相关调用 2025-05-18 20:49:37 +08:00
3260372edc fix: 修改 item_keyword 方法的默认参数以减少获取的项目数量 2025-05-18 18:54:04 +08:00
1737f87299 feat: 添加 Redis 重试机制以增强连接稳定性 2025-05-18 18:27:00 +08:00
fad30a1c21 fix: 修改视频列表获取逻辑,支持级别 0 的请求以增加最大页数和限制 2025-05-18 14:03:30 +08:00
1b46a94e7e fix: 修改获取搜索信息的逻辑,支持根据请求级别传递参数 2025-05-18 13:36:15 +08:00
ac87dfa9c3 fix: 移除未使用的导入以清理代码 2025-05-18 13:32:06 +08:00
7c1c5bf5a0 feat: 添加重试机制以处理错误记录并写入数据库 2025-05-18 13:17:39 +08:00
7f60997a58 fix: 修改视频列表获取逻辑,支持级别 2 的请求以增加最大页数和限制 2025-05-18 13:09:19 +08:00
cf74282459 fix: 修改视频列表获取逻辑,支持级别 2 的请求以增加最大页数和限制 2025-05-18 12:49:39 +08:00
e587efcfd4 fix: 修改视频列表获取逻辑,支持级别 2 的请求以增加最大页数和限制 2025-05-18 12:31:57 +08:00
84c6f3afd9 fix: 修改搜索信息获取逻辑,增加参数以支持不同级别的请求和视频时长过滤 2025-05-17 20:06:15 +08:00
69137dd128 fix: 更新代理 API URL 和请求参数以适应新的接口和流量段生成 2025-05-17 16:51:45 +08:00
41a74e7408 fix: 更新代理请求参数以使用新的认证方式并修复返回格式 2025-05-17 16:25:47 +08:00
eb5f8bf1d0 fix: 更新代理 API URL 和请求参数以适应新的接口 2025-05-17 16:11:13 +08:00
2c44e77664 feat: 添加项目配置文件和数据库连接设置,更新.gitignore以排除不必要的文件 2025-05-17 15:37:09 +08:00
f067fba177 fix: 修改属性名称以提高代码可读性并修正回滚逻辑 2025-05-17 15:33:29 +08:00
eacc30979c fix: 修改代理获取逻辑以使用新的 fetch_proxies2 函数并优化打印信息 2025-05-17 14:39:56 +08:00
7804bcfebd Merge remote-tracking branch 'origin/main' 2025-05-17 14:36:16 +08:00
8e0c99284b fix: 修改代理获取逻辑以使用新的 fetch_proxies2 函数并优化打印信息 2025-05-17 14:35:59 +08:00
a75a5a5396 fix: 添加“is_repeat”字段的默认值设置为3 2025-05-17 13:46:45 +08:00
e4ae20acb4 fix: 修改视频数据插入逻辑以使用“is_piracy”字段并更新“is_repeat”字段的获取方式 2025-05-17 13:29:25 +08:00
8239dde04c fix: 修改代理获取方法以使用区域代码并更新全局代理字典 2025-05-17 12:43:46 +08:00
fe3a8bea4c fix: 修正代理数据提取逻辑以返回参数字段 2025-05-17 11:51:39 +08:00
78b793b0df fix: 修正代理数据提取逻辑以使用字典格式 2025-05-17 11:44:03 +08:00
d310c8a418 fix: 修正代理数据提取逻辑以使用字典格式 2025-05-17 11:40:43 +08:00
7822ef9943 feat: 更新代理API URL及请求参数格式 2025-05-17 11:24:15 +08:00
75cf8f7345 feat: 添加委托代理检索方法并重构代理处理 2025-05-17 11:13:55 +08:00
af14e27e4c feat: 导出修改 2025-05-17 02:36:41 +08:00
e258e19949 feat: 代理域名 2025-05-17 01:54:29 +08:00
f467a3715e feat: 代理传参 2025-05-17 01:36:53 +08:00
8503accfd1 feat: 代理传参 2025-05-17 01:25:54 +08:00
bbb2cf1823 feat: 重构数据库操作以改进错误处理和重试逻辑 2025-05-17 00:57:52 +08:00
dd90cc3c91 feat: 更新视频插入逻辑以包括is_repeat字段并改进代理池为空时的阻塞处理 2025-05-17 00:33:55 +08:00
12bbd2340b chore: remove .idea directory and ignore it 2025-05-16 22:37:19 +08:00
14023c3b48 feat: 初始化 DailyMotion 分布式爬虫项目 2025-05-16 22:16:26 +08:00