kali/DailyMotion
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Commit Graph

  • 38562aba60 feat: 添加 fetch_proxies4 方法以从新 API 获取代理 IP，并更新 fetch_proxies 函数以使用新方法 Franklin-F 2025-05-28 20:57:57 +08:00
  • 2004aa0900 fix: 使用 logger.exception 替换 logger.info 以记录异常信息 Franklin-F 2025-05-28 17:26:54 +08:00
  • 5169c9250b fix: 修正日志记录格式以正确显示 resinfo 的长度 Franklin-F 2025-05-28 17:02:01 +08:00
  • b4db51a8e7 feat: 引入自定义日志记录器并替换 print 语句为 logger 记录 Franklin-F 2025-05-28 15:02:57 +08:00
  • 68d79c84b0 refactor: 移除未使用的导入以清理代码 Franklin-F 2025-05-28 14:34:02 +08:00
  • cdc1bede9e feat: 添加 fetch_proxies1 方法以从新 API 获取代理 IP Franklin-F 2025-05-28 14:30:06 +08:00
  • d26828449b feat: 更新 get_videoInfo 方法以支持代理和自定义头部 Franklin-F 2025-05-23 00:09:42 +08:00
  • da374a7ed0 feat: 过滤更新参数，只保留 video 表中存在的列 Franklin-F 2025-05-23 00:07:33 +08:00
  • c46f4d9b83 feat: 更新 flask_app.py 以使用异步方法更新视频统计信息 Franklin-F 2025-05-23 00:03:04 +08:00
  • 9d1e2033c7 feat: 添加 update_video_stats_async 方法以支持异步更新视频统计信息 Franklin-F 2025-05-23 00:02:09 +08:00
  • 95fed6b6c8 feat: 添加 update_video_stats 方法以更新视频统计信息 Franklin-F 2025-05-22 23:56:38 +08:00
  • f17ff34563 feat: 更新 flask_app.py 以使用代理代码获取视频信息，并添加项目配置文件 Franklin-F 2025-05-22 23:38:10 +08:00
  • 402307d36a feat: 增加调试信息，输出获取 token 和视频信息的参数及结果 Franklin-F 2025-05-22 23:32:25 +08:00
  • 6804164034 fix: 修正导入语句，将 random 模块的导入方式更改为从 random 导入 Franklin-F 2025-05-22 23:22:08 +08:00
  • aa8b38b075 fix: 修正导入语句，将 random 模块的导入方式更改为从 random 导入 Franklin-F 2025-05-22 23:21:02 +08:00
  • 66ee7bf924 fix: 修正文件名拼写错误，将 flasl_app.py 更名为 flask_app.py Franklin-F 2025-05-22 23:15:45 +08:00
  • 42b7b8ad79 feat: 优化 DB.py 和 dump_keyword_title.py，增强数据处理和日志记录功能 Franklin-F 2025-05-22 23:11:24 +08:00
  • 217d8c7ed7 feat: 优化 DB.py 和 dump_keyword_title.py，增强数据处理和日志记录功能 Franklin-F 2025-05-22 21:46:11 +08:00
  • 9b74bdf312 feat: 添加对响应为 None 的处理以增强 main.py 的健壮性 Franklin-F 2025-05-22 11:46:26 +08:00
  • 2d75510c59 feat: 添加 _buf_payload 缓冲区以增强 DB.py 的数据处理能力 Franklin-F 2025-05-21 08:37:18 +08:00
  • b25e3cf5f5 feat: 修改 dump_keyword_title.py 中的级别判断，将 level 2 更改为 level 9 Franklin-F 2025-05-21 02:03:22 +08:00
  • e2eb8ab13e feat: 添加 _buf_payload 缓冲区以增强 DB.py 的数据处理能力 Franklin-F 2025-05-21 01:43:37 +08:00
  • 06503422ee feat: 优化 DB.py 代码，简化表定义并增强 upsert_video 方法的调试信息 Franklin-F 2025-05-21 01:41:32 +08:00
  • 9a30c2f86d feat: 移除未使用的 turtledemo.penrose 导入，优化代码整洁性 Franklin-F 2025-05-21 01:20:17 +08:00
  • 4c6725ddde feat: 移除未使用的 turtledemo.penrose 导入，优化代码整洁性 Franklin-F 2025-05-21 01:19:15 +08:00
  • ab1a2408f6 feat: 移除未使用的 turtledemo.penrose 导入，优化代码整洁性 Franklin-F 2025-05-21 01:13:49 +08:00
  • 93bbc4770d feat: 移除未使用的 turtledemo.penrose 导入，优化代码整洁性 Franklin-F 2025-05-21 01:05:59 +08:00
  • ed73a94a4f feat: 增强 upsert_video 方法，添加缓冲区长度和操作时间的调试信息 Franklin-F 2025-05-21 01:04:52 +08:00
  • 1c4823d633 feat: 优化视频数据处理逻辑，调整缓冲区大小和刷新策略，增强并发支持 Franklin-F 2025-05-21 00:55:41 +08:00
  • bcc4751328 feat: 添加视频操作和视频表结构，支持批量插入和更新功能 Franklin-F 2025-05-21 00:41:44 +08:00
  • c33bffa392 feat: 增强调试信息，upsert_video 和 get_searchInfo 函数中添加制表符以改善可读性 Franklin-F 2025-05-21 00:08:44 +08:00
  • aa68179183 feat: 增强调试信息，upsert_video 和 get_searchInfo 函数中添加 level 参数 Franklin-F 2025-05-21 00:06:39 +08:00
  • 2484cc8b3d feat: 修改 get_searchInfo 函数，增强调试信息以包含代理名称 Franklin-F 2025-05-21 00:02:02 +08:00
  • 6c78edeacd feat: 添加调试信息以增强 get_searchInfo 函数的可追踪性 Franklin-F 2025-05-21 00:00:01 +08:00
  • b1e54312ca feat: 添加调试信息以增强数据处理的可追踪性 Franklin-F 2025-05-20 23:54:24 +08:00
  • 82f134fe2f feat: 修改 get_searchInfo 函数，添加代理参数以支持代理请求 Franklin-F 2025-05-20 23:41:26 +08:00
  • 91a1113d51 feat: 修改 get_searchInfo 函数，添加代理参数以支持代理请求 Franklin-F 2025-05-20 23:21:24 +08:00
  • f9e88e98c9 feat: 重构数据集成逻辑，支持并行处理和异常回滚机制 Franklin-F 2025-05-20 23:16:32 +08:00
  • 456be9f8c5 feat: 优化代理和头部管理，增强请求重试机制 Franklin-F 2025-05-20 22:59:39 +08:00
  • 4f3051b100 feat: 重构 dump_keyword_title.py，优化数据库查询和数据推送逻辑 Franklin-F 2025-05-20 22:07:09 +08:00
  • 49c2e1d43c feat: 添加 l0、l1 和 l2 队列的推送方法，优化数据处理流程 Franklin-F 2025-05-20 21:43:00 +08:00
  • 0903a00ed2 fix: 优化数据库连接关闭逻辑，确保资源正确释放并处理 Redis 关闭异常 Franklin-F 2025-05-20 21:39:35 +08:00
  • 5ba453fad7 feat: 添加 fetch_keyword_title 方法以支持关键词标题的数据库查询 Franklin-F 2025-05-20 21:35:17 +08:00
  • b54f30c200 feat: 添加视频队列键名和回滚逻辑，优化视频处理流程 Franklin-F 2025-05-20 21:29:11 +08:00
  • b5f611f21c refactor: 更新视频队列键名以提高代码可读性，并添加项目配置文件 Franklin-F 2025-05-20 21:15:41 +08:00
  • 62184e8ad8 fix: 优化视频数据插入逻辑，使用 ON DUPLICATE KEY 更新现有记录以提高性能 Franklin-F 2025-05-20 21:12:15 +08:00
  • 16c71d5b5b feat: 添加项目配置文件和更新代理设置以支持新功能 Franklin-F 2025-05-19 22:18:55 +08:00
  • a3a8834df0 feat: 添加视频数据字段并更新数据库查询以支持新数据 Franklin-F 2025-05-19 21:54:45 +08:00
  • 01c3576d6d fix: 优化视频任务处理逻辑，移除冗余代码并确保仅添加有效视频数据 Franklin-F 2025-05-19 21:45:48 +08:00
  • 64f8ed96a1 fix: 添加 MySQL 重试机制以处理 InterfaceError 并确保连接稳定 Franklin-F 2025-05-19 20:59:56 +08:00
  • 90ad9c28ff fix: 添加更新 is_repeat 字段的功能并修改数据获取函数以支持批次参数 Franklin-F 2025-05-18 23:54:14 +08:00
  • 0a1d4492ee fix: 更新代理获取 URL 以指向新的域名 Franklin-F 2025-05-18 23:21:41 +08:00
  • 6af3cc2b78 fix: 修正 fetch_proxies3 调用为 fetch_proxies 以确保正确获取代理 Franklin-F 2025-05-18 23:02:12 +08:00
  • 0d35030f6d fix: 修改 traffic_segment 的生成范围以确保更合理的值并更新 fetch_proxies3 的返回格式 Franklin-F 2025-05-18 22:59:51 +08:00
  • 39d4bc111a fix: 修改 traffic_segment 的生成范围以确保更合理的值并更新 fetch_proxies3 的返回格式 Franklin-F 2025-05-18 22:00:26 +08:00
  • 94c15b8611 fix: 在适当位置重新调用 gettoken 方法以确保令牌有效性 Franklin-F 2025-05-18 21:12:16 +08:00
  • 9768acca11 fix: 在适当位置重新调用 gettoken 方法以确保令牌有效性 Franklin-F 2025-05-18 20:58:19 +08:00
  • 70eab7a847 feat: 添加 fetch_proxies3 方法以增强代理获取功能并更新相关调用 Franklin-F 2025-05-18 20:51:34 +08:00
  • af3945dbec feat: 添加 fetch_proxies3 方法以增强代理获取功能并更新相关调用 Franklin-F 2025-05-18 20:49:37 +08:00
  • 3260372edc fix: 修改 item_keyword 方法的默认参数以减少获取的项目数量 Franklin-F 2025-05-18 18:54:04 +08:00
  • 1737f87299 feat: 添加 Redis 重试机制以增强连接稳定性 Franklin-F 2025-05-18 18:27:00 +08:00
  • fad30a1c21 fix: 修改视频列表获取逻辑，支持级别 0 的请求以增加最大页数和限制 Franklin-F 2025-05-18 14:03:30 +08:00
  • 1b46a94e7e fix: 修改获取搜索信息的逻辑，支持根据请求级别传递参数 Franklin-F 2025-05-18 13:36:15 +08:00
  • ac87dfa9c3 fix: 移除未使用的导入以清理代码 Franklin-F 2025-05-18 13:32:06 +08:00
  • 7c1c5bf5a0 feat: 添加重试机制以处理错误记录并写入数据库 Franklin-F 2025-05-18 13:17:39 +08:00
  • 7f60997a58 fix: 修改视频列表获取逻辑，支持级别 2 的请求以增加最大页数和限制 Franklin-F 2025-05-18 13:09:19 +08:00
  • cf74282459 fix: 修改视频列表获取逻辑，支持级别 2 的请求以增加最大页数和限制 Franklin-F 2025-05-18 12:49:39 +08:00
  • e587efcfd4 fix: 修改视频列表获取逻辑，支持级别 2 的请求以增加最大页数和限制 Franklin-F 2025-05-18 12:31:57 +08:00
  • 84c6f3afd9 fix: 修改搜索信息获取逻辑，增加参数以支持不同级别的请求和视频时长过滤 Franklin-F 2025-05-17 20:06:15 +08:00
  • 69137dd128 fix: 更新代理 API URL 和请求参数以适应新的接口和流量段生成 Franklin-F 2025-05-17 16:51:45 +08:00
  • 41a74e7408 fix: 更新代理请求参数以使用新的认证方式并修复返回格式 Franklin-F 2025-05-17 16:25:47 +08:00
  • eb5f8bf1d0 fix: 更新代理 API URL 和请求参数以适应新的接口 Franklin-F 2025-05-17 16:11:13 +08:00
  • 2c44e77664 feat: 添加项目配置文件和数据库连接设置，更新.gitignore以排除不必要的文件 Franklin-F 2025-05-17 15:37:09 +08:00
  • f067fba177 fix: 修改属性名称以提高代码可读性并修正回滚逻辑 Franklin-F 2025-05-17 15:33:29 +08:00
  • eacc30979c fix: 修改代理获取逻辑以使用新的 fetch_proxies2 函数并优化打印信息 Franklin-F 2025-05-17 14:39:56 +08:00
  • 7804bcfebd Merge remote-tracking branch 'origin/main' Franklin-F 2025-05-17 14:36:16 +08:00
  • 8e0c99284b fix: 修改代理获取逻辑以使用新的 fetch_proxies2 函数并优化打印信息 Franklin-F 2025-05-17 13:46:45 +08:00
  • a75a5a5396 fix: 添加“is_repeat”字段的默认值设置为3 Franklin-F 2025-05-17 13:46:45 +08:00
  • e4ae20acb4 fix: 修改视频数据插入逻辑以使用“is_piracy”字段并更新“is_repeat”字段的获取方式 Franklin-F 2025-05-17 13:29:25 +08:00
  • 8239dde04c fix: 修改代理获取方法以使用区域代码并更新全局代理字典 Franklin-F 2025-05-17 12:43:46 +08:00
  • fe3a8bea4c fix: 修正代理数据提取逻辑以返回参数字段 Franklin-F 2025-05-17 11:51:39 +08:00
  • 78b793b0df fix: 修正代理数据提取逻辑以使用字典格式 Franklin-F 2025-05-17 11:44:03 +08:00
  • d310c8a418 fix: 修正代理数据提取逻辑以使用字典格式 Franklin-F 2025-05-17 11:40:43 +08:00
  • 7822ef9943 feat: 更新代理API URL及请求参数格式 Franklin-F 2025-05-17 11:24:15 +08:00
  • 75cf8f7345 feat: 添加委托代理检索方法并重构代理处理 Franklin-F 2025-05-17 11:13:55 +08:00
  • af14e27e4c feat: 导出修改 Franklin-F 2025-05-17 02:36:41 +08:00
  • e258e19949 feat: 代理域名 Franklin-F 2025-05-17 01:54:29 +08:00
  • f467a3715e feat: 代理传参 Franklin-F 2025-05-17 01:36:53 +08:00
  • 8503accfd1 feat: 代理传参 Franklin-F 2025-05-17 01:25:54 +08:00
  • bbb2cf1823 feat: 重构数据库操作以改进错误处理和重试逻辑 Franklin-F 2025-05-17 00:57:52 +08:00
  • dd90cc3c91 feat: 更新视频插入逻辑以包括is_repeat字段并改进代理池为空时的阻塞处理 Franklin-F 2025-05-17 00:33:55 +08:00
  • 12bbd2340b chore: remove .idea directory and ignore it Franklin-F 2025-05-16 22:37:19 +08:00
  • 14023c3b48 feat: 初始化 DailyMotion 分布式爬虫项目 Franklin-F 2025-05-16 22:16:26 +08:00