DailyMotion 分布式爬虫
文件说明
consume_video_records.py 集中式存储 -弃用
DB.py 数据库相关
dump_keyword_title.py 任务下发脚本 -l [level] [-u 1:加急]
init_python.sh 初始化python环境
install_ql.sh 安装青龙面板
main.py 爬取脚本 -m [机器号] -w [并发数量]
multi_proxy_refill.py 自动代理池维护
mysql_to_xlsx.py 导出脚本 限制内陆运行
README.md
requirements.txt 统一包管理
青龙面板
| 地区 | IP | 用户 | 密码 | 青龙面板地址 |
|---|---|---|---|---|
| *印尼 | 165.154.150.131 | root | 74jX4EScfC | http://165.154.150.131:5700 |
| 新加坡 | 152.32.220.250 | root | nWF9Cn}58A | http://152.32.220.250:5700 |
| 台北 | 123.58.197.91 | root | ZL%&f72)4i | http://123.58.197.91:5700 |
| 曼谷 | 165.154.181.211 | root | hi7Xu!MH6] | http://165.154.181.211:5700 |
| 胡志明 | 156.232.99.139 | root | Jg74M5cT6u | http://156.232.99.139:5700 |
| 首尔 | 152.32.243.118 | root | P7Ymwns&^8 | http://152.32.243.118:5700 |
青龙面板统一密码:
用户: admin
密码: P@ssWord
- 印尼机器数据库
127.0.0.1端口+1