38 lines
1.2 KiB
Markdown
38 lines
1.2 KiB
Markdown
# DailyMotion 分布式爬虫
|
|
|
|
### 文件说明
|
|
|
|
```text
|
|
consume_video_records.py 集中式存储 -弃用
|
|
DB.py 数据库相关
|
|
dump_keyword_title.py 任务下发脚本 -l [level] [-u 1:加急]
|
|
init_python.sh 初始化python环境
|
|
install_ql.sh 安装青龙面板
|
|
main.py 爬取脚本 -m [机器号] -w [并发数量]
|
|
multi_proxy_refill.py 自动代理池维护
|
|
mysql_to_xlsx.py 导出脚本 限制内陆运行
|
|
README.md
|
|
requirements.txt 统一包管理
|
|
```
|
|
|
|
青龙面板
|
|
|
|
| 地区 | IP | 用户 | 密码 | 青龙面板地址 |
|
|
| ------ | --------------- | ---- | ---------- | --------------------------- |
|
|
| *印尼 | 165.154.150.131 | root | 74jX4EScfC | http://165.154.150.131:5700 |
|
|
| 新加坡 | 152.32.220.250 | root | nWF9Cn}58A | http://152.32.220.250:5700 |
|
|
| 台北 | 123.58.197.91 | root | ZL%&f72)4i | http://123.58.197.91:5700 |
|
|
| 曼谷 | 165.154.181.211 | root | hi7Xu!MH6] | http://165.154.181.211:5700 |
|
|
| 胡志明 | 156.232.99.139 | root | Jg74M5cT6u | http://156.232.99.139:5700 |
|
|
| 首尔 | 152.32.243.118 | root | P7Ymwns&^8 | http://152.32.243.118:5700 |
|
|
|
|
#### 青龙面板统一密码:
|
|
|
|
用户: `admin`
|
|
|
|
密码: `P@ssWord`
|
|
|
|
|
|
|
|
- 印尼机器数据库`127.0.0.1` 端口+1
|