DailyMotion 分布式爬虫

文件说明

consume_video_records.py  集中式存储 -弃用
DB.py 数据库相关
dump_keyword_title.py 任务下发脚本 -l [level] [-u 1:加急]
init_python.sh 初始化python环境
install_ql.sh 安装青龙面板
main.py 爬取脚本 -m [机器号] -w [并发数量]
multi_proxy_refill.py 自动代理池维护
mysql_to_xlsx.py 导出脚本 限制内陆运行
README.md
requirements.txt 统一包管理

青龙面板

地区	IP	用户	密码	青龙面板地址
*印尼	165.154.150.131	root	74jX4EScfC	http://165.154.150.131:5700
新加坡	152.32.220.250	root	nWF9Cn}58A	http://152.32.220.250:5700
台北	123.58.197.91	root	ZL%&f72)4i	http://123.58.197.91:5700
曼谷	165.154.181.211	root	hi7Xu!MH6]	http://165.154.181.211:5700
胡志明	156.232.99.139	root	Jg74M5cT6u	http://156.232.99.139:5700
首尔	152.32.243.118	root	P7Ymwns&^8	http://152.32.243.118:5700

青龙面板统一密码:

用户: admin

密码: P@ssWord

印尼机器数据库127.0.0.1 端口+1

1.2 KiB Raw Blame History

DailyMotion 分布式爬虫

文件说明

青龙面板统一密码:

1.2 KiB

Raw Blame History