使用Tumblr爬虫,结合h5ai创建图库
当前页面是本站的「Google AMP」版。查看和发表评论请点击:完整版 »
Tumblr
内容丰富,特别是图片和视频。下面利用Tumblr
爬虫,结合h5ai
目录直读程序,或者其他图床程序,创建图库。
本方法需要一个Python 2.7
的环境,CentOS 6
升级Python 2.7
方法请参考CentOS 6升级Python 2.6至Python 2.7的方法,CentOS 7自带python 2.7
,下面使用CentOS 7和python 2.7
。
使用tumblr-crawler爬虫
tumblr-crawler
爬虫github
项目地址:https://github.com/dixudx/tumblr-crawler
1、安装可能使用的依赖
yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel
yum -y install gcc automake autoconf libtool make
yum install gcc gcc-c++
yum -y install readline-devel
2、安装tumblr-crawler
git clone https://github.com/dixudx/tumblr-crawler.git
cd tumblr-crawler
pip install -r requirements.txt
3、使用tumblr-crawler下载图片和视频
1、在sites.txt
中添加tumblr
站,用逗号分开,但不需要.tumblr.com
后缀。如rat.tumblr.com
和rats.tumblr.com
rat,rats
保存后,运行
python tumblr-photo-video-ripper.py
2、直接下载
python tumblr-photo-video-ripper.py rat,rats
最后将所有图片和视频均保存在当前路径的与tumblr
博客名字相同的文件夹
安装、使用h5ai
具体安装方法参考:一款不错的PHP目录列表程序:h5ai安装教程