采集各种美女图片站并下载图片、自动搭建属于自己的图片站

说明：距离上次给男同学们分享爬虫福利已经有一年多了，福利就自己在博客翻下，现在再分享个大佬的爬虫项目，可以爬取mm131、mmjpg、妹子图等各大美女图片站，然后下载图片后，自动帮你发布并搭建一个属于你自己的图片站，该项目作者也在长期维护，貌似正在对接OneDrive，还是很不错的，如果营养快线多的可以自己搭建个慢慢欣赏吧。

截图

请输入图片描述

说明

项目地址：https://git.coding.net/zxy_coding/94imm.git

环境要求：Python 3.6、Mysql 5.5+、Nginx/Apache(非必需)，本文只说CentOS 6/7、Debian 8/9。

这里使用宝塔和手动2种方法安装，如果你需要快速上手就使用手动安装，想操作方便就宝塔，自行选择。

安装环境

1、使用宝塔安装

#CentOS系统
wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh
#Debian系统
wget -O install.sh http://download.bt.cn/install/install-ubuntu_6.0.sh && bash install.sh

安装完成后，进入面板，点击左侧软件管理，然后安装Mysql 5.5+、Nginx(如果你使用域名的话，就需要安装)。

然后点击左侧数据库-添加数据库，设置好数据库信息。

2、手动安装环境

提示：为了简单，这里采用Mysql 5.7+Caddy环境，这里也是，如果你需要使用到域名才安装Caddy。

这里博主是用的Mysql 5.7，如果内存很低，5.7跑起来会有点吃力，建议增加点虚拟内存，可以用下Swap一键脚本→传送门。

安装Mysql 5.7：

#CentOS 6系统
rpm -ivh http://repo.mysql.com/mysql57-community-release-el6.rpm
yum install mysql-community-server -y
service mysqld start
chkconfig mysqld on

#CentOS 7系统
rpm -ivh http://repo.mysql.com/mysql57-community-release-el7.rpm
yum install mysql-community-server -y
systemctl start mysqld
systemctl enable mysqld

#Debian 8系统
echo 'deb http://repo.mysql.com/apt/debian/ jessie mysql-5.7
deb-src http://repo.mysql.com/apt/debian/ jessie mysql-5.7' >/etc/apt/sources.list.d/mysql.list
wget https://repo.mysql.com/RPM-GPG-KEY-mysql
apt-key add RPM-GPG-KEY-mysql
apt update
#安装的时候会要你输入数据库密码
apt install mysql-server -y

#Debian 9系统
echo 'deb http://repo.mysql.com/apt/debian/ stretch mysql-5.7
deb-src http://repo.mysql.com/apt/debian/ stretch mysql-5.7' >/etc/apt/sources.list.d/mysql.list
wget https://repo.mysql.com/RPM-GPG-KEY-mysql
apt-key add RPM-GPG-KEY-mysql
apt update
#安装的时候会要你输入数据库密码
apt install mysql-server -y

这里CentOS安装MySQL 5.7的时候会生成一个随机密码，使用命令查看：

grep "password" /var/log/mysqld.log
#大致信息，******为密码
[Note] A temporary password is generated for root@localhost: ******

然后CentOS还需要修改数据库密码：

#登录数据库，输入你上面看到的密码
mysql -u root -p
#稍微设置密码难度下，不然修改的时候，密码必须很复杂才行
mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=4;
#修改密码为moerats
mysql> set password=password("moerats");
#退出数据库
mysql> exit;

#CentOS 6重启数据库
service mysqld restart
#CentOS 7重启数据库
systemctl restart mysqld

创建新的数据库，使用命令：

#创建94imm数据库，moerats为数据库密码，自行修改
mysql -uroot -pmoerats
mysql > create database 94imm;
#退出
mysql > exit;

此时Mysql 5.7算是安装完成了。

安装Caddy：

wget -N --no-check-certificate https://raw.githubusercontent.com/iiiiiii1/doubi/master/caddy_install.sh && chmod +x caddy_install.sh && bash caddy_install.sh
#备用地址
wget -N --no-check-certificate https://www.moerats.com/usr/shell/Caddy/caddy_install.sh && chmod +x caddy_install.sh && bash caddy_install.sh

搭建站点

1、安装Python3
为了避免下面依赖安装出错，这里就不使用软件包安装Python3了，直接就使用脚本安装，使用命令：

#CentOS系统
wget https://www.moerats.com/usr/shell/Python3/CentOS_Python3.6.sh && sh CentOS_Python3.6.sh
#Debian系统
wget https://www.moerats.com/usr/shell/Python3/Debian_Python3.6.sh && sh Debian_Python3.6.sh

2、搭建站点

#下载源码
git clone https://git.coding.net/zxy_coding/94imm.git
#安装依赖
cd 94imm
pip3 install -r requirements.txt
#导入目录的数据库文件，这里数据库名94imm，用户名和密码root、moerats，请自行修改
mysql -uroot -pmoerats 94imm < silumz.sql
#编辑配置文件
nano silumz/settings.py

填上你的数据库信息，大致如下：

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': '94imm',
        'USER': 'root',
        'PASSWORD': 'moerats',
        'HOST': '127.0.0.1',
        'PORT': '3306',
    }
}

再使用Ctrl+x、y保存退出。

编辑启动配置文件，使用命令：

nano uwsgi.ini

然后看着改，大致修改如下：

#配置文件默认是将源码放在root目录，如果在其他目录可以自行修改
#如果你要是用ip访问，将127.0.0.1:8000改成http=0.0.0.0:8000，端口也可以改

启动程序：

uwsgi --ini uwsgi.ini

此时站点地址为ip:8000。

3、域名反代

提示：不需要域名的跳过该步骤

宝塔面板设置：
然后点击左侧网站-添加站点，填上你的域名，其他默认，然后点击域名设置-反向代理，url设置http://127.0.0.1:8000即可。然后打开你的域名就可以看到站点了。

Caddy设置：

#以下全部内容是一个整体，请修改域名后一起复制到SSH运行！且会自动给你配置ssl证书
echo "www.moerats.com {
 gzip
 tls admin@moerats.com
 proxy / 127.0.0.1:8000
}" > /usr/local/caddy/Caddyfile

#启动Caddy
/etc/init.d/caddy start

采集发布

光搭建站点是不够的，还需要采集并自动发布图片，爬虫和发布脚本在crawler目录，详细脚本说明：

crawler开头的脚本为图片采集爬虫，然后也会自动给你发布到文章，目前有6个美女站的爬虫脚本，后期可能会更多
AutoPost.py为自动发布脚本，将你本地的图片自动发布到搭建的站点中
Compress.py为图片压缩脚本，可以自动压缩图片，减少硬盘占用

这里以mm131爬虫脚本为例，先编辑crawler_mm131.py爬虫脚本。

cd crawler
nano crawler_mm131.py

大致修改如下：

#修改为你的数据库连接信息
dbhost = {
    "host": "127.0.0.1",
    "dbname": "94imm",
    "user": "root",
    "password": "moerats"
}
#修改爬取的页数和图片保存路径，page为页数，img_path为路径，自行修改
for i in [{"page": 1, "type": "xinggan", "type_id": 1}, {"page": 1, "type": "qingchun", "type_id": 3},
          {"page": 1, "type": "xiaohua", "type_id": 3}, {"page": 1, "type": "chemo", "type_id": 1},
          {"page": 1, "type": "qipao", "type_id": 2}, {"page": 1, "type": "mingxing", "type_id": 1}]:
spider=Spider(page_num=i.get("page"),img_path='/static/images/mm131/',thread_num=10,type_id=i.get("type_id"),type=i.get("type"))

然后开始采集并自动发布到程序，使用命令：

#其它爬虫使用方法也都一样
python3 crawler_mm131.py

然后就可以再图片站看到你的图片了，要是不显示的话，可以尝试删除cache目录里的缓存文件。

如果你的硬盘空间很小，可以使用压缩脚本压缩下，使用命令：

#压缩时，会要你选择图片等路径
python3 Compress.py

如果压缩报错No module named 'PIL'，那需要先使用命令pip3 install Pillow。

如果你要发布你本地的图片，就需要编辑AutoPost.py，填上你的数据库信息，再使用python3 AutoPost.py发布即可。

最后你运行爬虫脚本的时候出现UnicodeEncodeError: 'ascii' codec can't encode错误，那就需要先将系统的默认语言环境编码设置为UTF-8格式，使用命令：

echo 'export LANG=en_US.UTF-8 LANGUAGE=en_US.UTF-8' >> /etc/profile
source /etc/profile

其他说明

对于修改模板，目前模板总共有3套，位于templates文件夹下，需要先修改silumz下settings文件中的模板配置。

#94imm为模板名
TEMPLATES = [
{
    'BACKEND': 'django.template.backends.django.DjangoTemplates',
    'DIRS': [os.path.join(BASE_DIR, 'templates'+"/"+"94imm")]

然后将模板目录下的pagination.html文件放入python安装目录的pagination下。

一般为/usr/local/lib/python3.6/site-packages/dj_pagination/templates/pagination

然后自己修改模板，模板为html文件，可在页面添加统计代码和广告代码。

对于想了解更多的，或者修改模板，爬虫分类、数据库的可以看下以下参考文章：

https://www.dablog.cn/index.php/archives/7/
https://sunsea.im/139/94imm_tips/

发表评论取消回复

评论 *

私密评论

名称 *

邮箱 *

地址

109 条评论

祈祷
January 13th, 2020 at 11:31 am

curl 127.0.0.1:8000 可以访问到页面,但是外网ip:8000无法访问.curl 外网ip:8000也访问报错,uwsgi.init http配置是0.0.0.0:8000

回复
1. Rat's博主
  January 13th, 2020 at 07:12 pm
  
  @祈祷
  内网可以访问，外网访问不了的话，可以检查下防火墙？
  
  回复
祈祷
January 13th, 2020 at 11:24 am

阿里云外网不能正常访问,但是内网和127.0.0.1能访问到首页,阿里云安全规则端口也开发了,就是访问不了

回复
gudu
January 9th, 2020 at 01:58 am

[uwsgi-static] added mapping for /static => /root/94imm/static 报错完这个就没动静了也不能访问

回复
1. Rat's博主
  January 9th, 2020 at 08:40 pm
  
  @gudu
  这个好像不是报错，好久没玩这个了，你这个是哪个步骤？
  
  回复
  1. gudu
    January 13th, 2020 at 06:36 pm
    
    @Rat's
    Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-install-48yevnxw/cffi/
    在安装依赖的时候
    
    回复
    
    Rat's博主
    January 13th, 2020 at 07:16 pm
    
    @gudu
    这点信息看不出啥来
    
    回复
    
    gudu
    January 15th, 2020 at 02:03 am
    
    @Rat's
    和arm架构有关系吗
    
    回复
    
    Rat's博主
    January 16th, 2020 at 12:12 am
    
    @gudu
    应该关系不大
    
    回复
  2. gudu
    January 13th, 2020 at 04:19 pm
    
    @Rat's
    启动程序的时候
    
    回复
cocook
December 5th, 2019 at 04:03 pm

這個厲害了, 我也來弄一個玩一下

回复
tnjc
October 14th, 2019 at 05:08 pm

大佬，请问一下tyecho怎么样输出markdown

回复
1. Rat's博主
  October 15th, 2019 at 09:06 am
  
  @tnjc
  啥意思，typecho是支持markdown的
  
  回复
敲你咩呀
September 4th, 2019 at 04:22 pm

采集完访问首页就报“Access denied for user 'xxx'@'localhost'”
我mysql版本 5.7
搞了半天搞不定了。

回复
1. Rat's博主
  September 4th, 2019 at 11:26 pm
  
  @敲你咩呀
  这种错误一般主要是数据库密码不对造成的。
  
  回复
  1. 敲你咩呀
    September 5th, 2019 at 12:44 am
    
    @Rat's
    这个搞定了，真就是密码错。。。
    现在我是和上面的那位一样采集后，点击详情就自动回首页。
    
    回复
qinfengge
August 26th, 2019 at 04:53 pm

爬区后点击图片详情跳转到首页。。。。我心态崩了呀

回复
1. 敲你咩呀
  September 5th, 2019 at 03:25 am
  
  @qinfengge
  数据库image_type表里面
  id字段对应脚本里的type_id的值，
  type字段对应首页的分类栏
  image_type表里的id字段一定要包含脚本里所以的type_id值。
  这个表默认是空的，自己手动填完就正常了
  
  回复
  1. 悠然恍若隔世梦
    January 12th, 2020 at 05:08 pm
    
    @敲你咩呀
    这个怎么手动填写啊？我的也是，直接点图片，就自动返回到首页去了！~
    
    回复
2. 肥龙
  September 2nd, 2019 at 11:07 am
  
  @qinfengge
  我的也是。。。一直跳回到首页，我是宝塔5.9版本搭建的
  其次，修改crawler_mm131.py
  spider=Spider(page_num=i.get("page"),img_path='/static/images/mm131/',thread_num=10,type_id=i.get("type_id"),type=i.get("type"))
  这行报错。。。。
  
  回复
  1. Rat's博主
    September 2nd, 2019 at 03:59 pm
    
    @肥龙
    这个可以加下作者QQ群吧，955631673，直接找群主。
    
    回复
    
    悠然恍若隔世梦
    January 12th, 2020 at 05:09 pm
    
    @Rat's
    你有没有修改好的数据库文件？整一个放上来可行啊？
    
    回复
    
    Rat's博主
    January 13th, 2020 at 12:57 am
    
    @悠然恍若隔世梦
    曾经有，不过都过去好久了，都没了。
    
    回复
味道
August 19th, 2019 at 11:59 pm

博主，这些图片来源知道吗？我还没有安装，准备写个typecho插件采集，一直没找到好采集的站点

回复
1. Rat's博主
  August 20th, 2019 at 03:01 pm
  
  @味道
  其实随便百度下挺多的，可以直接打开项目地址：https://coding.net/u/zxy_coding/p/94imm/git/tree/master/crawler，每个爬虫里面都有网站地址，可以看下。
  
  回复
凯
July 1st, 2019 at 05:04 pm

前两天采集mm131正常，昨天重装了一次采集不到图片了。。

回复
樱花风誓
June 30th, 2019 at 01:16 pm

该评论仅登录用户及评论双方可见

回复
1. Rat's博主
  July 2nd, 2019 at 12:23 am
  
  @樱花风誓
  服务器后台还有安全组什么的没？
  
  回复
  1. 樱花风誓
    July 3rd, 2019 at 05:29 pm
    
    @Rat's
    该评论仅登录用户及评论双方可见
    
    回复