Python3 网络爬虫（三）：漫画下载，动态加载、反爬虫

bradley 2023年10月18日 13:44 30 0

Python3 网络爬虫（三）：漫画下载，动态加载、反爬虫这都不叫事！

一、前言

经过上两篇文章的学习，爬虫三步走：发起请求、解析数据、保存数据，已经掌握，算入门爬虫了吗？

不，还远远不够！只掌握这些，还只能算门外汉级别。

今天，就来带大家继续学习，怎么爬的更优雅！

按照惯例，还是从实战出发，今天咱们就爬个图片，盘点那些遇到的问题，和优雅的解决方案。

本文男女老少皆宜，什么妹子图、肌肉男，学会了本文的方法，一切尽收囊中！

二、实战背景

咱不来吸睛劲爆的图片下载，咱来点清淡的家常菜。

动漫之家漫画下载！

这个实战，你会遇到动态加载、初级反爬，会了本文的方法，你还怕爬不到心心念的"美图"吗？

三、漫画下载

咱不下载整站资源，就挑一本下载，别给服务器太大压力。

挑来挑去，找了本动漫之家排名靠前的一本《妖神记》，说实话，看了漫画第一章的内容，浓浓的火影气息。

URL：https://www.dmzj.com/info/yaoshenji.html

想下载这本动漫，我们需要保存所有章节的图片到本地。我们先捋捋思路：

拿到所有章节名和章节链接
根据章节链接章节里的所有漫画图片
根据章节名，分类保存漫画

看似简单，实际做起来，可能遇到各种各样的问题，让我们一起优雅的解决这些问题吧！

1、获取章节名和章节链接

一个网页，是由很多div元素组成的，比如这个样子。

不同的div存放不同的内容，如上图，有存放标题Jack Cui的div，有存放菜单的div，有存放正文内容的div，有存放版权信息的div。

瞧，不难发现，只要拿到class属性为zj_list的div标签，就能拿到章节名和章节链接，都存放在这个div标签下的a标签中。

再仔细观察一番，你会发现，div标签下还有个ul标签，ul标签是距离a标签最近的标签。

用上一篇文章讲解的BeautifulSoup，实际上直接匹配最近的class属性为list_con_li的ul标签即可。编写如下代码：

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import requests
from bs4 import BeautifulSoup
 
target_url = "https://www.dmzj.com/info/yaoshenji.html"
r = requests.get(url=target_url)
bs = BeautifulSoup(r.text, 'lxml')
list_con_li = bs.find('ul', class_="list_con_li")
comic_list = list_con_li.find_all('a')
chapter_names = []
chapter_urls = []
for comic in comic_list:
    href = comic.get('href')
    name = comic.text
    chapter_names.insert(0, name)
    chapter_urls.insert(0, href)
 
print(chapter_names)
print(chapter_urls)

瞧，章节名和章节链接搞定了！

没有难度啊？别急，难的在后面。

2、获取漫画图片地址

我们只要分析在一个章节里怎么获取图片，就能批量的在各个章节获取漫画图片。

我们先看第一章的内容。

URL：https://www.dmzj.com/view/yaoshenji/41917.html

打开第一章的链接，你会发现，链接后面自动添加了#@page=1。

你翻页会发现，第二页的链接是后面加了#@page=2，第三页的链接是后面加了#@page=3，以此类推。

但是，这些并不是图片的地址，而是这个展示页面的地址，要下载图片，首先要拿到图片的真实地址。

审查元素找图片地址，你会发现，这个页面不能右键！

这就是最最最最低级的反爬虫手段，这个时候我们可以通过键盘的F12调出审查元素窗口。

有的网站甚至把F12都禁掉，这种也是很低级的反爬虫手段，骗骗刚入门的手段而已。

面对这种禁止看页面源码的初级手段，一个优雅的通用解决办法是，在连接前加个view-source:。

Shell
1
view-source:https://www.dmzj.com/view/yaoshenji/41917.html

用这个链接，直接看的就是页面源码。

更简单的办法是，将鼠标焦点放在浏览器地址栏，然后按下F12依然可以调出调试窗口。

这个漫画网站，还是可以通过F12审查元素，调出调试窗口的。

我们可以在浏览器调试窗口中的Network里找到这个页面加载的内容，例如一些css文件啊、js文件啊、图片啊，等等等。

要找图片的地址，直接在这里找，别在html页面里找，html信息那么多，一条一条看得找到猴年马月。

在Network中可以很轻松地找到我们想要的图片真实地址，调试工具很强大，Headers可以看一些请求头信息，Preview可以浏览返回信息。

搜索功能，过滤功能等等，应有尽有，具体怎么用，自己动手点一点，就知道了！

好了，拿到了图片的真实地址，我们看下链接：

https://images.dmzj.com/img/chapterpic/3059/14237/14395217739069.jpg

这就是图片的真实地址，拿着这个链接去html页面中搜索，看下它存放在哪个img标签里了，搜索一下你会发现，浏览器中的html页面是有这个图片链接的。

但你是用view-source:打开这个页面，你会发现你搜索不到这个图片链接。

Shell
1
view-source:https://www.dmzj.com/view/yaoshenji/41917.html

记住，这就说明，这个图片是动态加载的！

使用view-source:方法，就是看页面源码，并不管动态加载的内容。这里面没有图片链接，就说明图片是动态加载的。

是不是判断起来很简单？

遇到动态加载不要慌，使用JavaScript动态加载，无外乎两种方式：

外部加载
内部加载

外部加载就是在html页面中，以引用的形式，加载一个js，例如这样：

XHTML
1

这段代码得意思是，引用cuijiahua.com域名下的call.js文件。

内部加载就是Javascript脚本内容写在html内，例如这个漫画网站。

这时候，就可以用搜索功能了，教一个搜索小技巧。

https://images.dmzj.com/img/chapterpic/3059/14237/14395217739069.jpg

图片链接是这个，那就用图片的名字去掉后缀，也就是14395217739069在浏览器的调试页面搜索，因为一般这种动态加载，链接都是程序合成的，搜它准没错！

XHTML
1
2
3
4
5