深入浅出 爬虫之道： Python、Golang与GraphQuery的对比

网友投稿 677 2022-05-30

本文将分别使用 Python ，Golang 以及 GraphQuery 来解析某网站的素材详情页面，这个页面的特色是具有清晰的数据结构，但是DOM结构不够规范，无法通过单独的选择器定位页面元素，对页面的解析造成了一些曲折。通过这个页面的解析过程，深入浅出的了解爬虫的解析思想与这些语言之间的异同。

深入浅出爬虫之道： Python、Golang与GraphQuery的对比

使用Python进行页面的解析

使用Golang进行页面的解析

使用GraphQuery进行解析

1. 获取title节点

2. 获取size节点

3. 完整的Python代码

1. 在Golang中调用GraphQuery

2. 在Python中调用GraphQuery

1. 语义化的DOM结构

2. 稳定的解析代码

一、前言

二、进行页面的解析

三、后记

一、前言

在前言中，为了防止在后面的章节产生不必要的困扰，我们将会首先了解一些基本的编程理念。

1. 语义化的DOM结构

这里我们讲的语义化的DOM结构，不仅仅包括语义化的html标签，也包括了语义化的选择器，在前端开发中应该注意的是，所有的动态文本都应该有单独的 html 标签包裹，并最好赋予其语义化的 class 属性或 id属性，这在版本功能的迭代中，对前端和后端的开发都是大有裨益的，比如下面的HTML代码：

编号：32490230

模式：RGB

体积：16.659 MB

分辨率：72dpi

这就是不够语义化的前端代码，32504070，RGB，16.659 MB，72dpi这些值都是动态属性，会跟随编号的改变而改变，在规范的开发中，应该将这些动态变化的属性，分别用 <span> 这类行内标签包裹起来，并赋予其一定的语义化选择器，在上面的HTML结构中大致可以推测出这是后端直接使用 foreach 渲染出的页面，这是不符合前后端分离的思想的，如果有一天他们决定使用 jsonp 或 Ajax 渲染这些属性，由前端进行渲染，工作量无疑会上一个层次。语义化的DOM结构更倾向于下面这样：

模式：RGB

也可以将 property-mode 直接作为 span 的 class 属性，这样这些属性无论是后端渲染，还是前端动态渲染都减轻了产品迭代产生的负担。

2. 稳定的解析代码

在语义化的DOM结构之后，我们来谈谈稳定的解析代码，对于下面的DOM结构：

编号：32490230

模式：RGB

体积：16.659 MB

分辨率：72dpi

如果我们想要提取模式信息，当然可以采取下面的步骤：

选取 class 属性中包含 main-right 的 div

选取这个 div 中第二个 p 元素，取出其包含的文本

删除文本中的模式：，得到模式为 RGB

虽然成功获取到了想要的结果，但是这样的解析方法，我们认为它是不稳定的，这个不稳定是指在其祖先元素、兄弟元素等自身以外的元素节点发生一定程度的结构改变时，导致解析错误或失败的情况，比如如果有一天在模式所在的节点之前增加了一个尺寸的属性：

编号：32490230

尺寸：4724×6299像素

模式：RGB

体积：16.659 MB

分辨率：72dpi

那么我们之前的解析将会发生错误（什么？你觉得不可能发生这样的变动？请对比 Page1 和 Page2）。

那我们应该如何写出更稳定的解析代码呢，对于上面的DOM结构，我们可以有下面几种思路：

思路一：遍历 class 属性为 main-rightStage的 p 节点，依次判断节点的文本是否以模式开头，如果是，取出其：后的内容，缺点是逻辑太多，不易维护且降低了代码可读性。

思路二：使用正则表达式模式：([A-Z]+) 进行匹配，缺点是使用不当可能造成效率问题。

思路三：使用 CSS选择器中的 contains 方法，比如 .main-rightStage:contains(模式)，就可以选取文本中包含模式，且 class 属性中包含 main-rightStage 的节点了。但缺点是不同语言和不同库对这种语法的支持程度各有不同，缺乏兼容性。

使用哪种方法，仁者见仁智者见智，不同的解析思路带来的解析的稳定性、代码的复杂程度、运行效率和兼容性都是不同的，开发者需要从各种因素中进行权衡，来写出最优秀的解析代码。

二、进行页面的解析

在进行页面数据的抽取之前，首先要做的是明确我们需要哪些数据、页面上提供了哪些数据，然后设计出我们需要的数据结构。首先打开待解析页面，由于其最上方的浏览量、量、下载量等数据是动态加载的，在我们的演示中暂时不需要，而这个页面右边的尺寸、模式等数据，通过上面 Page1 和 Page2 的对比，可以得知这些属性是不一定存在的，因此将它们一起归到 metainfo 中。因此我们需要获得的数据如下图所示：

由此我们可以很快设计出我们的数据结构：

{ title pictype number type metadata { size volume mode resolution } author images [] tags [] }

其中 size、volume、mode、resolution由于可能不存在，因此归入到了 metadata 下， images 是一个图片地址的数组，tags 是标签数组，在确定了要提取的数据结构，就可以开始进行解析。

使用Python进行页面的解析

Python库的数量非常庞大，有很多优秀的库可以帮助到我们，在使用Python进行页面的解析时，我们通常用到下面这些库：

提供正则表达式支持的 re 库

提供 CSS选择器支持的 pyquery 和 beautifulsoup4

提供 Xpath 支持的 lxml 库

提供 JSON PATH 支持的 jsonpath_rw 库

这些库在 Python 3 下获得支持的，可以通过 pip install 进行安装。

由于 CSS选择器的语法比 Xpath 语法要更加简洁，而在方法的调用上，pyquery 比 beautifulsoup4 要更加方便，因此在 2 和 3 之间我们选择了 pyquery。

下面我们会以 title 和 type 属性的获取作为例子进行讲解，其他节点的获取是同理的。首先我们先使用 requests 库下载这个页面的源文件：

import requestsfrom pyquery import PyQuery as pq response = requests.get("http://www.58pic.com/newpic/32504070.html") document = pq(response.content.decode('gb2312'))

下面使用Python进行的解析都将依次为前提进行。

打开待解析页面，在标题上右键，点击查看元素，可以看到它的DOM结构如下：

这时我们注意到，我们想要提取出的标题文本大侠海报金庸武侠水墨中国风黑白，并没有被html标签包裹，这是不符合我们上面提到的语义化的dom结构的。同时，使用CSS选择器，也是无法直接选取到这个文本节点的（可以使用Xpath直接选取到，本文略）。对于这样的节点，我们可以有下面两种思路：

思路一：先选取其父元素节点，获取其 HTML 内容，使用正则表达式，匹配在 </div> 和 <p之间的文本。

思路二：先选取其父元素节点，然后删除文本节点之外的其他节点，再直接通过获取父元素节点的文本，得到想要的标题文本。

我们采取思路二，写出下面的Python代码：

title_node = document.find(".detail-title") title_node.find("div").remove() title_node.find("p").remove() print(title_node.text())

输出结果与我们期望的相同，为大侠海报金庸武侠水墨中国风黑白。

在尺寸上右键查看元素，可以看到下图所示的DOM结构：

我们发现这些节点不具有语义化的选择器，并且这些属性不一定都存在（详见Page1 和 Page2 的对比）。在稳定的解析代码中我们也讲到了对于这种结构的文档可以采取的几种思路，这里我们采用正则解析的方法：

import re context = document.find(".mainRight-file").text() file_type_matches = re.compile("尺寸：(.*?像素)").findall(context) filetype = ""if len(file_type_matches) > 0: filetype = file_type_matches[0] print(filetype)

由于获取 size、volume、mode、resolution 这些属性，都可以采取类似的方法，因此我们可以归结出一个正则提取的函数：

深入浅出爬虫之道： Python、Golang与GraphQuery的对比

def regex_get(text, expr): matches = re.compile(expr).findall(text) if len(matches) == 0: return "" return matches[0]

因此，在获取 size 节点时，我们的代码就可以精简为：

size = regex_get(context, r"尺寸：(.*?像素)")

到这里，我们解析页面可能遇到的问题就已经解决了大半，整个Python代码如下：

使用Golang进行页面的解析

在 Golang 中解析 html 和 xml 文档，常用到的库有以下几种：

提供正则表达式支持的 regexp 库

提供 CSS选择器支持的 github.com/PuerkitoBio/goquery

提供 Xpath 支持的 gopkg.in/xmlpath.v2 库

提供 JSON PATH 支持的 github.com/tidwall/gjson 库

这些库，你都可以通过 go get -u 来获取，由于在上面的Python解析中我们已经整理出了解析逻辑，在Golang中只需要复现即可，与 Python 不同的是，我们最好先为我们的数据结构定义一个 struct，像下面这样：

type Reuslt struct { Title string Pictype string Number string Type string Metadata struct { Size string Volume string Mode string Resolution string } Author string Images []string Tags []string }

同时，由于我们的待解析页面是非主流的 gbk 编码，所以在下载下来文档之后，需要手动将 utf-8 的编码转换为 gbk 的编码，这个过程虽然不在解析的范畴之内，但是也是必须要做的步骤之一，我们使用了 github.com/axgle/mahonia 这个库进行编码的转换，并整理出了编码转换的函数 decoderConvert：

func decoderConvert(name string, body string) string { return mahonia.NewDecoder("gbk").ConvertString(body) }

因此，最终的 golang 代码应该是下面这样的：

解析逻辑完全相同，代码量和复杂程度相较 python版差不多，下面我们来看一下新出现的 GraphQuery 是如何做的。

使用GraphQuery进行解析

已知我们想要得到的数据结构如下：

{ title pictype number type metadata { size volume mode resolution } author images [] tags [] }

GraphQuery 的代码是下面这样的：

{ title `xpath("/html/body/div[4]/div[1]/div/div/div[1]/text()")` pictype `css(".pic-type")` number `css(".detailBtn-down");attr("data-id")` type `regex("文件格式：([a-z]+)")` metadata `css(".main-right p")` { size `regex("尺寸：(.*?)像素")` volume `regex("体积：(.*? MB)")` mode `regex("模式：([A-Z]+)")` resolution `regex("分辨率：(\d+dpi)")` } author `css(".user-name")` images `css("#show-area-height img")` [ src `attr("src")` ] tags `css(".mainRight-tagBox .fl")` [ tag `text()` ] }

通过对比可以看出，它只是在我们设计的数据结构之中添加了一些由反引号包裹起来的函数。惊艳的是，它能完全还原我们上面在 Python 和 Golang 中的解析逻辑，而且从它的语法结构上，更能清晰的读出返回的数据结构。这段 GraphQuery 的执行结果如下：

{ "data": { "author": "Ice bear", "images": [ "http://pic.qiantucdn.com/58pic/32/50/40/70d58PICZfkRTfbnM2UVe_PIC2018.jpg!/fw/1024/watermark/url/L2ltYWdlcy93YXRlcm1hcmsvZGF0dS5wbmc=/repeat/true/crop/0x1024a0a0", "http://pic.qiantucdn.com/58pic/32/50/40/70d58PICZfkRTfbnM2UVe_PIC2018.jpg!/fw/1024/watermark/url/L2ltYWdlcy93YXRlcm1hcmsvZGF0dS5wbmc=/repeat/true/crop/0x1024a0a1024", "http://pic.qiantucdn.com/58pic/32/50/40/70d58PICZfkRTfbnM2UVe_PIC2018.jpg!/fw/1024/watermark/url/L2ltYWdlcy93YXRlcm1hcmsvZGF0dS5wbmc=/repeat/true/crop/0x1024a0a2048", "http://pic.qiantucdn.com/58pic/32/50/40/70d58PICZfkRTfbnM2UVe_PIC2018.jpg!/fw/1024/watermark/url/L2ltYWdlcy93YXRlcm1hcmsvZGF0dS5wbmc=/repeat/true/crop/0x1024a0a3072" ], "metadata": { "mode": "RGB", "resolution": "200dpi", "size": "4724×6299", "volume": "196.886 MB" }, "number": "32504070", "pictype": "原创", "tags": ["大侠", "海报", "黑白", "金庸", "水墨", "武侠", "中国风"], "title": "大侠海报金庸武侠水墨中国风黑白", "type": "psd" }, "error": "", "timecost": 10997800}

GraphQuery 是一个文本查询语言，它不依赖于任何后端语言，可以被任何后端语言调用，一段 GraphQuery查询语句，在任何语言中可以得到相同的解析结果。

它内置了 xpath选择器，css选择器，jsonpath 选择器和正则表达式，以及足量的文本处理函数，结构清晰易读，能够保证数据结构、解析代码、返回结果结构的一致性。

项目地址： github.com/storyicon/graphquery

GraphQuery 的语法简洁易懂, 即使你是第一次接触它，也能很快的上手，它的语法设计理念之一就是符合直觉，我们应该如何执行它呢：

在 golang 中，你只需要首先使用 go get -u github.com/storyicon/graphquery 获得 GraphQuery 并在代码中调用即可：

package main import ( "log" "github.com/axgle/mahonia" "github.com/parnurzeal/gorequest" "github.com/storyicon/graphquery" ) func decoderConvert(name string, body string) string { return mahonia.NewDecoder("gbk").ConvertString(body) } func main() { request := gorequest.New() _, body, _ := request.Get("http://www.58pic.com/newpic/32504070.html").End() body = decoderConvert("gbk", body) response := graphquery.ParseFromString(body, "{ title `xpath(\"/html/body/div[4]/div[1]/div/div/div[1]/text()\")` pictype `css(\".pic-type\")` number `css(\".detailBtn-down\");attr(\"data-id\")` type `regex(\"文件格式：([a-z]+)\")` metadata `css(\".main-right p\")` { size `regex(\"尺寸：(.*?)像素\")` volume `regex(\"体积：(.*? MB)\")` mode `regex(\"模式：([A-Z]+)\")` resolution `regex(\"分辨率：(\\d+dpi)\")` } author `css(\".user-name\")` images `css(\"#show-area-height img\")` [ src `attr(\"src\")` ] tags `css(\".mainRight-tagBox .fl\")` [ tag `text()` ] }") log.Println(response) }

我们的 GraphQuery 表达式以单行的形式，作为函数 graphquery.ParseFromString 的第二个参数传入，得到的结果与预期完全相同。

在 Python 等其他后端语言中，调用 GraphQuery 需要首先启动其服务，服务已经为 windows、mac 和 linux 编译好，到 GraphQuery-http 中下载即可。

在解压并启动服务后，我们就可以愉快的使用 GraphQuery 在任何后端语言中对任何文档以图形的方式进行解析了。Python调用的示例代码如下：

import requestsdef GraphQuery(document, expr): response = requests.post("http://127.0.0.1:8559", data={ "document": document, "expression": expr, }) return response.text response = requests.get("http://www.58pic.com/newpic/32504070.html") conseq = GraphQuery(response.text, r""" { title `xpath("/html/body/div[4]/div[1]/div/div/div[1]/text()")` pictype `css(".pic-type")` number `css(".detailBtn-down");attr("data-id")` type `regex("文件格式：([a-z]+)")` metadata `css(".main-right p")` { size `regex("尺寸：(.*?)像素")` volume `regex("体积：(.*? MB)")` mode `regex("模式：([A-Z]+)")` resolution `regex("分辨率：(\d+dpi)")` } author `css(".user-name")` images `css("#show-area-height img")` [ src `attr("src")` ] tags `css(".mainRight-tagBox .fl")` [ tag `text()` ] } """) print(conseq)

输出结果为：

三、后记

复杂的解析逻辑带来的不仅仅是代码可读性的问题，在代码的维护和移植上也会造成很大的困扰，不同的语言和不同的库也为代码的解析结果造成了差异，GraphQuery 是一个全新的开源项目，它的主旨就是让开发者从这些重复繁琐的解析逻辑中解脱出来，写出高可读性、高可移植性、高可维护性的代码。欢迎实践、持续关注与代码贡献，一起见证 GraphQuery 与开源社区的发展！

编程语言 python

标签：深入浅出爬虫

深入浅出 爬虫之道： Python、Golang与GraphQuery的对比

深入浅出了解 OKR（二）：使用OKR带来的7大收益（深入浅出的理解）

深入浅出了解 OKR（三）：好的 OKR 这么制定（深入浅出百度百科）

深入浅出了解 OKR（四）：如何做到上下同欲和组织协同（深入浅出怎么理解）

推荐文章

企业生产管理是什么，企业生产管理软件

进盘点进销存软件排行榜前十名

进销存系统哪个简单好用？进销存系统优点

工厂生产管理（工厂生产管理流程及制度）

生产管理软件，机械制造业生产管理，制造业生产过程管理软件

进销存软件和ERP有什么区别？进销存与erp软件理解

进销存如何进行库存管理

如何利用excel制作销售订单管理系统？

数据库订单管理系统有哪些功能？数据库订单管理系统怎么设计？

什么是数据库管理系统？

最近发表

热评文章

零代码开发是什么？2022低代码平台排行榜

智能进销存库存管理系统（智慧进销存）

在线文档哪家强？8款在线文档编辑软件推荐

WPS2016怎么绘制简单的价格表?

连锁餐饮管理系统的功能有哪些？餐饮服务系统的构成及工

家居定制平台是什么？

友情链接