Python 爬虫进阶二之 PySpider 框架安装配置

网友投稿 638 2022-05-29

关于

首先,在此附上项目的地址,以及官方文档 PySpider 官方文档

安装

1. pip

Python 爬虫进阶二之 PySpider 框架安装配置

首先确保你已经安装了 pip,若没有安装,请参照 pip 安装

2. phantomjs

PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持 web 而不需浏览器支持,其快速、原生支持各种 Web 标准:DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。 安装 以上附有官方安装方式,如果你是 Ubuntu 或 Mac OS X 用户,可以直接用命令来安装 Ubuntu:

1

sudo apt-get install phantomjs

Mac OS X:

1

brew install phantomjs

3. pyspider

直接利用 pip 安装即可

1

pip install pyspider

如果你是 Ubuntu 用户,请提前安装好以下支持类库

1

sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml

测试 如果安装过程没有提示任何错误,那就证明一些 OK。 命令行输入

1

pyspider all

然后浏览器访问 http://localhost:5000 观察一下效果,如果可以正常出现 PySpider 的页面,那证明一切 OK 在此附图一张,这是我写了几个爬虫之后的界面。 好,接下来我会进一步介绍这个框架的使用。

常见错误

Python

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:学习完 JavaScript后, 接下来该学习什么呢?
下一篇:Redis学习(6)
相关文章