Scrapy-Redis 的安装

网友投稿 742 2022-05-30

scrapy-Redis 是 Scrapy 分布式的扩展模块,有了它我们可以方便地实现 Scrapy 分布式爬虫的搭建,本节来介绍一下 Scrapy-Redis 的安装方式。

相关链接

GitHub:https://github.com/rmax/scrapy-redis

PyPi:https://pypi.python.org/pypi/scrapy-redis

官方文档:http://scrapy-redis.readthedocs.io

pip 安装

推荐使用 pip 安装,命令如下:

1

pip3 install scrapy-redis

Wheel 安装

也可以到 PyPi 下载 Wheel 文件安装:https://pypi.org/project/scrapy-redis/#downloads,如当前最新版本为 0.7.1,则可以下载 scrapy_redis-0.7.1-py2.py3-none-any.whl ,然后 pip 安装即可。

1

pip3 install scrapy_redis-0.7.1-py2.py3-none-any.whl

测试安装

安装完成之后,可以在 Python 命令行下测试。

1

Scrapy-Redis 的安装

2

$ python3

>>> import scrapy_redis

如果没有错误报出,则证明库已经安装好了。

Redis Scrapy

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:Python sys 获取python版本和默认编码格式
下一篇:为了小白也能制作qq机器人,我也是含泪开放了项目
相关文章