三十、Pyspider爬虫框架总结，爬取Scrapy文档

这是我Python培训的内容，使用Pyspider框架爬取Scrapy文档

@Author：xinlan

pyspider框架

一、pyspider框架介绍

pyspider 是个强大的由python实现的爬虫系统。

纯python的

强大的webui，支持脚本编辑，任务监控，项目管理和结果查看

数据后台支持，MySQL，MongoDB,Reids,SQLite,Elasticsearch,PostgreSQL和SQLAlchemy

消息队列支持，RabbitMQ，Beanstalk，Redis以及Kombu

支持任务优先级，定时，失败重试等调度方案

分布式架构，抓取js页面

支持Python2和3

pip install pyspider

如果使用ubuntu,请先运行sudo apt update 再运行sudo apt upgrade 更新

apt-get install python python-dev python-distribute python-pip \ libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml \ libssl-dev zlib1g-dev

1

2

3

删除wsgidav

Python Scrapy

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。