Python爬虫入门教程 29-100 手机APP数据抓取 pyspider

1. 手机APP数据----写在前面

继续练习pyspider的使用，最近搜索了一些这个框架的一些使用技巧，发现文档竟然挺难理解的，不过使用起来暂时没有障碍，估摸着，要在写个5篇左右关于这个框架的教程。今天教程中增加了图片的处理，你可以重点学习一下。

2. 手机APP数据----页面分析

咱要爬取的网站是 http://www.liqucn.com/rj/new/ 这个网站我看了一下，有大概20000页，每页数据是9个，数据量大概在180000左右，可以抓取下来，后面做数据分析使用，也可以练习优化数据库。

网站基本没有反爬措施，上去爬就可以，略微控制一下并发，毕竟不要给别人服务器太大的压力。

页面经过分析之后，可以看到它是基于URL进行的分页，这就简单了，我们先通过首页获取总页码，然后批量生成所有页码即可

http://www.liqucn.com/rj/new/?page=1 http://www.liqucn.com/rj/new/?page=2 http://www.liqucn.com/rj/new/?page=3 http://www.liqucn.com/rj/new/?pag

1

2

3

Python 移动APP

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。