二十一Python爬取百度文库word文档内容

网友投稿 724 2022-05-29

@Author:Runsen

百度文库在我们需要查找复制一些文档的时候经常用到,下载要收费,开会员,一个字都不给复制,这个时候初学python的小伙伴肯定有个写个百度文库爬虫的想法,这里我给各位分享一下一个简易但实用的爬虫脚本,提供url,生成txt文件。

首先获得url(以这个为例子:https://wenku.baidu.com/view/4e29e5a730126edb6f1aff00bed5b9f3f90f72e7.html )

首先先get一下,我们确认需要爬取的数据是不是异步加载的;如果是异步加载的直接爬取网页是爬不到的。很明显就是前后端分离,

这应该是Ajax交互,所以我们直接找接口就好了。

二十一、Python爬取百度文库word文档内容

这个就是纯肉眼找了,我自己找了挺久的发现数据都存在0.json的文件下

一旦我们构造好了url就能获取到json格式的数据了,之后的操作就是清洗文本了。

下面是一个json的网址

https://wkbjcloudbos.bd

JSON Python

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:【BABY夜谈大数据】计算文本相似度
下一篇:前端开发基础入门篇——HTML
相关文章