我用Python连夜离线了100G图片，只为了防止网站被消失

通过正则表达式

在 run 函数中继续增加代码，获取详情页图片素材，并对抓取到的图片进行保存。

def run(category, start, end): # 待爬取的列表页 wait_url = [ f"http://www.cosplay8.com/pic/chinacos/list_{category}_{i}.html" for i in range(int(start), int(end)+1)] print(wait_url) url_list = [] for item in wait_url: ret = get_list(item) print(f"已经抓取：{len(ret)} 条数据") url_list.extend(ret) print(url_list) # print(len(url_list)) for url in url_list: get_detail(f"http://www.cosplay8.com{url}")

由于匹配到的详情页地址为相对地址，顾对地址进行格式化操作，生成完整地址。

get_detail 函数代码如下：

def get_detail(url): # 请求详情页数据 res = requests.get(url=url, headers=headers) # 设置编码 res.encoding = "utf-8" # 得到网页源码 html = res.text # 拆解页码，保存第一张图片 size_pattern = re.compile('共(\d+)页: ') # 获取标题，后续发现发表存在差异，顾正则表达式有修改 # title_pattern = re.compile('') title_pattern = re.compile('') # 设置图片正则表达式 first_img_pattern = re.compile("

上述代码核心逻辑已经编写到注释中，重点在 title 正则匹配部分，初始编写正则表达式如下：

后续发现不能全部匹配成功，修改为如下内容：

，缺少的 save_img 函数代码如下：

def save_img(path, title, first_img, index): try: # 请求图片 img_res = requests.get(f"http://www.cosplay8.com{first_img}", headers=headers) img_data = img_res.content with open(f"{path}/{title}_{index}.png", "wb+") as f: f.write(img_data) except Exception as e: print(e)

完整代码下载地址：https://codechina.csdn.net/hihell/python120，No6。

Python 网站

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。