专家系统的类型有哪些(什么是专家系统?它有哪些基本特征)
539
2022-05-30
爬虫项目在编写完成后往往需要部署到服务器上,以便定时执行。你一定很好奇,项目从部署到执行的过程会经历哪些阶段?如何运行Python 的 EGG 包?项目版本控制是如何实现的?具体的执行工作是如何规划的?如何为任意的 Python 项目生成对应的运行日志?任何 Python 项目都可以放到服务器上定时调度吗?
本期,华为云·云享专家团队邀请到云享专家、爬虫工程师韦世东先生为大家讲解《Python项目部署和调度》的相关内容,本次课程以著名的爬虫部署服务 Scrapyd 为例,可以深入了解 Python 项目部署与调度原理,并设计一个通用的 Python 项目部署“架构”。
【云享专家公开课】Lesson 3:
本次课程将通过 Scrapyd 来了解爬虫项目或者说 PYTHON 项目部署和调度的基本操作与流程。
【案例】动手演示Scrapyd 的一些基本操作。
【==实际操作==】
第一步:安装 Scrapyd 的客户端和服务端。然后按照 Scrapyd 的文档要求对 Scrapy 项目进行配置,也就是打包前的配置工作。
第二步:可以开始将项目打包并部署到 Scrapyd 服务上。
第三步:接着通过命令调度 Scrapyd 服务上的项目,并查看项目运行后产生的运行记录和项目日志。
客户端安装命令为:
Pip install scrapyd-client
服务端安装命令为:
Pip install scrapyd
因为要演示项目的打包,所以我们还需要安装 Scrapy 框架。然后生成一个空白的 Scrapy 项目。
Scrapy安装命令为:
Pip install scrapy
Scrapy、Scrapyd 和 Scrapyd 客户端安装好之后,就可以开始操作了。
Scrapy 项目部署流程为:生成 Scrapy 项目--更改spider 文件--更改 cfg 文件--启动 Scrapyd 服务并讲解界面--打包命令--回到网页看项目名称--按照网页提示调度项目--查看运行记录和日志。
华为云·云享专家简介:
延伸阅读:
Python 华为云APP
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。