Python爬虫的多线程使用方法

1.构造线程

构建新的线程有两种方法，一种是直接通过Thread方法构建一个线程，另一种时通过继承Thread类，重写run()方法构建。

Thread(group=None,target=None,name=None,args=(),kwargs={})

groups ：线程组，这个暂时不用管，官方文档是这样说的：“group should be None”，所以我们可以不写就行。

target ：我们要使用线程的方法

name ：线程名

args/kwargs ：传给方法的参数。要注意，如果只有一个参数，元组记得加个“，”，否则就会报错。

2.其他实例方法

setDaemon(bool) ：设置守护线程，参数默认为False，如果需要设置，则设置为True，将子线程设置成守护线程后，主线程结束，无论守护线程是否执行完毕，守护线程和主线程一起停止。看一下下面这个示例就知道了。

守护线程有两种设置方法，守护线程一定要在线程执行前设置，否则无效。主任务结束后，守护线程其实还没有结束，但也一起随主线程结束了。

start() ：这个不用再多介绍了，就是启动线程

join(timeout) ：这个就是为了防止主线程直接结束，先阻塞当前进程，直到调用这个方法的进程终止，或者达到设置的可选参数timeout时限。

setName(anme)/getName(name) ：设置/获取线程名字

isAlive() ：返回线程是否在运行。

enumerate() ：返回正在运行的线程名

activeCount() ： 返回正在运行的线程数

3.锁，可重入锁

具体方法如下：

acquire([timeout]): 请求获得锁定。使线程进入同步阻塞状态。

release(): 释放锁。使用前线程必须已获得锁定，否则将抛出异常。

关于线程的锁的案例，这里给出一个简单的指令锁的示例，主要看下，锁的作用。

简单的线程代码如下:

import time

import threading

def spider(a):

print("启动任务")

print(f"执行的参数为{a}")

time.sleep(5)

print(f"结束任务{a}")

print('已经结束任务')

def main():

start_time = time.time()

for i in range(1,5):

s1 = threading.Thread(target=spider, args=(i,))

s1.start()

# 等待两个子线程结束再结束主线程

s1.join()

end_time = time.time()

total_time = end_time - start_time

print(f"所有任务结束，总耗时为：{total_time}")

main()

到这里已经简单的介绍完毕。

Python 任务调度 多线程

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。