已经是会员了,怎么提出文字首字母
542
2022-05-28
华为云DLS的配置真的好,根本不是普通开发服务器相比
然而,每张图片都要先从OBS通过网络读到DLS,再用opencv做预处理,特别是网络那里极之耗时。
干脆利用Python线程池充分发挥华为云的性能,话不多说,直接上码
import multiprocessing def imgProc(imagePath): image = cv2.imdecode(np.fromstring(mox.file.read(imagePath, binary=True), np.uint8), cv2.IMREAD_COLOR) ...中间一堆预处理... npimage = img_to_array(image) return npimage pool=multiprocessing.Pool(64) #开64个线程 m=multiprocessing.Manager() data=[] labels=[] asyncdata=[] for imagePath in files: #耗时的才用多线程 npimage = pool.apply_async(imgProc, args=(imagePath,)) asyncdata.append(npimage) #注意:这里不能用get获取结果,否则变成单线程 #不耗时就普通吧 label = imagePath.split(os.path.sep)[-2] labels.append(label) pool.close() pool.join() print("asyncdata len:"+str(len(asyncdata))) #全部做完再取结果 for d in asyncdata: data.append(d.get())
特别要注意get的时机,要等全部做完再get。否则如果在asyncdata.append(npimage)这里get的话,会变成单线程。
效果对比:
从3:52直接降成2:10
当然还是与本地没得比(毕竟是网络IO与磁盘IO是有区别)
(华为云5186张图读取和处理居然比3636张要快,那很明显瓶颈是在网络IO,而不是opencv预处理上)
所以,遇到图片特别多的话,还是先在本地预处理好,尽量做成一个csv,来避免数万次的网络IO带来的延时
(封面图来自https://en.wikipedia.org/wiki/Multithreading_(computer_architecture))
python 深度学习服务 DLS
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。