数据透视怎么弄(数据透视怎么做)
626
2022-05-29
2020/11/14更新
目前HiLens Studio(Beta)支持安装第三方库了(开发团队真是给力,这么快就做好了),在HiLens Studio(Beta)新建Terminal,执行
pip install --user scipy
即可完成scipy的安装,注意安装后会报一个错误,但实测发现不影响本次使用,大家可以放心使用。
之后,我们按照下面的教程直接在HiLens Studio(Beta)中就能看到最终效果了,太棒了。
目的
基于ModelArts与HiLens实现端云协同开发行人检测与跟踪方案:
在ModelArts上完成数据集的标注与发布,使用AI市场算法进行训练,训练资源可选Ascend 910或GPU;
在HiLens Studio (Beta)中转换模型,调试代码,实现行人检测与跟踪以及简单人数统计;
整体开发在华为云上完成,从零开始,由ModelArts无缝集成到HiLens,最终可部署到HiLens上,独立运行。考虑有些同学可能没有HiLens,那么可以在HiLens studio里运行程序,但由于HiLens Studio中暂不支持安装第三方库,所以仅能支持实现检测部分功能。
注意事项(必看):
1. 如果部署到自己的HiLens上运行,请先在自己的HiLens上安装scipy。安装可参考如下教程:
https://bbs.huaweicloud.com/forum/thread-62722-1-1.html
https://bbs.huaweicloud.com/forum/thread-61868-1-1.html
https://bbs.huaweicloud.com/forum/thread-81238-1-1.html
2. 整体开发过程基本免费,训练使用的是Ascend 910,目前也是免费使用的。但涉及OBS和HiLens Stduio(Beta)的使用,会产生少量费用,请注意个人余额,避免欠费。
3. 请提前申请HiLens Studio公测(如未申请,可采用旧版本开发模式,但操作稍麻烦一些)
公测申请链接:https://www.huaweicloud.com/product/hilens/hilens-studio.html
ModelArts上的准备工作
1. 准备数据集
这里就要说一下ModelArts AI 市场的数据集功能了,可以很方便地实现数据集的共享,不需要开发者自行下载,再上传到OBS桶等一系列复杂操作了,非常棒。
我已经将数据集发布到ModelArts的AI市场的数据集,大家订阅下载使用即可。数据集名称为person-4192,包括标注好了的4192张Person图片。注意这里最好选择保存数据集到OBS桶,之后的操作就和自己导入数据集到ModelArts一样了,来,有图有真相。
数据集备用链接为:https://marketplace.huaweicloud.com/markets/aihub/datasets/detail/?content_id=3d67fd03-2e16-4c70-908f-feb8f50334b9
已经启动下载了,在“个人中心”的“数据集”下的“我的下载”中可以看到目前的下载进度。
我的下载备用链接:https://console.huaweicloud.com/modelarts/?region=cn-north-4#/aiMarket/deliverCenter/myDownload
当进度达到100%的时候,我们就可以导入数据集到ModelArts了。来ModelArt管理控制台,来创建数据集吧。
ModelArts管理控制台备用链接:https://console.huaweicloud.com/modelarts/?region=cn-north-4#/dataset
数据集导入需要一定时间,请耐心等待,导入完成后,显示100%,点击数据集进入,开始发布数据集,以便训练使用。
发布数据集需要一点时间,稍等即可。
2. 订阅算法,创建训练
我们使用的是ModelArts AI市场的YOLOv3_Resnet18算法(Ascend 910训练版本),点击订阅,即可免费订阅使用。
算法备用链接:https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=7087008a-7eec-4977-8b66-3a7703e9fd22
此外,还可以使用如下两种算法:
按照指引逐步操作即可,直到如下图界面,
之后会跳转到算法界面,先同步算法,后创建训练即可。
训练作业参考配置如图所示,其余训练参数保持默认即可。
之后就是等待训练完成了,预计耗时58分钟,请耐心等待,趁着这个时间,咱们聊聊在HiLens Studio(Beta)调试部署吧。
HiLens与HiLens Studio(Beta)上的准备工作(HiLens 可选)
1. 部署代码
来,让我们打开HiLens Studio(Beta)来一探究竟吧。注意:需要提前申请公测,才能使用哦。
初入伊始,我们看到的是亮白色的操作界面,点击新建工程即可,也就是“New Project”
PS: 我个人更喜欢暗黑色,所以我打算调成暗黑色,类似于Visual Studio那样,而HiLens Studio很贴心提供了界面格式的切换,来试试吧。
我选择的是Dark(Visual Studio),还有很多其他选择,大家可以试试,选择一种自己喜欢的。
来看看我选的效果吧,如下图所示,怎么样?有没有一种使用Visual Studio的感觉,很不错吧,特别是晚上使用,很护眼。
来来来,言归正传,来开始吧。选择如图所示技能模板。
之后,点击右侧的“确定”,就能看到新工程了。
我们首先来完成模型转换外的其他操作。
(1)上传代码
自下面的下载链接下载代码,解压,得到如图所示的文件结构,上传到新建工程的src/main/python目录下。
代码下载链接为:
链接:https://pan.baidu.com/s/1TfNHSlMySvv0iNrxF38eyw
提取码:u6ji
在新建工程的右侧目录下,找到src/main/python,删除该文件下main.py和utils.py,之后上传我们刚才下载的代码,如图所示。
(2)上传测试视频
和上传代码类似,先在如下链接下载测试视频,解压缩,上传到test目录下。测试视频较大,稍等一下即可。
测试视频下载链接为:
链接:https://pan.baidu.com/s/1AgeMXXCEb30iBd2emNUcdg
提取码:cksa
完成以上两步,最终可得到右侧目录结构为:
2. 调试部署
如果你做到这里了,恭喜你,你已经成功了一大半,就差模型转换了。也许58分钟已经过去了,咱们来看看模型转换吧。
模型转换的方式有多种多样了,有3种吧,分别是:
(1)ModelArts上完成模型转换,得到.om模型,导入到HiLens Studio;(在ModelArts模型转换,可参考该算法介绍界面的说明)
(2)导入.pb模型,在HiLens云端控制台完成模型转换;
(3)导入.pb模型,在HiLens Studio中使用命令完成模型转换。
大家可以选用自己喜欢的方式,这里选择的是第3种方式,我觉得命令行简单快捷,很舒服,一起来试试吧。
首先,要记得我们当时训练作业设置的模型训练输出路径哦,来看看吧:
找到训练作业输出路径下的frozen_graph文件夹,导入insert_op_conf.cfg和yolo3_resnet18.pb,不过一次只能导入一个文件,分两次导入即可。
导入成功后,如图所示。
下面开始模型转换吧。
在新建的Terminal输入如下命令,完成模型转换:
/opt/ddk/bin/aarch64-linux-gcc7.3.0/omg --model=./yolo3_resnet18.pb --input_shape='images:1,352,640,3' --framework=3 --output=./yolo3_resnet18 --insert_op_conf=./insert_op_conf.cfg
最后的succes表示模型转换成功了。
如果大家遇到什么问题的话,可以参考文档或到论坛提问哦。
文档链接:https://support.huaweicloud.com/usermanual-hilens/hilens_02_0098.html
论坛链接:https://bbs.huaweicloud.com/forum/forum-771-1.html
现在离成功就差一点点了,就是把模型放入我们代码中指定的路径,就是把刚才转化得到的.om模型拷贝到model文件夹下,
很简单的,赶快来吧。
对了,原来model文件夹下的driving_model.om模型可以删除掉,先前导入的yolo3_resnet18.pb和insert_op_conf.cfg也可以删除掉,这样可以减少安装到HiLens上的冗余,安装也能快点。
好了,如果你已经做到这里了,恭喜你,你已经成功了,可以安装到自己的HiLens上试试了。注意,一定要按照文中最前面注意中说的,在自己的HiLens上安装scipy库哦,否则会报错的。
同时,需要注意的是,因为HiLens Studio暂不支持安装第三方库,所以无法安装scipy库,也就无法在HiLens Studio中运行得到最终结果,但scipy库主要涉及的是跟踪部分,行人检测部分还是可以实现的,稍微修改一下代码就行了,我做了处理,大家只要用下面代码取代src/main/python下的main.py就行了,简单来说就是删除原来main.py下所有代码,复制下面全部代码粘贴到main.py就行了。
# -*- coding: utf-8 -*- # !/usr/bin/python3 # SkillFramework for YOLOv3_Resnet18 Person Detection and Sort Track # 导入相关库,其中MySort库用于跟踪 import os import cv2 import time import utils # 用于跟踪和计数(1) # import MySort import hilens import numpy as np def run(work_path): # 特别注意:参数要与创建技能时填写的检验值保持一致,这里使用的是hello,可自定义 hilens.init("hello") # 明确模型路径,并创建模型,用于推理 model_path = os.path.join(work_path, 'model/yolo3_resnet18.om') model = hilens.Model(model_path) # Hilens Studio中VideoCapture如果不填写参数,则默认读取test/camera0.mp4文件,这里使用的是自行上传的TownCentreXVID.mp4 # 在Hilens Kit中不填写参数则读取本地摄像头 camera = hilens.VideoCapture("./test/TownCentreXVID.mp4") # 图像通过HDMI输出到屏幕 display_hdmi = hilens.Display(hilens.HDMI) # 图像通过RTSP实现无线连接输出,其中的IP地址取决于具体网络,请根据实际情况修改 # display_rtsp = hilens.Display(hilens.RTMP, "rtmp://192.168.43.40/live/stream") while True: try: time_start = time.time() # 1. 读取摄像头输入(yuv nv21),在这里读取的是test/camera0.mp4 input_nv21 = camera.read() # 2. 转为RGB格式,并缩放为模型输入尺寸(DVPP and AIPP) input_rgb = cv2.cvtColor(input_nv21, cv2.COLOR_YUV2RGB_NV21) img_preprocess, img_w, img_h = utils.preprocess(input_rgb) # 3. 模型推理 output = model.infer([img_preprocess.flatten()]) # 4. 结果输出 # 获取检测结果 bboxes = utils.get_result(output, img_w, img_h) # 在图像上画框 # 用于跟踪和计数(2) input_rgb = cv2.resize(input_rgb, (640, 352)) output_rgb = utils.draw_boxes(input_rgb, bboxes) # 5. 目标跟踪 # frame = MySort.MySort(bboxes, img_preprocess) # frame = cv2.resize(frame, (1920, 1080)) # 6. 输出图像,必须是yuv nv21形式 # output_nv21 = hilens.cvt_color(frame, hilens.RGB2YUV_NV21) # 用于跟踪和计数(3) output_nv21 = hilens.cvt_color(output_rgb, hilens.RGB2YUV_NV21) display_hdmi.show(output_nv21) # display_rtsp.show(output_nv21) time_frame = 1000 * (time.time() - time_start) hilens.info('----- time_frame = %.2fms -----' % time_frame) except Exception: break if __name__ == "__main__": run(os.getcwd())
其实就是改了几行代码,取代了跟踪部分,感兴趣的小伙伴可以对比一下代码的差异,了解一下,友情提醒,我在修改的代码部分做了注释,注意看注释哦,不得不说好的注释和文档还是很关键的,这也是我加注释和写这篇文档的原因了。
好了,赶快试试吧。
最后按照惯例,就是效果展示环节了。
如果你没有HiLens,那么在HiLens Studio中运行,看到的效果,会是这样的:
备用视频链接:https://v.qq.com/x/page/x3162dax8va.html
如果你有HiLens,那么部署到HiLens上运行,效果会是这样的,注意,图中左上角的字和画面中的横线颜色和具体内容可调整,你看到的不一定是画面中的黄色字样和横线。
备用视频链接:https://v.qq.com/x/page/m3116smfqhu.html
画面中左上角从上到下,依次显示为当前画面行人数量、通过画面中间黄线的行人数量以及总行人数量。怎么样,是不是很有意思?赶快来运行试试吧。
好了,感谢大家花费时间读到这里,谢谢大家的支持。同时,大家也可以将上面自己开发的技能,或者对上面的技能优化或做二次开发的话,可以完成后,发布到技能市场,方便更多开发者学习使用,这里我也将上面技能发布到技能市场了。链接为:https://console.huaweicloud.com/hilens/?region=cn-north-4#/skillMarket/skillMarketDetail/a5ff173df419448795f2b97283b1a362/Pedestrian_Track_Count-HDMI/purchase/1
PS:发布技能的话,一定要选择个见图知意的图标,和尽量详细的技能介绍说明,这一点可以参考官方发布的技能哦。
注意:
本项目仅供学习分享使用,不保证模型精度和人数统计准确性,所有代码均可从开源渠道获得。
AI开发平台ModelArts EI企业智能 AI 华为HiLens 昇腾
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。