华为云薛浩走进视频“新时代”

网友投稿 689 2022-05-29

大家上午好,我是来自华为云的薛浩,在华为云负责视频、会议以及IoT等相关产品。今天非常高兴有机会和大家分享华为云在视频领域的一些想法、投入及对产业界的看法。

1.这是一个“视频优先”的时代

首先,表达一个观点,我们认为未来的世界会进入一个“视频优先”的时代。

1.1. 视频成为现代社会的基础服务

我们看到这些年视频整体业务发生了变化——从单纯的娱乐视频逐渐向工业视频发展,影响着人们的工作、生活等方方面面,目前全球大概有3亿人通过视频会议进行办公协作。这种情况是如何产生的?实际上从人类的生物学结构上来说,人类对视频信息更敏感,科学研究表明,人类83%的信息输入是靠视觉进行触发和感知的,视频留下的印象和输入冲击会更大。同时,大脑处理视觉信息的速度比文字信息快60000多倍,这也从另一个层面验证为什么大家对视频有更多的依赖。也正是因为这些特点,视频现在逐渐变成了一个基础服务。

2020年,视频在IDC数据中心的流量占比已经达到了73%,预计在2025年将达到95%以上。从中国及华为云的情况来看,大概有80%以上的网络流量承载着视频,同时存储中50%以上是视频的结构化数据。这意味着人类社会对视频的认知已经从增值创新服务逐渐变成基础服务。

我认为做视频的人不会有35岁现象或45岁现象那种职业焦虑,因为它是终生的行业和事业。引用互联网“点、线、面、体”说法,视频行业是一个大船在前进,所以我觉得非常荣幸,能够和在座各位从事视频相关行业的伙伴一起向未来航行。

1.2. 视频正在改变我们的世界

视频在改变我们的生活。我相信大家手机上都安装了不止一个视频app,很多人1/3的闲暇时间都是在消费视频中度过的,未来也许还会投入到VR社交、AR社交等等。

华为云薛浩:走进视频“新时代”

视频在改变我们的工作。我想在座的各位每天平均要参加一到两场视频会议,我可能每天参加三到四场,以前的本地会议慢慢向远程共享协作方面进行提升,改进工作效率。

视频也在改变行业。以前是人消费视频,现在是机器消费视频。现在所有的监控、摄像头都说明视频正在改变行业,视频赋予了人们感受万物的能力,我相信视频这个空间是足够大的。

今天我们看到有这么大这么广阔的空间,那我们自己又处于一个怎样的位置?

实际上,对于从业者来说,我们站在了时代的临界点——创新逐步地加快:从过去的2D到3D、从1080P到2K再到4K,人类对体验感知的诉求在逐步加快、迭代速度在加快——以前十年一代的技术,现在可能三年一代。

另一个是视频从标清走向高清,从单向走向双向。由俭入奢易,由奢入俭难,当人们已经做到更好的视频体验时,就很难再次回到过去。举个例子:使用过85寸电视机之后,就很难再接受35寸的电视机。现在要思考的是,当前行业整个技术体系是否适应未来大家对视频业务的需求?对视频业务投入的创新和动力是否足够支撑行业的快速迭代?这个产业未来会发展到哪些方向?这也是华为面临视频业务问题时所思考的。

1.3. 视频是一个长价值链业务

第二个变化点是,以前的视频都是单点技术的创新,现在所做的新领域会有一些明确的创新焦点。而行情所示,视频的产业链非常长——从基础的理论研究、到标准和专利、再到芯片、到工业化的应用。在工业化应用过程中,从生产、制作、传输、分发再到最后的消费,产业链非常长,例如RTC、VR、AR这样的技术,光单点的技术创新是很难完成真正的商用。同样视频产业也如此,产业链越长,产业的组合度、准备度也就越高。人们今天看到的每一个视频场景,新产业的推出都需要各个行业的紧密配合以及整个产业链互相的匹配。

1.4. 端-边-云协同时代,突破时延极限

未来如AR、VR这种体验的需求呈现着创新快、质量高、密度大的特点,所以我们在做技术创新时从以前专门在云上或者专门在端侧变成了“端、边、云”的技术创新。

以VR为例,它涉及到许多基础研究的科学:计算机图形领域、语音识别、人工智能、建模压缩传输等。现在视频的场景越来越多样化,智能终端也越来越强,所以做业务时要综合考虑算力分布、消费端分布、如何做好质量成本以及延时和体验的平衡。我认为需要产业链打破行业技术的天花板才能够发挥全链条的整体优势、突破单点限制。

华为本身有基础研究、硬件、操作系统、传输、云的技术优势,所以对华为来说使命是如何提升行业天花板。我们尝试在无线网络下,做到业界最极致的时延。目前行业内大家能普遍实现的时延在200ms左右,基本达到了极限,但是200ms可以做视频会议,却很难做远程和声演唱,也很难做VR、AR直播和互动。那么如何把行业“端到端”的延迟做到极致?

举一个例子,上图是华为联合上海交通大学做的技术实践,环境是在上海交通大学无线网络覆盖条件下,通过华为云的边缘及云上,再到华为企业内网的无线媒体实验室,端到端用1080P/30帧为例,尝试如何优化时延。

实际上我们做了几个协同点:第一个协同点是从终端的感知和编解码出发,使用的是华为终端(P系及Mate系手机——这个手机因为华为的鸿蒙生态、能力及硬件,做了许多优化)。在图像的采集成像和编码封装上基本缩短了一半延迟。大家都知道华为的应用在公有云上而不在运营商的网络里,所以从运营商网络、核心网再到公网上有很多跳,中间可能还有防火墙。我们在网络空口和媒体传输这个阶段,尤其是针对媒体传输做了很多优化,加了一些私有协议或者标签让它识别为媒体属性的流,针对媒体属性的流做优化可以降低非常大的延迟,同时还有一些下行如WI-FI、无线,我们多路径地分到下行后再拼装。

最后是在端侧处理时,一些AI的插帧、分帧等。我们看到通过“云、管、端、芯、媒”的互感联动,其实可以把“端到端”的延迟做到100ms以下,极限时可以做到60ms。

昨天和虎牙同学交流时,我也提到希望业界的应用玩家们能够参与进来。一方面是商业,另一方面投入科技前沿的创新。是否可以快一点将未来的技术商品化,把产业链的准备度增加一些,希望通过和业界合作从而找到更好的解决行业痛点的方法。

2.产业链现状:一边向左、一边向右

前面介绍了产业链的现状,接下来再讲一讲华为在中国市场看到的产业问题。看一看中国产业链是否准备好面向未来视频业务演进。

2.1. 中国视频消费内容极其繁荣

我们先看一组数据(上图),毫无疑问,中国是视频消费大国。纵观全球视频类app下载数量,中国占据50%以上,榜首是字节跳动的抖音和TikTok,Top10的应用中中国占到50%,同时按照观影人数和次数统计,中国也是世界电影市场票房的第二大市场,观影人数已经超过18亿人次。

在全球的网络流量中,中国的网络流量占20%,其中有80%是视频流量。对比欧美国家,可以看到中国从21点开始网络流量急剧升高、直到凌晨1点,中国的娱乐视频是丰富多彩的。

2.2. 中国有差距、提升快

与之相匹配的,下面和大家介绍中国在基础研究投入的状态。

做视频最基础的是编解码,这个领域其实是应用范围最广的,刚才宋利老师讲了很多标准的情况及发展演进。整体来看,主流标准长期被国外垄断,比如MPEG、H.26x系列,中国的话语权很弱。在过去,每做一个MPEG设备,要支付很多钱,就像今天我们做手机要给高通交“高通税”一样,中国每年都要支出百亿级专利许可费。但也有一个非常好的现象,最近五年中国厂商进步很快,特别是华为、字节跳动、联发科、腾讯、阿里巴巴和快手做出了表率,尤其是发布了中国的AVS编码,这其实和以前的WC、CGM一样,中国一定要有话语权,在这个过程中,中国企业要积极参与。我希望无论是大厂同事或是初创公司同事都能够关注并且支持中国自己的标准和应用。

2.3. 图形处理专利多却不强

在GPU图像处理领域,实际上真正的基础专利在日、美、韩三国。虽然中国的GPU专利多,但是不强,尤其是四方认可的基础专利只有14项,排名第七。在基础专利上,中国主要是科研机构在参与,企业参与感很低,表单TOP20中都没有中国企业。

2.4. 计算机视觉领域,研究与技术应用脱节

计算机视觉领域可以被分成很多类,比如生物合成视频、视频感知、运动追踪等。之前可能讲了许多应用场景,从应用场景到基础实践、专利,国内都处于脱节缺失的状态。目前从申请专利来看,掌握话语权的是美国企业,中国有些科研院所发表的专利主要聚焦在生物特征识别,可能与安防监控行业发展较好有关。但像一些其他的基础研究方面,我们还是以应用为主。

2.5. 视频制作生产领域,效率低下、基础工具受限

接下来是视频内容制作领域。前段时间,我参观了广电媒资行业,传统的省电视台,内心深受震撼,很多电视台在传统媒资制作和内容生产领域基本是美国标准、日本设备,广电媒资行业很多企业都被绑架,将美国的软件加日本的硬件设备做成一体机,这既没有做到技术创新、也没办法向未来演进。广电行业是未来视频发展一个非常重要的领域,我们不能只关注互联网视频,要看到在影视制作领域也有非常大的空间。影视制作中有许多行业痛点和问题,比如内容的上传分发。现在很多是上传之后使用硬盘人工方式去做,我相信有一天,内容制作和生产可以用在云上,方便所有后续视频分发和消费。这也是视频制作领域的一个问题,基础工具几乎为零。

2.6. 虚拟现实技术领域,美日欧已领先布局

下一部分是大家很关注的VR、AR部分,大家都认为这是未来业务的高地,华为也有许多VR、AR的应用,包括展台展示了华为云带来的虚拟数字人。但是如果从AR、VR向下看基础专利、投入工具,可以看到它们涉及到了方方面面,如光学工程、语音成像工程、人工智能、3D等等,这里有非常大的差异。从上图表格中,我们看到专利申请数量的TOP20中只有一个是中国机构- 一所高校,它正在做仿真模拟,与消费级应用不太一样。我们发现从基础专利到企业应用的过程非常漫长,前面说到Facebook投入非常大精力去做,但国内没有企业投资在基础研究上,在此我也呼吁各位,如果你是主管请告诉老板投入基础研究,如果是开发者请做你认为对的事情,这是在虚拟现实技术领域的情况。

2.7. 路在脚下 —— 改变行业,从你我做起

综合以上现象,首先中国是当之无愧的视频业务大国,前途是光明的,视频应用或内容消费极其繁荣,可能多于美国和欧洲。但同时,视频基础技术很薄弱,所有的应用几乎在做同质化竞争。基础专利的不足是漫长的过程,中国的产业话语权非常少,容易被国外标准所左右,所以面向未来的创新是不足的。

如何做未来的投入和创新?华为探索了很长时间,有几个方面可以跟大家分享。

第一,作为视频行业从业者、技术爱好者和关键力量,需要共同改变现状,让公司改变的前提是开发者的改变,所以改变行业,从你我做起。

第二,加大基础技术创新。除了做应用外,还要做基础技术投入,尤其是行业基础技术投入,前面也看到了行业的应用,在基础的,尤其和自己公司相关的基础技术专利,大家需要多投入一些.

第三是在某些发展成熟的行业中,中国的技术实力存在一定差距,并且很难获得显著的突破,就像中国为什么不投入做燃油车而做电动车一样,燃油车专利及整个产业链已经被日本、德国所垄断。同样在做视频产业时,前面讲到广电媒资行业基本是美国专利、日本设备,所以我们要做创新,选择的赛道应该是在云上的技术创新和基于云原生服务的创新。

第四是要做好产业生态,要与学术界、高校及研究院所建立合作,将企业遇到的关键技术问题和高校共同进行突破,实际上这不只是华为,其他许多大企业也在做。

3.面对视频行业,华为在做些什么

前面介绍了对行业的认知和看法,现在分享华为是如何做的。

从1995年开始,华为就投入ICT基础设施和视频相关行业,最初与广电做IPTV,做一些技术的编解码;2012年,在中国成立了媒体研究院及实验室,有许多人物都是从这个实验室走出来的,这就是行业的进步和发展。华为的业务发展也很广,比如终端上的摄像技术、云原生技术,华为投入的团队和资源很大,在这个过程中有许多合作伙伴和开发者与我们一起。

3.1. 专注视频基础技术、战略投入

面对视频行业,基础技术创新阶段应该如何投入?

华为的视频技术布局实际上是“四横八纵”:“四横”是硬件、网络、计算/存储和AI,“八纵”是从采集、生产、音频、编解码、到传输,这也是重点技术单点领域,它们是纵横交错的。从1995年到现在,华为在基础音视频技术的投入超过100亿,尤其现在是视频产业的高速发展期,创新焦点很多,华为每年在视频创新投入的基础研究超过20亿美金,所以视频的技术研究和应用开发需要耗费大量资源。

3.2. 主动拥抱云,构建云原生的视频世界

从未来开发趋势角度以及行业化角度,现在的创新焦点基本是聚焦于云上,而且是原生于云。因为云上技术创新迭代很快,现在在云上做技术创新和应用有几个特点:第一,原生的视频是Born in cloud,不用考虑怎么上云、可靠性等问题,因为它是原生于云的视频。第二,Grow with cloud,大家知道云的迭代发展速度是非常快的,云用DevOps的开发方式,我们的视频应用技术也是这样迭代的。第三,Benefit from cloud,云有许多比较好的特性,比如随时随地、弹性收缩、成本控制、业务指标的保证,这些都可以天然的为视频所利用。所以在云上做业务的创新和应用会有非常好的收益。

3.3. 面向未来,主动布局,持续创新

最后一点是面向未来。前面讲到了很多技术创新,其实VR、AR基本形成了共识,这两个技术领域的基础技术研究上有许多断点,比如3D建模、光栅、渲染全视角6Dof,华为也做了很多技术创新。

华为一贯将技术创新转化为商业,如自由视角、VR、河图AR等等。我们发现技术领域从最开始的实验室验证走向商业,这部分的进展比想象中更快。当然,在和产业链合作的同时,政府主导的力量很关键,尤其在最开始的技术引进孵化阶段,这是高强度的投入,单从企业方面来说,商业化方式是不良好的,和政府合作可以帮助企业走过技术猎捕期。华为在马栏山视频文创园和江西VR中心也做了产业园,欢迎各位开发者入驻。

最后,在VR、AR领域,发展刚刚起步,企业要吸取过去的经验,无论成功或是失败。我们要建立自己的产业联盟和标准组织,如OpenXR、中国虚拟显示联盟等,提前做好业务布局。

3.4. 积极参与国级/国内标准联盟活动、贡献力量

接下来是标准和制定。中国开发者非常关注标准,并且发现标准制定不好时会自己编改,但是我认为将编改后的标准创新回馈给社区形成良好循环是非常重要的,我们呼吁大家更加关注标准和产业联盟的创建,欢迎大家加入华为在国内的标准和产业联盟。

截止2020年,据统计华为在全球的视频相关标准专利贡献约2.4万件,其中9000多件在国内,10000多件在海外,我们也希望与大家一起构建技术专业的交流,这也是未来技术交换的筹码。

3.5. 培养视频产业人才

最后是人才,人才是视频业务的关键,要从基础抓起。视频从业者只有20万人,没法支撑未来的发展。从行业内部感知来看,视频人才是最难获得的,大家都是招收人才、却没人培养人才。再看视频的技术点,从光器件与Sensor、计算机视觉、计算机图形学、计算机摄像学,高校和大厂在做培养人才的过程中都只是要会写代码的人,而实际上这和产业的要求差异很大,所以我们希望在基础科学研究、基础技术、技术创新方面可以和高校合作,与高校课程达成共创和研究。就此,华为针对性同部分高校做研究,比如浙江大学、北京大学、清华大学等,也和行业的人才做基础研究。希望大厂做基础技术研究时可以考虑和高校合作,共同探讨基础技术领域,也希望各位工作之余多培养人才,将视频产业链规模做得更大,行业更加繁荣。

那么今天相聚在这里,相信大家都是热爱技术,相信产业发展,心怀梦想的人。我们相信现在的投入一定会在未来取得收益,未来5年、10年的视频行业一定相较于今天更有发展。希望与大家一起创新、推动产业发展,激发行业的新生,一路向前走向奔腾的时代。

4.华为云原生视频服务 — 重构体验,加速创新

最后,也希望和大家分享华为云视频服务做的事情,华为云原生视频服务是基于华为基础ICT的创新,将过去30年的基础领域积累作为云服务开放给大家,支持全行业、全场景、全云化,欢迎大家访问官网,获取最新资讯信息,也欢迎大家变成华为云的开发者,共同推进行业的发展。谢谢大家!

视频

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:《构建之法》笔记
下一篇:【云驻共创】“大鹏一日同风起”Kunpeng BoostKit 使能套件如何实现大数据场景倍级性能提升?
相关文章