Qcon'2018 全球开发者大会(上海站)参会总结(AI篇)

网友投稿 659 2022-05-29

今年是Qcon大会举办第九年,参会主题30+,依旧是以互联网技术为主的拼盘大杂烩式的技术分享,AI、大数据、编程语言、DevOps、互联网架构、运维等等,几乎所有现在当红的技术实践都有涉及,不管你是从事哪个技术领域,总会找到几个主题与你的兴趣或是工作内容相关,信息量较大,同一时间都是7个议题分享并行,参会最好是按照一条主线进行,否则很容易晕菜了。

我主要参加的是AI(机器学习、深度学习)实践相关的场次,虽然Qcon不是一次专门的AI大会,在AI领域的影响力也与NIPS、AAAI等顶会相去甚远,但Qcon的分享议题一直强调实践驱动,所有参与的技术分享都是在各公司实际落地并规模上线的技术方案,所以,对于AI的应用,Qcon更接地气一些,而且分享嘉宾大都来自于阿里、蚂蚁金服、新浪等一线互联网大厂,从中可以洞察到AI在工业界的工程实践、算法优化等方面的一系列趋势。

AI依旧是各大IT会议的“当红炸子鸡”,如果会议主办方不安排AI相关的议题,那就是跟银子、跟人气过不去,这次Qcon和AI相关的议题大概占到了五分之一到六分之一,但凡大厂的AI议题分享,不管有没有干货,场场爆满,找个地站着都困难。

首先我先分享下参加这次会议对于AI在工业界应用的一些观点,这些观点有些是业界已经达成的共识,有些则属于我的个人看法,不一定正确:

一、AI+时代来临,AI技术正在加速往各个行业渗透

与前两年提出的“互联网+”如出一辙,AI+物流、AI+医疗、AI+广告、AI+汽车……,除开NLP(自然语言处理)和CV(计算机视觉)两大AI传统优势领域外,传统产业如物流、广告投放、金融风控等也开始引入AI技术,并且已经取得不错的效果。例如满帮集团(中国最大的城际整车物流信息平台,估值超60亿美元)采用深度学习的车货匹配调度方案将货源订单转化率提升了5个百分点,同时年节省货车燃油费用860亿元。

二、脱离业务场景谈AI都是耍流氓

以后最缺的可能不是AI算法工程师,而是懂业务的AI工程师。在今后相当长一段时间内,都还是弱人工智能,不存在适用各业务场景的大一统模型和算法,模型效果的好坏,很大程度上取决于你对业务场景理解有多深刻,要知道,从算法角度优化模型是很难的,但从业务角度出发,注重数据质量、特征工程,效果往往是事半功倍。例如同属于计算机视觉领域,视频敏感信息过滤和人物行为识别的模型肯定就不一样,这边采用CNN的4层金字塔模型可以跑出98%的准确率,照搬拿过来应用到你的业务场景可能就是一塌糊涂。

三、AI应用级公司的工程同质化

除开google、英伟达、微软这些AI巨头能引领业界趋势,有能力独自研发机器学习框架、AI芯片等,绝大多数公司都属于AI应用级公司,这些公司基本都采用:

50%AI工程 + 50%算法优化 的模式迭代进行模型的开发和优化。

这些公司的AI工程都通过自研机器(深度)学习平台承载,基本都包含数据管理、数据标注、模型管理、GPU/CPU资源管理等功能,深度学习框架不是tensorflow就是caffe,Pytorch、Keras,会上看了几个公司自研的深度学习平台,功能和架构都差不多,和我司2012的AIFlow也大体相似。算法优化方面也是基于深度神经网络的各种变种模型(CNN、RNN、DNN、PNN、DeepFM等等)来进行参数调优、特征提取等工作。

四、机器学习、深度学习等技术会成为IT从业人员的通用技术栈

现在越来越多的软件、应用内嵌AI模型,以后AI模块可能会成为软件架构中的“标配”,这些AI模型和业务场景高度匹配,不可能都由AI算法工程师去完成,既懂业务又懂AI的工程类人才是各企业未来最需要的。随着各深度学习框架对算法的高度抽象、GPU/TPU等硬件性能越来越强对于算力的支撑,AI应用的门槛将会进一步降低,AI模型开发将不再神秘,开发一个AI模型就像开发一个app一样。

五、数据将会是公司最重要的资产之一

在现阶段下,AI都是数据喂出来的,这是业界的通识,谁掌握了海量的高质量数据,谁的AI应用就可能占得先机。现在AI应用领先的公司,首先都是一家大数据公司,例如google(数据来源:搜索引擎)、facebook(数据来源:社交网络)、阿里(数据来源:用户交易行为)、特斯拉(数据来源:行车数据)等等。公司间的合作可以交换技术、商业模式互补、渠道共享,但除非是嫡系或是全资子公司,数据都是不会开放给外部的,会上上汽集团IT事业部的总经理就明确表示,虽然他们和阿里、华为都有深度合作,但数据是绝不可能共享出去的。

六、智能化和隐私保护的矛盾会长期存在

既然数据是AI的“粮食”,那所有厂家明里暗里都在挖空心思收集用户的数据,不仅手机上的app这样干,现在只要是能联网的设备,如智能音响、汽车、手表等IoT设备,都在收集数据。用户在数据保护方面处于绝对的劣势,尤其是在中国,除非你完全放弃这些设备,和互联网、智能化彻底绝缘,但估计也没几个人做得到。你的所有行为数据、购买数据等都被厂商掌握后,厂家通过AI,就有可能对你的决策作出影响和牵引,这其实是很可怕的,你在今日头条、网易上浏览新闻,会发现你和别人看的并不一样,这就是厂商通过AI选择性推送一些新闻给你,慢慢地改变着你的浏览习惯,舆情监控和公众情绪牵引是每天都在互联网上发生的AI应用。

七、AI只是手段,不是目的

一个公司或是一个产品成功的因素有很多:商业模式、产品质量、用户体验等等,AI更多的是在这些基础上辅助进行改进,解决的更多的是1->100的问题,而不是0->1的问题,一个好的AI应用,对于数据、算力、算法的要求也较高,投入成本较大,不一定适合某些场景,这些场景可能通过自动化或是规则匹配就能解决问题,简单又高效,只要能达到业务目标,多种手段都可以尝试。

以下是我选取了几个有参考意义的实践分享:

1、移动端测AI部署及应用(蚂蚁金服)

现在大部分的AI应用还是在云端/服务端,移动端侧主要是做数据收集,并做一些简单的计算,上传到云端进行模型训练和分类判决,再将结果回传移动端侧。但在实时性、数据保护、成本等几方面来看,存在较大的瓶颈,而移动端如果能部署AI模型,将会有很大的优势,

但将模型和计算框架部署到移动端,面临几个较大的问题:

蚂蚁金服给出的解决方案是自研的xNN,这是一个专为移动端部署AI的解决方案。

后台以xqueeze工具链为核心,xqueeze支持对多种深度学习框架模型的压缩优化,能实现50倍的尺寸压缩和更快的模型运行能力。

前台部署剪裁后的计算框架,并包含模型下发、数据统计等功能,能够不更新客户端的情况下,动态下发更新模型,让用户做到完全无感知。

xNN的核心在于xqueeze,它的模型压缩流程如下,包括神经元剪枝 (neuron pruning)、突触剪枝 (synapse pruning)、量化 (quantization)、网络结构变换 (network transform)、自适应Huffman编码 (adaptive Huffman)、共5个步骤。通过使得权重稀疏化减少权重参数,并使得精度下降控制在一定范围内甚至不下降,从而达到模型尺寸大幅度减小和更快的模型预测速度。

会上给出的加速和压缩效果,模型尺寸已经能缩小到几百K的水平,运行速度更快,这套解决方案已经在支付宝中全面上线,今年过年时的扫“福”字就是xNN的首次大规模应用。

2、公路干线运输的AI应用(满帮集团)

这是一个AI和传统产业融合的实践,会前我还不知道有满帮这个公司,上网查了一下,还是个独角兽公司,已经完成E轮融资,是公路货运信息平台国内的No.1。开场还给我们科普了下物流的知识:

1、物流是中国仅次于房地产的第二大产业;

2、全国40多个主要城市的公路干线物流占了总物流的80%;

3、我们购买的农业产品,物流成本占价格的70%以上(终于明白菜农挣不到钱,用户买菜贵的原因了)

既然物流这么重要,中国物流又是哪些人在参与呢?答案是数以万计的个体司机、车队老板、货主、物流公司等等,这些小而散的玩家构成了中国公路干线物流的主体。满帮就是利用互联网平台,将货主和司机汇集起来,促进双方的订单达成,减少成本及浪费。

如何能让订单转化率尽可能高,满帮在车货匹配场景引入了深度学习算法,将司机、车、货、环境等主体的诸多属性作为特征输入。识别司机最感兴趣、最可能接单的货源,同样,也会给货主推荐最适合拉这批货的司机。

从上图可以看到,输入层为货源及司机属性,中间层为激活函数为Relu的3层金字塔型(神经元一层比一层少)隐层神经网络,最后的输出层以softmax作为激活函数,计算出来是该司机接受这些货源的概率。模型上其实并不复杂,关键在于对业务场景的理解和特征选取。

下图是AI模型上线后的业务效果:

3、深度学习在阿里机器翻译中的应用(阿里巴巴)

这次分享的实践主要是在线的商品翻译场景,阿里现在的跨境业务也很多,需要支持多种语言的商品描述,上百万的商品,挨个人工翻译肯定不现实,AI的引入进行机器翻译顺理成章。

上图简单对比了下SMT(基于统计的机器翻译)和NMT(基于神经网络的机器翻译)的差别,业界一般认为,SMT适合翻译短句,NMT适合翻译长句。

商品翻译主要的4个难点:

1、 商品标题原文复杂,质量差;

2、 语言形态复杂;

3、 译文干预困难;

4、 待翻译内容多样化;

Qcon'2018 全球开发者大会(上海站)参会总结(AI篇)

对于商品复杂标题的翻译,如“恒源祥男⼠士短袖t桖夏季新款纯⾊色翻领休闲商务半袖体恤polo衫男装”,这样的标题连中文读出来都费劲就别说翻译成英文了,阿里给出的解决方案是结合用户搜索日志和一定的算法,将原文长标题改为短标题,再进行翻译。

该算法提出学习任务包含两个Sequence to Sequence任务,主任务对商品标题进行压缩,采用Pointer Network模型,通过attention机制选取原始标题的关键字输出;辅助任务是搜索query生成,由商品原始标题生成搜索query,使得两个任务对于原始标题中重要信息的关注尽可能一致,这样就可以从原始标题中保留更有信息量、更容易搜索到的词。

某些语言(如俄语、西班牙语)的形态特别丰富,词表对全部语料的覆盖度往往不够,而NMT模型又受限于可用词表大小,导致很多“未登陆词”的产生,严重影响翻译质量。

阿里提出了一种词干词尾分别预测的NMT网络,在类似俄语这种形态丰富的语言中,词干个数会比词个数少很多,在NMT的解码阶段,每一个解码步骤分别预测词干和词尾。利用当前step生成的词干、当前decoder端的hidden state和源端的source context信息,通过一个前馈神经网络(Feedforward neural network)生成当前step的词尾,网络结构如右上图所示。最后,将生成的词干和词尾拼在一起,就是当前的译文单词。

注:上面介绍的两个技术创新论文已经被AAAI大会收录,感兴趣的同学可以下载相关论文学习

A Multi-task Learning Approach for Improving Product Title Compression with User Search Log Data(一种利用用户搜索日志进行多任务学习的商品标题压缩方法);

Improved English to Russian Translation by Neural Suffix Prediction(一种基于词尾预测的提高英俄翻译质量的方法)

会上,阿里达摩院的专家还介绍了他们在机器翻译中最新工程实践,由RNN的Seq2Seq模型转变为Transformer模型(谷歌提出),能够获取更加丰富的语义信息和更高效的训练速度,Transformer模型也被认为是当前效果最好的机器翻译模型。

从阿里给出的对比验证中看到,Transformer对比RNN seq2seq还是有较大的优势。

最后,还介绍了下谷歌最新发表的BERT模型,在机器阅读理解顶级水平测试SQuAD1.1中全面超越人类,这也是最近NLP领域的最大事件,被认为会开启NLP的新时代,感兴趣的同学可以详细阅读下谷歌的论文:BERT:Pre-training of Bidirectional Transformers for Language Understanding

最后,分享下会上嘉宾给与从事AI工作同事的一些tips:

1、数据很重要,怎么用好数据更重要

2、时刻关注学术界工业界的最新进展

3、亲自动手实现代码

4、没有最好的模型,只有最合适的模型

5、模型不能解决所有问题,可以加入人工

6、换个角度看问题

开发者 人工智能 开发者 机器学习 AI

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:Linux命令之远程下载命令:wget
下一篇:关于【操作系统】,一些你可能感到迷惑的问题
相关文章