如何进行大数据分析?(怎么分析大数据)
406
2022-05-30
完全否定的肯定
最近的新闻里有个特别刺耳的声音,说人工智能是一个伪命题,我看了标题,就没有再往下看了。其实,在我服务过的企业里,也陆续听到有些对于人工智能是否有效的质疑,甚至有些企业用相对保守的“数字化”替代了过激的“人工智能”在行文里的出现,对于这些现象的出现我一点也不奇怪,特别是在今天这么热火朝天的概念下,特别是在中国。
这使我想到以前大学读过的席慕容的一首诗,是关于水笔仔的,大概是说,对于爱情,“在今日的世间,有很多人不愿意相信美丽和真挚的事物其实就在眼前。为了保护自己,他们宁愿在一开始就断定:所有美好的事物都只是一种虚伪的努力。这样的话,当一切都失去了以后,他们也因此而不会觉得遗憾和受到伤害。”对于这些略带愤怒的声音,我是能够理解的,不过,它也走到了另一个感情的极端。
首先,我们必须在开始搞清楚人工智能是什么?以前我听到很多人问的问题,但是都没有问过这个最基础的问题。可能觉得可笑,人工智能是什么?还需要问么?随口一堆时尚技术名词:人脸识别,语音识别,深度学习,机器学习,Tensorflow,Caffe,MXnet, Theano…,当然我们甚至可以在Wiki里找到这样的定义:
“Artificial intelligence (AI, also machine intelligence, MI) is intelligence displayed by machines, in contrast with the natural intelligence (NI) displayed by humans and other animals. …Colloquially, the term "artificial intelligence" is applied when a machine mimics "cognitive" functions that humans associate with other human minds, such as "learning" and "problem solving" ”
但是这个仍然不是我想要的答案。当我花费了几年的时间,在中国大地上接触了大量企业,以及对那些人工智能充满期待的企业领袖后发现,他们其实还真不太懂人工智能的这些定义,反而,他们在谈到人工智能的时候,把它换成了另外的一些词语:创新,敏捷,核心竞争力,甚至直接提出增加收入,节省成本。我最近和华为的一个业务单元高管聊天,他很实际的讲:“我其实现在对于人工智能没有报以太多期望,对于维护业务来讲,我看中的还是它是否未来能帮助我节省更多的成本,甚至是我的客户-运营商的成本,而现在它对我来说,还仅仅只是一个概念。”我突然发现,这原来是两个世界,世界的这头,我们花了大量的时间去处理数据,研究算法,创建模型,标榜着学术的制高点,而世界的另一端,大量厮杀一线的企业主仍然在听着动人的故事,做着美丽的梦。梦醒的时候,有一点点愤怒我认为也是可以理解的。
那人工智能是什么呢?我的坚持 ,人工智能是一个概念,并且是一个“品牌”!没错,是一个“品牌”,不属于技术,但是包含技术。我也向身边的顾问求证,他们也认同,人脸识别,语音识别,自然语言处理…如果放到过时的“大数据”这个概念下,属于非结构化数据处理的范畴么?而机器学习,深度学习里的原理,我们在数据挖掘领域也有,甚至以前的一些数据挖掘商业产品就带有机器学习的能力的(自动建模)。好,有人可能会站出来,现在的算法比以前厉害多了,没错,我也承认,但是,这应该就是前面那个“大数据分析”概念的一脉相承。而另一个机器人交互的部分,那不就是以前学习的人机交互么?甚至就是自动化学科的内容。这样看来,好像没有什么新东西,是“老瓶装新酒”?我永远相信,人类是因为有想象力和思考力而进步的。在新的人工智能的“品牌”下,我们会发现,今天的人类又朝着另一个社会应用的高度在前进。如果说工业革命,电气革命带来自动化,信息革命带来了连接,那么人工智能“品牌”下的技术与商业模式的推进,将带领着人类逐步实现社会智能。而正是这样的想象力和思考力,又会带来大量新的需求,以及社会新消费驱动的创新进步,我把这样的社会性牵引力叫做 —— 趋势。
所以,人工智能不是一场欺骗,而是一种新的我们看待和发展这个社会的方式,是趋势,我们会在这个“品牌”下,不断的创造更多的人类社会的需求,满足用户以后产生更多的价值,从而让我们的未来更加美好。
愤怒饥饿的公牛
一次,和国内风电行业的客户聊天,他最近在尝试实践人工智能,嵌入人工智能的技术,应用到风电的设备制造过程中,帮助企业拥抱创新,形成新的竞争力。但是现实是这个项目现在举步维艰,进展缓慢,他很沮丧,找不到任何改进的可能,于是找到我。我首先和他分享了一个故事:
有一头在山顶上饥饿的公牛,饥肠辘辘,已经十多天没有找到食物了,就在这个时候,它突然看到山下有一片绿意盎然的草地,眼睛发光,立马迫不及待地猛地从山顶冲了下去。刚冲到山下,却突然发现面前挡着一堵墙,墙很高大,足足有5米高,无法翻越,但是它清醒的知道在墙的那边就是那片可口的青草。于是,它无暇顾及,立刻就向这堵墙撞了过去,希望能够撞破这堵墙,然后吃到青草。“砰!”,公牛被厚墙弹了回来,头破血流,墙依然立在那里,安然无事。这个时候,公牛开始疯狂了,它退后了20米,准备再一次冲击这堵墙,“砰!!!”公牛的头有点撞晕,但是墙依然毫无破损。公牛变得愤怒了,这次它退后到了半山腰,打算用尽自己所有的力气赌在这一次撞击上,不是你死就是我亡。但是,就在它退到半山腰的时候,它突然看见,前面它要冲击的那堵墙,其实也就只有百米长,原来这堵墙是有两端的,于是,公牛慢慢从半山腰下来,从墙的一侧绕了过去,吃到了背后的青草。
这个故事说明了一个什么问题呢?我很喜欢用这个故事来隐喻现在人工智能概念下我看到的一些项目景象,大量的企业,大量的人员涌入到这个创新之下,饥肠辘辘,恨不得用尽全身力气最先吃到那片青草。我有“数据科学家”,我有软件,我有算法,我了解开源,嘿,这还不就是人工智能么?于是,项目启动,大量的“创新”活动开始,甚至各有各的想法,看了几本书,都认为自己是人工智能的专家了,都在创造着自己心目中的那个人工智能梦。突然,你又会听到这样的声音,“这个算法的准确率太低了啊”,“数据的样本不够”,“我需要更多的人手,再招聘几个博士”,“这个模型的匹配度不是很理想”,“这个问答系统在答非所问啊”,“到底这些模型需要学习多久”…当我进入一个人工智能项目组的时候,往往会发现项目成员的桌上都放着深度学习,人工智能算法类的书籍,学习氛围很浓,但是另一方面也体现出“人工智能式的混乱”,没错这是一个学习型的组织,也在不断试错和迭代,但是这试错的方式是无序的,是粗旷的,如果人工智能能被暴力破解,那也非那么高级了。
首先,人工智能类型的项目与通常的项目管理是完全不同的,传统意义的项目管理有三个基本特征:1. 有明确的目标;2.在项目过程中有持续性的进展;3.并且通常有开始和结束的时间。而对于创新型的人工智能项目,完全没有这三个特征,首先目标往往不太明确的时候就开始了,奔着创新去的。其次,在执行过程中往往包含大量的试错,甚至失败,不总是在持续进展。最后,这类项目往往只有开始的时间,没有结束的时间。因此,如果慌忙的开展这类创新项目,往往风险都会很大,无法评估ROI。
我来华为以前,看到过太多的人工智能项目尸体,往往都是在人工智能战略都还不清晰的时候,就匆忙开始,我所说的战略不清晰,不是指业务价值目标不明确,反而你会看到企业的高层对于人工智能的预期是很明确的,比如创新带来的收益,以及成本的减少。但是,战略的另一个部分,用怎样的模式来执行来确保成功率,我觉得基本上又回到了传统的项目管理模式,甚至,很多时候项目经理还是没有在这个领域实践过的,也就是他的处女作,失败的几率非常高。他们往往就如同那头饥饿的公牛,面对前面的厚墙,然后碰的头破血流。
其实,你有没有想过,“人工智能”创新面前的这堵墙,其实是有方法可以绕过去的呢?
两个世界
我最近在组织一个人工智能的研讨会议,会邀请这个项目的所有涉及的资源部分,包括研发,开发,以及业务。这类的会议,我以前在做咨询的时候也组织过不少,但是你往往会发现,这类的会议一般充满了争吵,并且收效甚微。为什么?原因很简单,这类会议往往充斥着两种不同的语言,研发、开发人员,他们的话语里塞满了“算法”,“模型”,“代码”,“机器学习”,“系统”,“准确率”,“可靠性”… 而业务人员的话语里却总是在讲“业务目标”,“场景”,“收益”,“维护”,“问题”…,如果你是一个客观的旁观者,你会发现这两边的人聊天的语言是不一致的,不在一个体系里,甚至完全属于不同的两个世界。
这里缺少一个翻译。记得以前在做中国平安的分析项目,平安的高管很多都来自于麦肯锡,为什么麦肯锡如此收到平安董事会的青睐,你会发现当年麦肯锡在平安进行咨询服务的时候,帮助平安建立一个“系统分析师”的团队,他们不负责具体的业务,也不执行具体的IT,而是连接这两块,通过对于业务和IT的理解,进行相应的转化,把业务的价值目标变成IT能接受的执行语言,把IT执行的阶段用业务进行汇报,从而很好的补充了两个世界的差距。《哈佛商业评论》宣布“数据科学家”是二十一世纪最性感的职业。什么是“数据科学家”?其实在我看来,他首先需要是这样一个翻译,而不是现在很多企业在工作描述里的那些技术定义,他不必是统计学、运筹学或则数学的天才,也不需要一定非的精通Python,R或则Tensorflow,他们的能力关键在于:是否能持续化的用数据来解决业务问题,并且以往有这样卓越的经验。
“我们不需要一个理论派,特别是在数据科学家这个领域。”虽然现在我们给于了科学家这个头衔,但是你要知道这个角色是从数据分析师演进过来的。我最近在帮助华为的业务部门定义数据分析师的招聘条件,我明确的把需要具备卓越的沟通能力和协作能力,能快速理解业务用户的痛点,并且转化为基于数据的洞察作为一项非常重要的能力。而那些对于分析工具的掌握能力,我仅仅要求熟练就好了。特别是在你观察过现在世界上最领先的机器学习平台以后,无论是微软、AWS、IBM,还是国内的阿里,京东..你会发现这些算法堆砌的应用平台,其最佳的特质就是协同,而不是算法的深度。这个时候,你就会明白,其实作为一个卓越的“数据科学家”你需要具备的特质是什么了。
当然,作为一个人工智能领域的观察者,我也会看到一些对于这个岗位招聘的偏见,比如如果是一个做图像识别出名的领袖人物来牵头成立一个研究院,你会发现对于“数据科学家”的要求更多包涵了一些图像识别领域的特长要求,或则一个机器学习领域的专家,在招聘里也会更多提到关于机器学习算法的要求,其实,这是一种对“数据科学家”的招聘偏见,如果作为一个企业,特别是一个业务驱动型的企业,习惯了这种偏见,你会发现最后对于刚才那种沟通的有效性会变的越来越困难,最后的结果往往是“他们根本不懂人工智能技术嘛”“算了,他不知道我在说什么。”所以,除非是纯粹的研究课题,一般的人工智能项目,或则提到企业战略的人工智能创新,我一般不主张由一个完全研究领域的专家来负责的,不是因为他不够学术权威,而是他有很多偏执,会影响到项目的沟通,当然如果他也是一个全面的人才,并且有很强的实战经验,我认为也是一个不错的例外。并且,这样的领袖往往需要有如下的三个关键能力来帮助企业成功:
另外,这类角色的集中,就会形成一个新的组织,叫做分析组织。为什么叫分析组织,而不是智能变革组织或则数字化变革组织呢(甚至我在有些公司看到取名人工智能部门的)而这类组织的作用不是在于技术的研究,当然也不是一个完全的企业转型的战略组织,而是更多利用技术转化为应用的分析组织,里面的人会更多的去协作、沟通、分析、以及架构,而不是执行,他将成为一个企业人工智能实践的真正永动机。
组织先行
首先,人工智能实践需要从部门功能设置开始,我看到的很多公司的人工智能项目的由技术在引导,不停的讨论算法,数据,以及系统。这其实是我不推荐的方式,在华为你也会看到,很多部门,很多人员都在搞人工智能,但是见到成效的很少。在Facebook的人工智能创新里,有个AML团队,全称叫做Applied Machine Learning。主要就是构建人工智能业务与研究之间的桥梁,他们有明确的业务价值定义方法,以及人工智能技术实现的最佳实践,这个部门对业务创新负责,并且管理研究落地,在职责上是独立运作的,他们职责就是基于人工智能技术的创新,然后落地到Facebook的各种产品里,很类似任正非在华为人工智能实践上讲的“自己的-,自己吃”思路。但是,不同的地方在于部门设置模式,我这里简要陈述下基于创新构建分析价值的三种不同运营模式:
. 分散式服务模式。这种模式下,我们往往喜欢把我们的“分析专家”散放在各个业务部门,并且由每个部门的主管来管理,好处是业务的智能需求可以马上得到匹配,我刚来到华为就去马来西亚的TAC站点做了一次mini Design Thinking,通过2天的研讨会,快速理解了一线业务。因此,这种模式可以很好的接触一线,了解一线,支持一线,但是缺点也很明显,缺乏全面的跨职能的视野,仅仅落脚在自己的问题点上,而且在各个部门,重复性资源和重复性的工作太多,团队组织也是重复的,浪费很多资金,无法标准化或者扩大规模。
2. 嵌入式共享服务模式。这种模式是过度阶段,在一个业务单元里,比如华为的GTS,设置一个独立共享的分析组织,这个组织充分的对于业务进行支撑,但是运作上又是独立的,好处在于可以在某个业务或则职能内部设置标准化的流程和方法,并与各部门都可以进行协作,对于专家也可以共享,很多资源不是在某个点上,而是全面的对于业务可以进行统筹型支撑。当然在这个阶段数据分析资源还未形成一个专业化、体系化的运营模式,对于跨业务单元的部门还是存在重复性建设的问题,而且在专业化的集中度上也只是一个过度阶段,还不能单独的独立核算部门价值。
3. 独立式共享服务模式。这种模式是一个终极运营模式,完全的独立和标准化运营,完全作为一个公司内部得服务机构存在,对每个战略业务单元进行支撑和核算,完全关注在业务的服务提升上,而不是技术研发。在IBM深圳有个ISC(Integrated Supply Chain)部门,对于IBM全球供应链来讲,它就相当于一个“航塔”的角色,IBM的业务资源外包是做的比较彻底的,到现在很多给IBM提供Power芯片的芯片厂都不再属于IBM了,在这样一个超离散的资源架构里,这个“航塔”不断地对这些制造单元输出标准,采集数据,形成分析和预测,然后在基于这个“航塔”里的“数据科学家”来进行控制,使得到今天为止IBM的全球供应链控制力都超强。
这样的模式设计其实是在做企业级人工智能应该首先思考的,也属于人工智能顶层设计的一部分。另外,当这样的组织建设成熟的时候,又需要思考在这个独立分析组织内部的运营机制建设了。我比较推崇的是“垂直服务化”+“散点创新”的方式进行运营机制建立,其实也融入了很多DevOps的思想。一部分强调服务运营的持续化和深度,另一方面又提倡在创新上加入竞争,接受失败和快速迭代,后面的文章我会专门再详细的描述这种充满魅力和“时代感”的机制创新。
其实,现在慢慢对于人工智能技术开始冷静下来,很多企业也转向了务实的一面,这是好事,但是我们也要切记,你认识那个人工智能是真的人工智能么?或则是不是太多被一些故事和名词干扰,甚至有些场合我和很多做人工智能专家在一起,他们连“算法”和“模型”这两个词语都还未分清楚,不停地在自己的陈述里进行着两者的转换。所以,很多由此带来的失败和代价是可以理解的,而且我觉得也不必为一两次的失败而垂头丧气,记得Facebook的AML团队定下的项目失败率高达50%,也就是说一半的项目必须失败。在创新的道路上是一定要学会和接受失败的勇气,只是我们要学会如何了解失败、控制失败,从而更好的在机制上达到成功。因为,我们也清晰的明白那依稀成功的1%的曙光就能带来整个世界的光明!失败一定是成功的母亲,这句话非常适用于当今基于人工智能的创新。
人工智能 华为云
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。