华为大数据应用分享

接下来我们来分享一下华为大数据解决方案是如何应用的，华为大数据解决方案可应用在各种业务场景，这里我们以移动运营商、金融机构和政府机构三大领域为例来了解一下。

一、移动运营商应用分享

首先我们来看一看移动运营商面临着怎样的问题，而华为又提供了怎样的解决方案呢？从电信的发展历程来看，运营商数字化转型是价值链从封闭、垄断到开放平等过程中的一次被迫重构。数字经济到来以后，运营商必须从商业架构、企业架构和网络架构进行彻底的重构，重新地定位自己，看清自己的核心能力，以开放、合作的心态与OTT共建价值链，才能在这次浪潮中获得成功。

华为对世界范围内运营商总结后提出了数字化的转型模型，在扩展客户群领域，从个人、家庭向企业与物联网延伸。在客户资产价值挖掘方面，从传统的电信服务到客户价值驱动的多样化数字业务，提升了业务价值。客户资产价值的开放构建生态环境，通过开放、共享来获取客户资产增值收益。在运营系统和流程变革方面，打造以客户体验为中心的数字化运营系统和企业架构，从而来提升运营效率。

华为大数据解决方案是基于对运营商、用户和网络的理解，综合运营商各域数据进行大数据建模，从而实现用户保留、业务提升、网络效率提升和对外价值变现的最终商业成功。而实际上华为为运营商行业提供的解决方案主要分为四个层次，在level  1基础设施层适配BSS和OSS数据，用户行为数据以及外部数据等电信领域数据。在level 2数据处理层，采用统一的大数据平台，结合level 3服务层，共同组成了FusionInsight平台，向下融合跨域数据，向上支持不同的应用；最后的level 4应用层，主要是电信领域商业驱动的应用。包括了智能运营、营销、智能关怀、KPI、NPM、客户体验管理、MIS、Dass等一些应用。

接下来我们来看一个具体的案例，湖南移动原经分架构不能满足业务发展要求，计划采用大数据技术建设新的经分系统。而图中显示的就是原经分系统的架构。我们可以看出原有的经分系统有着非常明显的局限性，主要体现在以下四个方面：

第一、原架构不能匹配业务发展，移动业务已经进入“大数据、微营销时代”，而现有的系统还是以传统架构来建设的，因此难以支撑。

第二、需求响应效率低，数据应用的耦合度高，而模型设计灵活性不足。因此从需求提出到最终实现流程长、响应慢。

第三、缺少融合业务的支撑能力。由于缺少对O域、M域数据的整合与理解，而分析支撑又局限于B域范围，因此，难以支撑移动互联网流量经营需要的跨域、端到端的分析需求。

第四、数据管理和开放能力不足。除经分系统以外，按照应用模式独立建设的大量应用子系统缺少统一的管理和开放能力，造成创新应用引入困难。

而华为的大数据解决方案凭借技术评比第一、综合评比第一的优势，获得了客户的信赖，从而成功地为湖南移动构建了新的经分系统。华为大数据解决方案主要采用了Hadoop结合LibrA。混搭架构，实现对B\M\O域数据的全面接入，融合处理并进行统一的建模。同时引入爬虫、流计算等技术，实现对互联网数据的处理和实时的业务支撑。而通过本项目的建设，帮助湖南移动实现了如下六个方面的改进和提升：

1、提升平台能力    2、提升数据资产的管理能力   3、提升日常的工作效率   4、提升业务能力   5、提升开放能力   6、降低后续的建设成本。

那么接下来我们将针对其中的三个方面做一个具体的分析。

首先是平台能力的提升，非结构化数据的处理能力方面，采用爬虫技术实现对互联网非结构化数据的获取和处理，利用Hadoop的分布式扩展优势。网页爬取任务均衡的分摊到各个节点上，并启动多线程执行，极大地提升了网页的爬取效率。

云化ETL提升海量数据的处理能力方面，主要体现在高性能和高扩展性上。比如相同处理能力的硬件平台，大部分场景的性能提升了百分之五十以上，整个集群的处理能力可以动态伸缩，程序任务可以完全的自定义扩展，灵活性强。

分钟级实时数据处理分析能力方面，流数据处理实现持续的数据载入和数据处理，缩短了数据延迟，支撑实时营销。事件处理中心，提高了事件配置、事件、处理、事件的服务能力。

此外，通过Hadoop集群和LibrA数据引擎，提升分布式计算和存储能力。从整体上来看，与原系统相比，新的经分系统实现了对数据的分布式计算、存储，提升了对非结构化数据的支持，增强了对海量数据的处理能力，实现了实时的数据分析处理，接入数据规模每日可达7个T，数据的存储量超过3个PB；平台支持2000个经分用户的日常访问需求，以及20000个一线用户的营销需求。其次是日常分析效率的提升，运营商数据资产全视图提供的自助分析服务，实现市场部门用户的提数时长从周到小时的转变。例如88元4G套餐语音资源使用率的报表原本需要两周时间获取，而在新的平台下可以实现自助报表1小时即席查询2小时的时间指标。

最后，业务能力的提升支撑大数据、超细分、微营销、精服务的落地。比如，建立客户生命周期的模型、客户生物钟模型等数据模型，以用户标签为基础对客户进行细分，建立客户第一时刻、异动时刻、重要时刻、免打扰时刻等标签，分别进行精准的营销，比如以客户群方式营销、以一刻一时一策略的方式进行营销等。

二、金融机构应用分享

传统金融机构的特征是通过标准化和产业化提供服务，关注过程和步骤，被动接收信息，并且信息的来源单一，通过客户经理联系客户，固定渠道单一交互，可以满足世纪之初的客户需求。那么随着数字化信息时代的发展，客户需求逐步的改变，比如客户需要随时随地的获取服务、寻找有意义的体验以及互动参与内容、产品和体验的创建等等。那么金融机构就需要朝着移动化、个性化、社交化、实时化的方向进行发展。

当然，为了朝着移动化、个性化、社交化和实施化的方向发展，金融数据架构就要有所改变，由原本单一的核心交易平台转变为两个数据平台，即在原有数据平台的基础上加入大数据平台，通过大数据平台提供具有实时在线性、业务持续性和跨多元数据的业务服务，比如统一的历史明细、在线征信等。金融行业对大数据平台的要求主要体现在：

企业级的质量标准要求：比如金融等保、可靠、易用、支持与现有系统的对接。

开放性要求：多分析引擎、统一管理，满足多样化的数据分析场景。

挖掘能力要求：支持机器学习、深度学习等新的数据挖掘能力，实现更精准的洞察。

因此全新的金融数据平台架构如图所示，通过构建统一的离线和实时的计算平台，融合跨域数据，从而来支撑不同的业务应用。那么华为金融行业大数据业务主要包括了客户管理、营销管理、风险管理、运营管理以及信息创新五大领域，涵盖客户三百六十度画像、电话银行、信用卡反欺诈、产品定位、历史数据管理等28个业务模块。

银行业务竞争越来越激烈，急需以金融数据分析和挖掘为基础进行产品预测、创新和风险评估，来提升自身的竞争力。而金融数据量和种类的不断增加，传统数据仓库也只适合结构化数据处理，同时扩展性差、扩容成本高，已经无法满足大数据时代的要求。

在如此严峻的挑战下，招商银行选择了华为的大数据解决方案，建立了高可靠、高安全、易管理、易开发的企业级大数据平台。华为大数据解决方案是第一家支持金融等保，第一家支持1000公里以上异地融灾的海量数据分析和挖掘的平台，能实现与企业应用的无缝衔接。华为拥有强大的内核及开发工程团队和咨询、定制化的服务能力。而华为的大数据解决方案平台也为招商银行提供了统一的全量的数据分析和挖掘功能，提供了丰富的创新业务，比如在线明细、精准营销、实时征信等。除此之外，在小微贷获客预测方面，比传统方式提升了40倍的转化率，金融资产的预测误差率降低了一倍。而信用卡征信也有原来的15天缩减至2-5秒，同时支持线性扩容，并且扩容成本低。

那么接下来我们来看一下具体的应用场景，比如在线的历史明细查询方面，华为FusionInsight数据服务结合FusionInsight  HD基础数据平台的解决方案，使客户只需要专注历史明细查询业务的编写即可。数据服务平台支持多业务系统并发访问，从而实现实时的历史明细的查询能力。并且数据服务平台也支持socket和web的业务请求接入和分发，与招行的业务系统实现无缝衔接。此外，创新的CTBase方案独有的表聚簇和多级索引，支持HBase多表的关联查询能力，而HBase同时也支持sql、java api的编程接口，来适应客户的编程习惯。在客户行为分析方面：华为的FusionInsight Miner数据洞察结合FusionInsight HD基础数据平台的解决方案，使客户只需关注客户行为分析业务的编写。而FusionInsight Miner基于大数据进行全量的建模分析，可以挖掘出14000维客户特征，实现多维客户行为的并发分析。同时FusionInsight Miner采用机器自动学习机制，大大的提高了分析的准确度，最终客户行为分析结果存储在HBase中，供业务的查询使用。再比如在实时征信方面的应用，华为的FusionInsight  farmer数据消费平台，结合FusionInsight  HD基础数据平台的解决方案，也使客户只需关注实时征信业务逻辑的编写即可。

其中FusionInsight  farmer支持多业务系统的并发访问，实现实时征信访问能力。FusionInsight  farmer同时也支持tcp/http的请求接入和分发，提供负载均衡功能，实现于招行业务系统的无缝衔接。而前面我们谈到创新的CTBase方案，其独有的表聚簇和多级索引，支持HBase多表关联查询的能力，并且HBase也支持java api的编程接口，从而来适应客户的编程习惯。

三、政府机构应用分享

现在的政府机构依然以传统的架构为主，政府机构面临着政、企与居民的双向沟通、移动政府的安全与访问控制等多方面的需求。与金融机构类似，传统架构越来越不能满足政府机构服务人民群众的需求，这也迫使政府机构需要走上大数据和云计算的转型之路。其实我们可以尝试想象，未来经过大数据和云计算转型之后的政府与民众能实现360度的全方位沟通，可以基于人工智能提供个性化的服务、预测分析未知风险等。实现更优、更快的转变。

其中公安政府的大数据业务模型主要包括情报分析、案件侦破、交警业务、警员办公四大领域，而大数据的价值点包括了同行分析、案件统计、套牌车分析、电子卷宗检索等29个方面。华为大数据作为一套经过多方检验与实践的成熟的解决方案，能够完美地覆盖公安政府大数据业务。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。