大数据营销的特点(大数据分析在营销中的作用)
612
2022-05-29
大数据
1、什么是大数据
简单说就是身边的一切,你看到的是,听到的是,闻到的感觉到的触摸到的都是
2、具体一点
天猫淘宝的购物数据,你的聊天记录,医疗记录,看书或者挑东西时候的推荐物品
大数据的问题
1、生活中的种种数据数量如此之多,如何存储
2、要让数据有意义,又该怎么去处理海量的数据
Google对大数据问题的思想
1、GFS:Google File System
对数据进行分布式文件系统的存储,解决的大数据的存储问题
2、MapReduce
最初是因为Google要去爬取全球的网页然后对其进行排名(PageRank)而衍生出的问题,一种用于大数据计算的模型,核心思想是大事化小处理,最后在合并结果,先拆分再合并
3、BigTable
采用NoSQL数据库将数据存在一张大表之中,通过牺牲存储的空间来换取性能
实现思想 -> Hadoop
主要结构
1、HDFS:Hadoop Distributed File System
1. 采用主从式的结构
2. 主节点: NameNode名称节点
3. 从节点: DataNode数据节点
4. SecondaryNameNode: 第二名称节点
这里有两张网上的图可供参考
需要注意的是:NameNode 和 SecondaryNameNode 之间没有关系,前者管理和维护整个HDFS,后者用来日志的合并,两者在同一个节点上(同一个机器),共同的组成了整个HDFS的主从式结构,硬盘需要两个(两台机器)所以HDFS环境至少需要三台机器
2、Yarn:MapReduce 的运行容器
Yarn 的结构,NodeMarager和DataNode在一个节点上,有一个DataNode就有一个NodeMarager
1. 主从式结构
2. 主节点: ResourceManager -> 资源管理器
3. 从节点: NodeManager -> 节点管理器
3、HBase: NoSQL数据库(需要单独安装)
1. 主从式结构
2. 主节点: HMaster
3. 从节点: RegionServer
---------------------
大数据
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。