大数据技术原理与应用 - (1). 大数据概述

【第一篇】 - 大数据基础, 《大数据技术原理与应用, 林子雨》

本篇介绍大数据 (Big Data) 的基本概念、影响、应用领域等，还介绍了大数据处理框架 Hadoop。

• 第1章 - 大数据概述
• 第2章 - 大数据处理框架 Hadoop

第一张章介绍了大数据的基本概念、影响、应用领域、关键技术等等内容。

大数据时代

第三次信息化浪潮：

信息化浪潮	发生时间	标志	解决的问题	代表企业
第一次浪潮	1980年前后	个人计算	信息处理	Intel、AMD、IBM、Apple、Microsoft、联想、 戴尔、惠普等
第二次浪潮	1995年前后	互联网	信息传输	雅虎、谷歌、阿里巴巴、百度、腾讯等
第三次浪潮	2010年前后	物联网、云计算和大数据	信息爆炸	亚马逊、谷歌、IBM、VMWare、Palantir、 Hortonworks、Cloudera、阿里云等

根据IBM前首席执行官 Louis Gerstner 的观点，IT领域每隔十五年就会迎来一次重大变革

信息科技为大数据时代提供技术支撑：

• 存储设备容量不断增加
• CPU处理能力大幅提升
• 网络带宽不断增加

数据产生方式的变革促成大数据时代的来临：

大数据的概念 - 4V

• Volume: 数据量大
• Variety: 数据类型繁多
• Velocity: 处理速度快
• Value: 价值密度低

大数据的影响

科学研究上： 图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式。

思维方式上：

• 全样而非抽样: 以前科学分析通常采取抽样方式，如今在大数据技术的支持下，分析可以针对全集数据进行。
• 效率而非精确: 以前由于抽样仅是针对样本的分析，抽样分析上的结果应用到全集数据后，抽样分析上的小误差可能会被放大；大数据常常要求‘秒级响应’，否则丧失数据价值，因此更关注效率。
• 相关而非因果: 大数据往往只能反映事物的相关性。

数据类型

• 结构化数据： 是指可以存储在数据库里，可以用二维表结果来逻辑表达实现的数据。
• 非结构化数据： 不方便用二维表结果来逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像、音频、视频信息等等。
• 半结构化数据： 介于结构化数据和非结构化数据之间的数据。HTML文档就属于半结构数据。

大数据关键技术

表：大数据技术的不同层面及其功能

技术层面	功能
数据采集	利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；或者也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析
数据存储和管理	利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理
数据处理与分析	利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据
数据隐私和安全	在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全

两大核心技术

• 分布式存储

  • GFS/HDFS
  • BigTable/HBase
  • NoSQL (键值、列族、图形、文档数据库)
  • NewSQL (如：SQL Azure)

• 分布式计算

  • MapReduce

大数据计算模式

大数据计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批量处理	MapReduce、Spark等
流计算	针对流数据的实时计算	Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等
图计算	针对大规模图结构数据的处理	Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
查询分析计算	大规模数据的存储管理和查询分析	Dremel、Hive、Cassandra、Impala等

大数据产业

• 大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合

产业链环节	包含内容
IT基础设施层	包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业，比如，提供数据中心解决方案的IBM、惠普和戴尔等，提供存储解决方案的EMC，提供虚拟化管理软件的微软、思杰、SUN、Redhat等
数据源层	大数据生态圈里的数据提供者，是生物大数据（生物信息学领域的各类研究机构）、交通大数据（交通主管部门）、医疗大数据（各大医院、体检机构）、政务大数据（政府部门）、电商大数据（淘宝、天猫、苏宁云商、京东等电商）、社交网络大数据（微博、微信、人人网等）、搜索引擎大数据（百度、谷歌等）等各种数据的来源
数据管理层	包括数据抽取、转换、存储和管理等服务的各类企业或产品，比如分布式文件系统（如Hadoop的HDFS和谷歌的GFS）、ETL工具（Informatica、Datastage、Kettle等）、数据库和数据仓库（Oracle、MySQL、SQL Server、HBase、GreenPlum等）
数据分析层	包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品，比如，分布式计算框架MapReduce、统计分析软件SPSS和SAS、数据挖掘工具Weka、数据可视化工具Tableau、BI工具（MicroStrategy、Cognos、BO）等等
数据平台层	包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业或产品，比如阿里巴巴、谷歌、中国电信、百度等
数据应用层	提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业、机构或政府部门，比如交通主管部门、各大医疗机构、菜鸟网络、国家电网等