本书的整体行文是基于“说些历史、话些故事、聊些技术、谈些思考”这样的思路展开的。全书共有13章,逻辑上分为四个部分:第一部分尝试对“数觉→数→数据→大数据”历史脉络进行梳理并陈述社会各界迎接和拥抱“大数据”的若干事实;第二部分尝试从技术实现和部署实施的角度厘清大数据技术流程,并从多个视角和层面阐述各个环节面临的挑战和机遇,重点叙述不同知识背景的研究群体针对大数据的态度、行动和思维方式;第三部分尝试从管理策略、价值实现及思维方式三个角度厘清大数据落地应用涉及的技术和非技术问题,并从多个视角和层面梳理各个环节的要点和细则;第四部分在对互联网的技术发展脉络及国际经济形势进行梳理的基础上,分析了在“互联网+”概念被热炒及全民总动员的当代大数据的潜在发展机遇和应用场景。
序
第一篇现象及感性思辨
第1章大数据溯源3
1.1引言3
1.2数觉及数的起源7
1.3模拟与数字计算10
1.4从数据到大数据15
1.5大数据时代19
1.6本章小结23
本章参考文献23
第2章大数据现象25
2.1引言25
2.2政界大数据28
2.3业界大数据33
2.4学界大数据39
2.5本章小结44
本章参考文献45
第3章大数据产业46
3.1引言46
3.2大数据产业环境49
3.2.1政策环境49
3.2.2应用环境51
3.2.3技术环境52
3.3大数据产业地图53
3.3.1大数据产业地图由来53
3.3.2大数据产业地图明细54
3.3.3大数据产业地图意义61
3.4大数据应用提示62
3.4.1大数据中文解析及提示62
3.4.2大数据应用场景及策略64
3.4.3大数据陷阱及应用提示65
3.5本章小结67
本章参考文献68
第二篇技术及选型思路
第4章大数据支撑技术71
4.1引言71
4.2大数据流程73
4.2.1显式挑战74
4.2.2隐式困难76
4.2.3评估思路78
4.3基础支撑技术78
4.3.1数据采集79
4.3.2数据存储81
4.3.3数据建模82
4.3.4计算架构85
4.4高级支撑技术90
4.4.1云计算背景90
4.4.2云计算定义91
4.4.3云计算本质93
4.4.4应用提示96
4.5本章小结97
本章参考文献98
第5章数据采集与整合99
5.1引言99
5.2大数据的数据源101
5.2.1数据分布101
5.2.2内部数据103
5.2.3互联网数据105
5.2.4应用提示105
5.3内部数据及内部数据采集106
5.3.1目标任务106
5.3.2关键技术107
5.3.3ETL工具110
5.3.4应用提示111
5.4互联网数据及互联网数据采集113
5.4.1目标任务113
5.4.2关键技术114
5.4.3开源网络爬虫118
5.4.4应用提示120
5.5本章小结121
本章参考文献123
第6章数据存储与管理124
6.1引言124
6.2数据组织127
6.2.1集中与分布128
6.2.2SQL与NoSQL130
6.3数据存储138
6.4云存储141
6.5本章小结144
本章参考文献145
第7章数据表示与理解146
7.1引言146
7.2度量方法149
7.2.1相似系数函数150
7.2.2距离函数152
7.3数据规范154
7.4特征工程155
7.4.1特征表示156
7.4.2特征提取156
7.4.3特征选择175
7.5应用提示178
7.6本章小结181
本章参考文献181
第8章数据理解与建模183
8.1引言183
8.2机器学习185
8.3非监督学习187
8.3.1KMeans188
8.3.2EM189
8.4监督学习192
8.4.1回归192
8.4.2分类196
8.5本章小结226
本章参考文献227
第9章知识发现与应用229
9.1引言229
9.2从机器学习到数据挖掘233
9.2.1统计与统计学234
9.2.2智能与人工智能235
9.2.3人工智能与机器学习237
9.2.4数据挖掘及技术路径239
9.2.5应用提示245
9.3从数据挖掘到数据科学246
9.3.1从“惊奇”引发的科学之母246
9.3.2从“科学”引发的研究范式249
9.3.3从“数据”引发的数据科学251
9.4从算法到大数据方法论252
9.4.1演绎与归纳252
9.4.2因果与相关255
9.4.3定律与模型257
9.5本章小结260
本章参考文献260
第三篇实施及理性思考
第10章大数据实施265
10.1引言265
10.2工程管理267
10.2.1思维层的应用模式梳理267
10.2.2开发层的工程实施路径270
10.2.3运维层的平台应用保障273
10.3技术管理274
10.3.1生产流程管理274
10.3.2技术流程管理277
10.3.3知识流程管理279
10.4商务管理282
10.4.1商业模式价值逻辑282
10.4.2大数据与商业模式283
10.4.3典型商业模式示例287
10.5本章小结290
本章参考文献291
第11章大数据价值292
11.1引言292
11.2从数据到价值294
11.2.1数据的价值295
11.2.2信息的价值297
11.2.3知识的价值299
11.2.4应用提示300
11.3从闭环到开环302
11.3.1垂直应用价值302
11.3.2平台集成价值303
11.3.3生态协同价值305
11.3.4应用提示305
11.4大数据评估306
11.4.1数据价值评估306
11.4.2数据质量评估310
11.4.3平台价值评估312
11.4.4应用提示315
11.5本章小结321
本章参考文献322
第12章大数据思维323
12.1引言323
12.2数据层325
12.2.1数据全采样325
12.2.2数据交叉复用327
12.2.3数据云化存储328
12.3分析层330
12.3.1相关重于因果330
12.3.2效率重于精度332
12.3.3离线分析+实时运行334
12.4应用层336
12.4.1数据质量溯源336
12.4.2服务和应用340
12.4.3开放和合作342
12.5本章小结345
本章参考文献347
第四篇机遇及应用思索
第13章大数据机遇351
13.1引言351
13.2互联网+356
13.3电子商务359
13.3.1电子商务概述359
13.3.2移动电子商务362
13.3.3跨境电子商务363
13.3.4应用提示365
13.4工业互联网368
13.4.1基本概念368
13.4.2笑脸曲线368
13.4.3工业4.0371
13.4.4应用提示376
13.5互联网金融380
13.5.1基本概念380
13.5.2面向投融资的互联网金融381
13.5.3面向支付的互联网金融384
13.5.4其他类型的互联网金融387
13.5.5应用提示390
13.6本章小结392
本章参考文献394
跋395