云计算（第三版）——高级大数据人才培养丛书

刘鹏，清华大学博士，解放军理工大学教授、学科带头人，中国云计算专家委员会委员。主要研究方向为信息网格和云计算，完成科研课题18项，发表论文70余篇，获部级科技进步奖6项。曾夺得国际计算机排序比赛冠军，并二次夺得全国高校科技比赛高奖，获“全军十大学习成才标兵”、“南京十大杰出青年”和“清华大学学术新秀”等称号。2002年首倡的“网格计算池”和2003年研发的“反垃圾邮件网格”分别为云计算和云安全的前身。创办了知名的中国网格和中国云计算网站。原文出自【比特网】，转载请保留原文链接：http://net.chinabyte.com/362/13143862.shtml

本书是国内销量、被众多高校采用的教材《云计算》的升级版，是中国云计算专家咨询委员会秘书长刘鹏教授团队的心血之作。在应对大数据挑战的过程中，云计算技术日趋成熟，拥有大量的成功商业应用。本书追踪技术，相比第二版更新了60%以上的内容，包括大数据与云计算、Google云计算、云计算、微软云计算、Hadoop 2.0及其生态圈、虚拟化技术、OpenStack开源云计算、云计算数据中心、云计算核心算法和中国云计算技术等。刘鹏教授创办的中国云计算（chinacloud.cn）、中国大数据（thebigdata.cn）网站和刘鹏微信公众号（lpoutlook）为本书学习提供技术支撑。

第1章 大数据与云计算 1
1．1 大数据时代 1
1．2 云计算――大数据的计算 3
1．3 云计算发展现状 6
1．4 云计算实现机制 7
1．5 云计算压倒性的成本优势 9
习题 12
参考文献 12
第2章 Google云计算原理与应用 13
2．1 Google文件系统GFS 13
2．1．1 系统架构 14
2．1．2 容错机制 16
2．1．3 系统管理技术 17
2．2 分布式数据处理MapReduce 17
2．2．1 产生背景 17
2．2．2 编程模型 18
2．2．3 实现机制 19
2．2．4 案例分析 20
2．3 分布式锁服务Chubby 22
2．3．1 Paxos算法 23
2．3．2 Chubby系统设计 24
2．3．3 Chubby中的Paxos 26
2．3．4 Chubby文件系统 28
2．3．5 通信协议 29
2．3．6 正确性与性能 31
2．4 分布式结构化数据表Bigtable 32
2．4．1 设计动机与目标 32
2．4．2 数据模型 33
2．4．3 系统架构 34
2．4．4 主服务器 35
2．4．5 子表服务器 36
2．4．6 性能优化 40
2．5 分布式存储系统Megastore 41
2．5．1 设计目标及方案选择 41
2．5．2 Megastore数据模型 42
2．5．3 Megastore中的事务及并发控制 44
2．5．4 Megastore基本架构 45
2．5．5 核心技术――复制 47
2．5．6 产品性能及控制措施 51
2．6 大规模分布式系统的监控基础架构Dapper 52
2．6．1 基本设计目标 52
2．6．2 Dapper监控系统简介 53
2．6．3 关键性技术 56
2．6．4 常用Dapper工具 57
2．6．5 Dapper使用经验 59
2．7 海量数据的交互式分析工具Dremel 61
2．7．1 产生背景 61
2．7．2 数据模型 62
2．7．3 嵌套式的列存储 63
2．7．4 查询语言与执行 68
2．7．5 性能分析 70
2．7．6 小结 71
2．8 内存大数据分析系统PowerDrill 71
2．8．1 产生背景与设计目标 71
2．8．2 基本数据结构 72
2．8．3 性能优化 73
2．8．4 性能分析与对比 75
2．9 Google应用程序引擎 76
2．9．1 Google App Engine简介 77
2．9．2 应用程序环境 78
2．9．3 Google App Engine服务 80
习题 88
参考文献 88
第3章 Amazon云计算AWS 90
3．1 基础存储架构Dynamo 90
3．1．1 Dynamo概况 90
3．1．2 Dynamo架构的主要技术 91
3．2 弹性计算云EC2 99
3．2．1 EC2的基本架构 99
3．2．2 EC2的关键技术 100
3．2．3 EC2的安全及容错机制 102
3．3 简单存储服务S3 103
3．3．1 S3的基本概念和操作 103
3．3．2 S3的数据一致性模型 105
3．3．3 S3的安全措施 105
3．4 非关系型数据库服务SimpleDB和DynamoDB 108
3．4．1 非关系型数据库与传统关系数据库的比较 108
3．4．2 SimpleDB 108
3．4．3 DynamoDB 110
3．4．4 SimpleDB和DynamoDB的比较 111
3．5 关系数据库服务RDS 111
3．5．1 RDS的基本原理 111
3．5．2 RDS的使用 112
3．6 简单队列服务SQS 113
3．6．1 SQS的基本模型 113
3．6．2 SQS的消息 114
3．7 内容推送服务CloudFront 115
3．7．1 CDN 116
3．7．2 CloudFront 117
3．8 其他Amazon云计算服务 119
3．8．1 快速应用部署Elastic Beanstalk和服务模板CloudFormation 119
3．8．2 DNS服务Router 53 120
3．8．3 虚拟私有云VPC 120
3．8．4 简单通知服务和简单邮件服务 120
3．8．5 弹性MapReduce服务 121
3．8．6 电子商务服务DevPay、FPS和Simple Pay 122
3．8．7 Amazon执行网络服务 127
3．8．8 土耳其机器人 128
3．8．9 数据仓库服务Redshift 129
3．8．10 应用流服务AppStream和数据流分析服务Kinesis 129
3．9 AWS应用实例 130
3．9．1 照片和视频共享网站SmugMug 130
3．9．2 视频制作网站Animoto 131
3．9．3 网站排名Alexa 132
3．10 小结 132
习题 132
参考文献 133
第4章 微软云计算Windows Azure 136
4．1 微软云计算平台 136
4．2 微软云操作系统Windows Azure 137
4．2．1 Windows Azure概述 137
4．2．2 Windows Azure计算服务 138
4．2．3 Windows Azure存储服务 140
4．2．4 Windows Azure Connect 147
4．2．5 Windows Azure CDN 148
4．2．6 Fabric控制器 149
4．3 微软云关系数据库SQL Azure 150
4．3．1 SQL Azure概述 150
4．3．2 SQL Azure关键技术 151
4．3．3 SQL Azure和SQL Server对比 153
4．4 Windows Azure AppFabric 154
4．4．1 AppFabric概述 154
4．4．2 AppFabric关键技术 155
4．5 Windows Azure Marketplace 159
4．6 Windows Azure服务平台 160
4．6．1 网站 160
4．6．2 虚拟机 161
4．6．3 云服务 162
4．6．4 移动服务 163
4．6．5 大数据处理 164
4．6．6 媒体支持 165
习题 166
参考文献 166
第5章 Hadoop 2．0：主流开源云架构 168
5．1 引例 168
5．1．1 问题概述 168
5．1．2 常规解决方案 168
5．1．3 分布式下的解决方案 169
5．1．4 小结 173
5．2 Hadoop 2．0简述 173
5．2．1 Hadoop 2．0由来 173
5．2．2 Hadoop 2．0相关项目 174
5．2．3 Hadoop应用 175
5．3 Hadoop 2．0部署 175
5．3．1 部署综述 175
5．3．2 传统解压包部署 179
5．4 Hadoop 2．0体系架构 182
5．4．1 Hadoop 2．0公共组件Common 182
5．4．2 分布式文件系统HDFS 184
5．4．3 分布式操作系统Yarn 190
5．4．4 Hadoop 2．0安全机制简介 198
5．5 Hadoop 2．0访问接口 199
5．5．1 访问接口综述 199
5．5．2 浏览器接口 199
5．5．3 命令行接口 200
5．6 Hadoop 2．0编程接口 202
5．6．1 HDFS 编程 202
5．6．2 Yarn编程 205
习题 214
参考文献 214
第6章 Hadoop 2．0大家族 215
6．1 Hadoop 2．0大家族概述 215
6．1．1 分布式组件 215
6．1．2 部署概述 217
6．2 ZooKeeper 223
6．2．1 ZooKeeper简介 223
6．2．2 ZooKeeper 入门 224
6．3 Hbase 226
6．3．1 Hbase简介 226
6．3．2 Hbase入门 229
6．4 Pig 232
6．4．1 Pig简介 232
6．4．2 Pig入门 233
6．5 Hive 234
6．5．1 Hive简介 234
6．5．2 Hive入门 235
6．6 Oozie 238
6．6．1 Oozie简介 238
6．6．2 Oozie入门 238
6．7 Flume 241
6．7．1 Flume简介 241
6．7．2 Flume入门 243
6．8 Mahout 246
6．8．1 Mahout简介 246
6．8．2 Mahout入门 246
6．9 小结 247
习题 248
参考文献 248
第7章 虚拟化技术 250
7．1 虚拟化技术简介 250
7．2 服务器虚拟化 251
7．2．1 服务器虚拟化的层次 251
7．2．2 服务器虚拟化的底层实现 252
7．2．3 虚拟机迁移 253
7．2．4 隔离技术 256
7．2．5 案例分析 257
7．3 存储虚拟化 258
7．3．1 存储虚拟化的一般模型 258
7．3．2 存储虚拟化的实现方式 259
7．3．3 案例分析 260
7．4 网络虚拟化 262
7．4．1 核心层网络虚拟化 262
7．4．2 接入层网络虚拟化 262
7．4．3 虚拟机网络虚拟化 262
7．4．4 案例分析： VMware的网络虚拟化技术 263
7．5 桌面虚拟化 265
7．5．1 桌面虚拟化简介 266
7．5．2 技术现状 266
7．5．3 案例分析 267
习题 267
参考文献 268
第8章 OpenStack开源虚拟化平台 269
8．1 OpenStack背景介绍 269
8．1．1 OpenStack是什么 269
8．1．2 OpenStack的主要服务 270
8．2 计算服务Nova 272
8．2．1 Nova组件介绍 272
8．2．2 Libvirt简介 273
8．2．3 Nova中的RabbitMQ解析 275
8．3 对象存储服务Swift 282
8．3．1 Swift特性 282
8．3．2 应用场景 283
8．3．3 Swift主要组件 284
8．3．4 Swift基本原理 286
8．3．5 实例分析 290
8．4 镜像服务Glance 291
8．4．1 Glance的作用 291
8．4．2 Glance的组成部分 291
习题 292
参考文献 292
第9章 云计算数据中心 293
9．1 云数据中心的特征 293
9．2 云数据中心网络部署 294
9．2．1 改进型树结构 294
9．2．2 递归层次结构 296
9．2．3 光交换网络 299
9．2．4 线数据中心网络 301
9．2．5 软件定义网络 301
9．3 绿色节能技术 305
9．3．1 配电系统节能技术 305
9．3．2 空调系统节能技术 307
9．3．3 集装箱数据中心节能技术 310
9．3．4 数据中心节能策略和算法研究 312
9．3．5 新能源的应用 315
9．3．6 典型的绿色节能数据中心 318
9．4 自动化管理 320
9．4．1 自动化管理的特征 320
9．4．2 自动化管理实现阶段 321
9．4．3 Facebook自动化管理 322
9．5 容灾备份 324
9．5．1 容灾系统的等级标准 325
9．5．2 容灾备份的关键技术 325
9．5．3 云存储在容灾备份中的应用 327
习题 328
参考文献 328
第10章 云计算核心算法 332
10．1 Paxos算法 332
10．1．1 Paxos 算法背景知识 332
10．1．2 Paxos 算法详解 333
10．1．3 Paxos 算法举例 336
10．2 DHT算法 338
10．2．1 DHT原理介绍 339
10．2．2 Chord中DHT的具体实现 340
10．2．3 Pastry中DHT的具体实现 342
10．2．4 CAN中DHT的具体实现 343
10．2．5 Tapestry中DHT的具体实现 345
10．3 Gossip协议 345
10．3．1 Gossip协议的特点 346
10．3．2 Gossip协议的通信方式及收敛性 346
10．3．3 Gossip节点管理算法 348
10．3．4 Cassandra中Gossip协议的具体实现方式 349
10．3．5 CoolStreaming系统中Gossip协议的具体实现方式 352
习题 354
参考文献 354
第11章 中国云计算技术 355
11．1 国内云计算发展概况 355
11．2 国产云存储技术 356
11．2．1 淘宝分布式文件系统TFS 356
11．2．2 云创存储cStor分布式文件系统 359
11．2．3 A8000超低功耗云存储一体机 364
11．3 国产大数据库技术 367
11．3．1 阿里巴巴OceanBase 367
11．3．2 云创存储数据立方（DataCube） 371
11．4 云视频监控技术 376
11．4．1 cVideo云视频监控系统 376
11．4．2 cVideo智能分析系统 378
11．4．3 cVideo云转码系统 381
11．5 阿里巴巴阿里云服务 383
11．5．1 阿里云计算体系架构 383
11．5．2 弹性计算服务（ECS） 384
11．5．3 开放存储服务（OSS） 385
11．5．4 开放结构化数据服务（OTS） 385
11．5．5 开放数据处理服务（ODPS） 385
11．5．6 关系型数据库（RDS） 386
11．6 云创存储万物云服务 386
11．6．1 平台简介 386
11．6．2 系统架构 387
11．6．3 功能服务 388
11．6．4 应用举例 391
习题 392
参考文献 392
第12章 总结与展望 394
12．1 主流商业云计算解决方案比较 394
12．1．1 应用场景 394
12．1．2 使用流程 396
12．1．3 体系结构 397
12．1．4 实现技术 397
12．1．5 核心业务 398
12．2 主流开源云计算系统比较 400
12．2．1 开发目的 401
12．2．2 体系结构 402
12．2．3 实现技术 403
12．2．4 核心服务 403
12．3 云计算的历史坐标与发展方向 404
12．3．1 互联网发展的阶段划分 404
12．3．2 云格（Gloud）――云计算的未来 407
习题 409
参考文献 409