大数据计算系统原理、技术与应用

封面

版权信息

作者简介

前言

第一部分 基础

第1章 大数据计算系统概述

1.1 大数据计算系统的定义

1.2 常见的大数据计算系统

1.3 大数据计算系统的监控与运维概述

1.4 大数据计算系统的性能优化

习题1

第二部分 应用实现

第2章 Hadoop的配置与编程

2.1 批处理计算框架概述

2.2 Hadoop环境的配置与搭建

2.3 一个简单示例

2.4 MapReduce编程

习题2

第3章 HDFS及其应用

3.1 HDFS概述

3.2 HDFS Shell

3.3 HDFS目录与数据的浏览

3.4 HDFS API

习题3

第4章 Spark的配置与编程

4.1 Spark环境的安装与部署

4.2 Spark的运行

4.3 Spark Scala编程

习题4

第5章 Storm的配置与编程

5.1 流计算概述

5.2 Storm概述

5.3 Storm开发环境的搭建

5.4 Storm编程

5.5 Storm编程示例——单词计数

习题5

第6章 GraphX及其应用

6.1 图计算概述

6.2 GraphX编程

6.3 GraphX编程示例

习题6

第三部分 原理

第7章 Hadoop的原理

7.1 Hadoop的体系结构

7.2 MapReduce的工作机制

7.3 MapReduce作业的运行机制

7.4 作业的调度

7.5 任务的执行

7.6 Shuffle的工作原理

习题7

第8章 HDFS的原理

8.1 HDFS的体系结构

8.2 HDFS中的数据访问

8.3 安全机制

8.4 容错机制

8.5 HDFS on YARN

习题8

第9章 Spark的原理

9.1 Spark的原理概述

9.2 Spark的RDD

9.3 Spark的存储

9.4 Spark任务的执行与提交

9.5 Spark的容错原理

习题9

第10章 Storm的原理

10.1 Storm的概念与系统架构

10.2 Storm的运行原理

10.3 Storm拓扑的并发机制

10.4 Storm的通信机制

10.5 Storm的容错

习题10

第11章 GraphX的原理

11.1 GraphX概述

11.2 GraphX的图数据存储

11.3 GraphX对图计算的支持

习题11

第四部分 监控、运维与调优

第12章 大数据计算系统的监控

12.1 监控的准备工作

12.2 监控内容

12.3 Hadoop监控的相关参数

12.4 通过HTTP界面监控Hadoop的状态

12.5 Hadoop的监控命令

12.6 编写自己的监控工具

12.7 利用Ganglia进行Hadoop集群监控

12.8 Hadoop的其他监控工具

习题12

第13章 大数据计算系统的运维

13.1 Hadoop及相关服务的启动与停止

13.2 用户身份确认和授权

13.3 Hadoop的运维命令

13.4 Hadoop中的数据迁移和备份

13.5 Hadoop的容灾处理

13.6 基于Greenplum进行Hadoop故障检测

习题13

第14章 大数据计算系统的调优

14.1 为什么要进行调优

14.2 如何调优

14.3 Hadoop的性能指标

14.4 系统优化