点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis （已更完）Kafka（已更完）Spark（新开的坑！正在更新！）

章节内容

上节我们完成了如下的内容：

Kafka集群监控方案JConsoleKafka EagleJavaAPI获取集群指标

简单介绍

在技术的不断迭代中，一路发展，三代技术引擎：

MapReduce 昨天Spark 今天Flink 未来

MapReduce和Spark都是类MR的处理引擎，底层原理非常相似。

什么是Spark

Spark的发展历程如下图：

Spark特点

速度快，与MapReduce相比，Spark基于内存运算要快100倍以上，基于硬盘运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效的处理流数据使用简单，Spark支持Scala、Java、Python、R的API，还支持超过80种算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的Shell，可以非常方便的在这些Shell中使用Spark集群来验证解决问题的方法通用性好，Spark提供了统一的解决方案，Spark可以用于批处理、交互式查询（SparkSQL）、实时流处理（SparkStreaming）、机器学习（SparkMLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝衔接。Spark统一解决方案非常具有吸引力，企业想用统一的平台去处理遇到的问题，减少开发和维护人力的成本和部署平台的物力成本。兼容性好，Spark可以非常方便的和其他开源的产品进行融合，Spark可以使用YARN、Mesos作为它的资源管理和调度器。可以处理所有Hadoop支持的数据，包括HDFS、HBase、Cassandra等。这对于已经部署Hadoop集群的用户特别重要，因为不需要任何的数据迁移就可以使用Spark。Spark也可以不依赖于其它第三方的资源管理和调度器，它实现了Standalone作为其内置的资源管理和调度框架，这样进一步降低了Spark的使用门槛，使得所有人可以非常容器的部署和使用Spark。

Spark与Hadoop

狭义上

从狭义上看：Hadoop是一个分布式框架，由存储、资源调度、计算三部分组成

Spark是一个分布式计算引擎，是由Scala编写的计算框架，基于内存的快速、通用、可扩展的大数据分析引擎。

广义上

从广义上看：Spark是Hadoop生态中不可或缺的一部分。

MapReduce不足

表达能力有限磁盘IO开销大延迟高：任务之间有IO开销，在前一个任务完成之前，另一个任务无法开始。

相对于Spark，Spark的设计要更高效，Spark在借鉴MapReduce优点的同时，很好的解决了MapReduce所面临的问题：

两者对比

Spark的计算模式也属于MapReduce，是对MR框架的优化。

数据存储结构：MapReduce是磁盘HDFS，Spark是内存构建的弹性分布式数据集RDD编程范式：Map+Reduce表达力欠缺，Spark提供了丰富操作使数据处理代码很短运行速度：MapReduce计算中间结果存磁盘，Spark中间结果在内存中任务速度：MapReduce任务以进程，需要数秒启动，Spark是小数据集读取在亚秒级

实际应用

批量处理（离线处理）：通常时间跨度在分钟到小时交互式查询：通常时间跨度在十秒到数十分钟流处理（实时处理）：通常跨度在数百毫秒到数秒

在面对上述的三个场景中，我们通常的解决方案是：

MapReduceHiveImpala 或 Storm

但是对应的也带来一些新的问题：

不同场景之间输入输出数据无法做到无缝共享，通常需要进行数据格式的转换、不同的软件需要不同的开发和维护团队，带来了较高的维护和使用成本比较难以通一个集群中的各个系统进行统一的资源协调和分配

系统架构

Spark运行包括如下：

Cluster ManagerWorker NodeDriverExecutor

ClusterManager

ClusterManager 是集群资源的管理者，Spark支持3中集群部署模式：

StandaloneYARNMesos

WorkerNode

WorkerNode是工作节点，负责管理本地资源。

Driver Program

运行应用的 main() 方法并且创建了 SparkContext。由ClusterManager分配资源，SparkContext发送Task到Executor上执行。

Executor

Executor在工作节点上运行，执行Driver发送的Task，并向Driver汇报计算结果。

部署模式

Standalone

独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖其他任何的资源管理系统，从一定程度上说，该模式是其他模式的基础Cluster Manager： MasterWorkerNode：Worker仅支持粗粒度的资源分配方式

SparkOnYARN

YARN拥有强大的社区支持，且逐步成为大数据集群资源管理系统的标准在国内生产环境中运用最广泛的部署模式SparkOnYARN 支持的两种模式：yarn-cluster（生产环境），yarn-client（交互和调试）Cluster Manager：ResourceManagerWorkNode：NodeManager仅支持粗粒度的资源分配方式

SparkOnMesos

官方推荐模式，Spark开发之初就考虑到了支持MesosSpark运行在Mesos上会更加的灵活，更加自然ClusterManager：MesosMasterWorkNode: MesosSlave支持粗粒度、细粒度的资源分配方式

粗粒度模式

Coarse-grained Mode：每个程序的运行由一个Driver和若干个Executor组成，其中每个Executor占用若干资源，内部可以运行多个Task。应用程序的各个任务正式运行之前，需要将运行环境中的资源全部申请好，且运行过程中需要一直占用着这些资源，即使不用，最后程序运行结束后，自动回收这些资源。

细粒度模式

鉴于粗粒度模式造成的大量资源的浪费，SparkOnMesos还提供了另一个调度模式就是细粒度模式。

这种模式类似于现在的云计算思想，核心是按需分配。

如何选择

生产环境中原则YARN，国内使用最广的模式Spark的初学者，Standalone模式，简单开发测试环境可选Standalone数据量不太大、应用不复杂，可使用Standalone

相关术语

Application 用户提交的Spark应用程序，由集群中的一个Driver和许多的Executor组成ApplicationJAR 一个包含Spark应用程序的JAR，JAR不应该包含Spark或者Hasoop的JARDriverProgram运行应用程序的main()，并创建SparkContextClusterManager管理集群资源的服务，如Standalone、YARN、MesosDeployMode区分Driver进程在何处运行，在Cluster模式下，在集群内部运行Driver，在Client模式下，Driver在集群外部运行Worker Node 运行应用程序的工作节点Executor 运行应用程序Task和保存数据，每个应用程序都有自己的Executors，并且和Executor相互独立Task Executors 应用程序的最小单元Job，在用户程序中，每次调用Action函数都会产生一个新的Job，也就是说每一个Action都会生成一个JobStage，一个Job被分解为多个Stage，每个Stage是一系列Task的集合