Apache Spark的设计哲学

????????关键组件：

统一平台
????????为编写大数据应用程序提供统一的平台，Spark通过统一计算引擎和利用一套统一的API，支持广泛的数据分析任务，从简单的数据加载，到SQL查询，再到机器学习和流式计算。原因是真实世界的数据分析任务，需要结合许多不同的处理类型和软件库，Spark为并行数据处理提供统一引擎。
计算引擎
????????存算分离，不同Apache Hadoop的存储系统（HDFS）和计算系统（MapReduce）的紧耦合。
配套的软件库
????????以Spark核心引擎为中心而形成的软件库，越来越强大，提供越来越多的功能。不仅包含引擎附带的标准库，同时也支持由开源社区以第三方包形式发布的大量外部库，涵盖很多领域。

背景：大数据问题

????????单台计算机算力的瓶颈催生了并行CPU计算核心，需要修改老程序以支持并行计算，以便更快运行，这促使了Apache Spark等新编程模型的出现。除此之外，我们现在的世界是一个采集数据非常便宜的世界，但处理它需要大规模的并行计算，通常是在集群上进行。在这个新世界里，过去50年开发的软件无法自动扩展为并行程序，数据处理领域的传统编程模型也无法被自动并行化，因此我们需要一种新的编程模型。

Spark的历史

????????了解Hadoop MapReduce新编程模型的优缺点，针对实际中存在的问题和需求（大规模机器学习的多次迭代处理），设计更加通用的计算平台。
????????通过设计一个基于函数式编程的API，可以简洁地表达多计算步骤的应用程序。并通过一个新的引擎实现了这个API，该引擎可以跨多个计算步骤执行高效的内存数据共享。解决了Hadoop MapReduce在机器学习算法中每次迭代都必须通过一个MapReduce作业来完成，必须在分布式集群上重新读取全部数据并单独启动一次作业的痛点。
????????Spark最强大的功能来自于新的软件库，确保各种库的API具有高度的互操作性，是人们首次可以在同一个引擎中编写多种端到端的大数据应用程序。
????????最后，Spark可组合API的核心思想也在不断完善。