[大数据]山东大学软件工程应用与实践——Spark

?2021SC@SDUSC

目录

一、Spark使用场景

二、Spark特点

三、项目准备

四、组内分工

五、未来博客更新

一、Spark使用场景

? Hadoop常见于解决高吞吐量、批量处理的业务场景，但是如果需要实时查看浏览量统计信息，Hadoop显然不符合这样的要求。Spark通过内存计算能力极大地提高了大数据处理速度，满足了以上场景地需求，同时，通过对Java、python等语言的支持，极大的方便了用户地使用。而且，Spark还支持SQL查询、流式计算、图计算、机器学习等。

二、Spark特点

快速处理能力。

易于使用。Spark支持Java、Scala、python等语言编写应用程序，大大降低了使用者的门槛。

支持查询。

支持流式计算。

可用性高。

丰富的数据源支持。

三、项目准备

１．运行环境准备

2.Spark体验

3.阅读环境准备

4.Spark源码编译与调试

四、组内分工

Spark core 李子旭、王博涵

Streaming　陈政

SQL　于成龙

graphｘ　迟淏

五、未来博客更新