[大数据]aws学习笔记_大数据&消息队列关联

Amazon EMR

Amazon EMR 是行业领先的云大数据平台，可使用多种开放源代码工具处理大量数据，例如?Apache Spark、Apache Hive、Apache HBase、Apache Flink、Apache Hudi?和?Presto。Amazon EMR 通过自动执行耗时的任务（例如，预置容量和调优集群），可以轻松地设置、操作和扩展大数据环境。借助 EMR，您可以用不到传统本地解决方案一半的成本运行 PB 级分析，并且其速度比标准 Apache Spark?快 3 倍以上。?您可以使用 AWS Outposts 上的 EMR 在 Amazon EC2 实例上、在 Amazon Elastic Kubernetes Service (EKS) 集群上或在本地运行工作负载。

Amazon Simple Queue Service(SQS)

Amazon Simple Queue Service (SQS) 是一种完全托管的消息队列服务，可让您分离和扩展微服务、分布式系统和无服务器应用程序。SQS 消除了与管理和运营消息型中间件相关的复杂性和开销，并使开发人员能够专注于重要工作。借助 SQS，您可以在软件组件之间发送、存储和接收任何规模的消息，而不会丢失消息，并且无需其他服务即可保持可用。使用 AWS 控制台、命令行界面或您选择的 SDK 和三个简单的命令，在几分钟内即可开始使用 SQS。

SQS 提供两种消息队列类型。标准队列提供最高吞吐量、最大努力排序和至少一次传送。SQS FIFO 队列旨在确保按照消息的发送顺序对消息进行严格一次处理。