物联网和 5G 技术的进步导致人们对“数字孪生”的兴趣日益浓厚,这种“数字孪生”可以实时数字化现实世界,以便通过将这些数据存储在无需了解设备即可使用的云端将其转化为价值。
构建数字孪生的关键要求是能够高速处理大量流数据,并在不中断服务的情况下对处理进行添加或更改。作为回应,富士通实验室开发了动态可重构异步一致事件处理架构 (Dracena) 作为反应平台,通过创建基于云的人员、事物和上下文的数字孪生体,可用于快速灵活地开发和部署服务。现实中。该平台具有实时处理大量流数据并在不关闭系统的情况下对该处理进行添加或更改的能力。本文介绍了 Dracena 的架构、为其开发的技术以及使用它的应用程序。
一、简介
近年来物联网和 5G 技术的进步提高了对服务的期望,这些服务可以实时利用来自工厂、社会基础设施和家庭中的许多不同类型设备的大量数据流,从而将这些数据转化为价值。这些服务已经进入商业用途,大量真实世界的数据被收集到云端,用于可视化、分析和预测。希望他们也能进入下一步,将来自不同行业的数据和服务结合起来,发展成实时控制现实世界的方式。
在启用此类服务??方面将发挥重要作用的一项技术是数字孪生技术 [ 1 ](图 1),它将现实世界转换为数字数据并链接到数字空间。数字孪生使用云来收集现实世界(人和事物)的数据,并将分析这些数据的结果提供给服务和应用程序。此外,这些数字孪生在对实际业务和生活有意义的上下文中代表了这些原始的真实数据。这样做可以有效地开发服务和应用程序,而无需考虑收集他们使用的真实数据的特定物联网设备。
传统的数据处理是对存储在数据库中的成批数据进行的。另一方面,Dracena 对大量数据执行顺序流数据处理,从而在现实世界中实现实时分析和预测。
富士通实验室开发了动态可重构异步一致事件处理架构 (Dracena) 作为一个平台,该平台可以创建基于云的人、事物和上下文的数字双胞胎,并实时处理大量流数据。Dracena 可用于快速灵活地开发和部署服务,同时允许在不关闭系统的情况下进行添加或更改。
本文介绍了 Dracena 的架构、为其开发的技术以及使用它的应用程序。
2、现有技术及相关问题
本节描述了过去的流数据处理技术存在的三个问题。
1)状态信息维护困难
识别现实世界中何时发生事件需要保存有关当前状态的信息,以便可以实时检测到变化。例如,使用车辆生成的数据流来确定道路危险何时出现,需要能够检测从在同一道路上行驶的许多车辆收集的数据何时从其正常状态变为指示危险状态的状态。冒险。不幸的是,过去的技术通过仅在内存中存储有限数量的状态信息或根本不存储(无状态操作)来实现高速化。这意味着当需要有关先前状态的信息时需要访问数据库,这不可避免地导致处理速度显着下降。
2)数据共享和互操作困难
过去的做法是将系统垂直集成到孤岛中,从设备到服务一直紧密耦合。这使得与其他服务的互操作变得困难。此外,数据流的格式化方式取决于每个服务,为了将这些数据用于通用目的,需要将它们转换为易于使用的数据格式,这不仅需要开发成本,还需要机器资源进行转换。
3) 在进行添加或更改时需要停止服务
鉴于难以预测现实世界中可能发生的事情,现实世界的服务经常需要对其工作方式进行添加和更改。然而,对于为自动驾驶等应用程序提供信息的服务,即使在很短的时间内,这种中断也是不可接受的。过去通过操作两个系统并在它们之间切换的处理方式只会增加成本。
3、Dracena 架构和实现
克服上述问题需要能够实时处理来自现实世界的大量数据,同时还将不间断运营与敏捷开发和增强与人、事物和上下文相关的不同类型服务相结合现实世界的。本节介绍富士通实验室为此目的开发的 Dracena 平台的架构和实现。
3.1 架构
Dracena 是一个通过实时处理从数百万或数千万的现实世界设备(例如联网汽车或智能手机)高频传输到数据中心的流数据来提供及时服务的平台。图 2显示了 Dracena 的架构。
Dracena 使用来自现实世界的大量流数据来维护表示人、事物和上下文的“对象”的内存状态信息。该平台还具有附加插件程序的功能,这些插件程序可以通过更改这些内存中对象状态来调用。这些插件的功能包括能够根据程序结果更新它们自己的状态,以及将新的事件数据传递给其他对象以实现数据更新的链接。这些特性为 Dracena 提供了一种反应式架构,其中处理是异步的和事件驱动的。它们还使 Dracena 成为云时代的新型实时处理平台,具有高吞吐量和低延迟的可扩展性。Dracena 的两个主要特点如下。
1)真实世界的对象和服务对象
为了防止物联网系统成为孤岛,Dracena 在云端实时提取现实世界数据,以提供代表人、事物和上下文的灵活数字孪生,从而允许添加特定于特定服务的数据处理操作 [ 2 ]。
它还能够通过将从设备接收的数据作为状态信息存储在现实世界对象中来检测现实世界中何时发生事件,将其保持为原始形式并进行预处理以供服务使用。
那些持有关于真实世界人和事物的状态信息的对象,这些对象是比较通用的而不是特定于服务的,这些对象被称为“真实世界对象”,那些执行与服务相关的操作的对象被称为“服务对象”。现实世界的对象可以由公司内部和公司之间的不同部门共享。另外,服务之间的通用数据处理可以做成微服务作为服务对象,可以相互连接、链接在一起。因此,实现了高效的开发和事件处理。
2)无缝升级不中断服务
Dracena 允许动态添加或更改数据处理程序,而无需关闭在线服务,也不会影响数百万实时数据的可扩展处理。图 3显示了如何在不停止操作的情况下执行服务更新的图表 [ 3 ]。首先,当对数据处理程序进行升级或修改时,程序的 Java 类以相同的方式作为消息分发给对象作为一个事件,如图(1)所示。接下来,利用Java反射机制动态合并新的处理程序,如(2)所示。最后,通过协调切换到新处理程序的时间来启用服务更新,如(3)所示。
3.2 实施
Dracena 实现涉及最新开源软件的最佳组合,包括用于分布式消息队列的Apache Kafka [ 4 ] 和 Apache Flink [ 5 ] 分布式流处理引擎。这些是构成实时数字孪生的对象和插件唯一实现的基础。这种实施方法符合这个最大限度地利用开源的数字化转型时代的国际趋势。Dracena 通过详细分析由这些不同元素组成的整个系统的性能特征来优化资源使用,从而实现最大性能。
4、潜在应用
本节介绍使用 Dracena 的典型应用。
4.1 移动性
图 4显示了 Dracena 在移动领域的应用。通过 Dracena 对大量联网汽车的传感器数据进行收集和分析,可以提供下一代交通信息服务,该服务不仅可以获取车辆和驾驶员的实时信息,还可以获取道路障碍物等方面的实时信息。大范围内不断变化的户外环境。
一个例子是检测在特定路段上频繁发生突然制动的情况,并使用它来警告接近的车辆。通过分析从过往车辆收集的图像数据,还可以快速识别和解决问题的原因。另一种可能性是根据挡风玻璃刮水器的使用和天气数据准确预测潜在的洪水,并使用这些信息来提供安全的路线指导。
4.2 物流
电子商务的普及和制造业的全球化正在增加从分销链上游到下游的物流的复杂性。获取大范围内不断变化的现实世界条件的实时信息有助于提高此类行业的工作安全性和效率,包括供应链各个环节的货运状态和工作进度等信息。沿途的配送中心和仓库。
通过收集送货卡车的位置信息,并结合其他数据进行分析,例如不断变化的交通状况和目的地仓库的卸货空间,可以实时更新和改进物流计划. 仓库叉车和工作人员状态的实时分析也可用于提高安全性或提高工作效率。
在城市化和人口老龄化的背景下,物流行业一直落后于诸如在仓库中使用机器人、自动驾驶汽车或无人机进行最后一英里交付等做法。这表明 Dracena 在未来将如何变得越来越重要,作为数字孪生平台在工作场所进行改革,其中涉及人和系统共存的方式。
4.3 人流
近年来智能手机的普及使得跟踪人流变得更加容易。这些信息可以为应用程序提供基础,例如通过跟踪大量人流并引导他们走向人少的路线来减少体育场或其他活动场所的拥挤。旅游景点的另一个潜在应用是确定人们目前在哪里,他们从哪里来,以及他们在途中停留的地方,并以此推荐其他参观地点。
处理人流的应用程序中的一个考虑因素是难以提出适合特定个人的建议。与移动和物流不同,为人们提供选择以最大限度地提高便利性的建议可能不是他们想要的。
这就是数字双胞胎提供真实世界反馈的能力发挥作用的地方。可以通过跟踪他们如何响应反馈来了解个人的特征,并且可以开发和实施算法 [ 6 ],以提供更适合他们的建议。
5. 未来的挑战和机遇
富士通实验室打算继续进行旨在克服以下两个挑战的技术开发。
1) 提供高效的开发环境
为了提高与现实世界交互的服务的开发效率,富士通实验室计划提供一个框架,开发人员可以将其用于基于 GUI 的简单设计和现实世界和服务对象的开发。
2)快速获取真实世界模型
构建数字双胞胎需要使用收集到的数据来检测人、事物和上下文的状态以及状态变化的模型。目前大多数用于模型获取的人工智能和机器学习技术都是通过批处理工作的,这带来了模型一旦被获取,很快就会被快速变化的外部环境抛在后面的风险。因此,富士通实验室正在开发从现实世界流数据构建动态模型的技术,以便逐步使模型与实际发生的情况保持同步。
六,结论
本文介绍了用于实时处理大量现实世界流数据的 Dracena 反应式平台。Dracena 允许对流数据处理进行添加和更改,而无需临时关闭整个服务,从而实现灵活及时的服务开发和增强。
未来,富士通实验室打算扩大 Dracena 的应用范围,同时还着眼于下一代数字孪生,这些孪生结合了现实世界模型的自动学习等功能。
原文链接:Dracena实时数字孪生平台 — BimAnt
|