经天津市科技局审核,南大通用与南开大学、中汽数据(天津)有限公司联合申报的《大数据融合管理及隐私保护关键技术与应用》项目荣获2020年度天津市科学技术进步奖二等奖。
大数据时代来临,高价值数据源在大数据产业链中占有至关重要的核心地位,针对大数据的有效融合与管理平台的使用成为必然的需求。随着2016年网络安全法、2019年密码法的落地,如何确保数据的完整性、可用性和保密性,使其不受到信息泄漏和非法篡改的影响,已成为信息化健康发展所要考虑的核心问题。
针对大数据的融合管理,《大数据融合管理及隐私保护关键技术与应用》项目在南大通用2014年天津市科委科技小巨人领军企业培育重大项目《支撑大数据应用的国产MPP数据库》的基础上,自主研发出一款融合GBase 8a MPP、GBase 8s、开源Hadoop基础架构的大数据平台产品。产品在国内率先实现融合平台产品产业化,促进了“多种架构支持多类应用”向“多种应用混搭的大数据平台”发展,平台综合性能达到国际同类产品先进水平。同时,本项目在大数据平台的基础上,研制出实用的保留格式加密算法、可搜索加密等密码方案,用于大数据管理平台的关键数据保护,旨在增强其安全防护能力。本项目相关技术应用到中国汽车数据行业,为建成中国汽车研究中心国家级行业数据中心提供能力支撑。
项目主要研究内容和特点为: 1、大数据管理平台架构:采用完全并行的MPP + Shared Nothing分布式架构,支持多活Master架构;提供数据存储和计算统一接口,实现结构化、半结构化、非结构化的全类型数据处理能力;支持通过统一元数据管理,构建统一数据生产流程。
2、数据库大数据融合管理技术:全类型数据统一管理;关系算法与非关系算法融合;数据在不同处理引擎实时交换,形成数据从接入到实时应用闭环;跨数据中心访问技术,实现多个异构引擎间数据的跨数据中心的透明访问。
3、基于大数据融合管理平台的加密引擎技术:突破数据加密带来的格式变化问题,使得加密后的密文和明文具有相同的数据格式;攻克数据加密后无法进行SQL查询的难题,提出高效的可搜索加密等算法,支持密文数据的范围查询、全文检索和模糊查询等。
南大通用自2004年成立以来,始终坚持国产数据库的自主研发和推广,为用户提供全栈国产数据库产品和服务。自主研发的分析型数据库GBase 8a、交易型数据库GBase 8s、分布式交易型数据库GBase 8c以及目录数据库GBase 8d目前已经为金融、电信、政务、能源、交通、国防、企事业等领域上万家用户提供了产品和服务。此后,也将进一步深化数据库领域的技术探索,为用户提供更加安全、好用的数据库产品及服务。
|