IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 基于业务场景--数据脱敏 -> 正文阅读

[大数据]基于业务场景--数据脱敏

什么是数据脱敏?

来源于百度介绍:数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。数据安全技术之一,数据库安全技术主要包括:数据库漏扫、数据库加密、数据库防火墙、数据脱敏、数据库安全审计系统。数据库安全风险包括:拖库、刷库、撞库。

什么情况下使用?

日常生活中,我们在各个APP上、火车票上都会对我们的敏感信息进行脱敏隐藏话,这些都是在政府系统、金融、支付等系统中使用。

引用自美团技术团队
这里我们把敏感数据分成四个维度进行梳理,用户、商家、终端、公司。

从用户维度进行梳理可能有这些敏感字段如下:手机号码、邮件地址、账号、地址、固定电话号码等信息(此外个人隐私数据相关还有如:种族、政治观点、宗教信仰、基因等)
从商家维度进行梳理:合同签订人,合同签订人电话等(不排除全局敏感数据:如商家团购品类等)
从用户终端维度进行梳理:能够可能标识终端的唯一性字段,如设备id。
从公司角度进行梳理:交易金额、代金卷密码、充值码等

对于开发的伙伴来说,我们经常需要从生产库那边导入一部分数据到本地的开发和测试数据库,但是本地数据库就需要对数据进行脱敏。通常我们可以写SQL脚本对敏感字段进行处理,处理的方式必须保持原有的信息的特征,对敏感信息的脱敏。

脱敏的处理方法:

替换:如统一将女性用户名替换为F,这种方法更像“障眼法”,对内部人员可以完全保持信息完整性,但易破解。
重排:序号12345重排为54321,按照一定的顺序进行打乱,很像“替换”, 可以在需要时方便还原信息,但同样易破解。
加密:编号12345加密为23456,安全程度取决于采用哪种加密算法,一般根据实际情况而定。
截断:13811001111截断为138,舍弃必要信息来保证数据的模糊性,是比较常用的脱敏方法,但往往对生产不够友好。
截断+加密:2558664@163.com ->au23342sdsu1231@163.com,我们保留邮箱域名,对账号进行加密处理
掩码: 123456 -> 1xxxx6,保留了部分信息,并且保证了信息的长度不变性,对信息持有者更易辨别, 如火车票上得身份信息。
日期偏移取整:20130520 12:30:45 -> 20130520 12:00:00,舍弃精度来保证原始数据的安全性,一般此种方法可以保护数据的时间分布密度。
自定义编码:上海市上海市长宁区虹桥路528号->上海市*******528号,根据自己定义的规则进行脱敏处理

如何在开发中进行脱敏?

在真实的业务场景中,我们可能会遇到需要到数据库中脱敏、另外一种是在前端显示脱敏。这个过程都需要后端来做一下处理。我们该如何保证数据脱敏呢?
在这里插入图片描述
第一种:从后端到前端脱敏处理。比较简单的处理了防窥的作用
在这里插入图片描述
可以看到我们对返回的对象进行处理,给返回对象进行脱敏处理。这个再数据库层面还是明码存储的,这样就会造成,如果数据库被访问到,数据的安全性就会有所欠缺。

第二种:数据库层面进行脱敏处理。
1)从前端传回来的数据是明文存储或者加密处理都可以,在后端存入数据库之前,我们对需要脱敏的字段进行脱敏处理。使得保存在数据库的是安全的,展示的时候也不会出错。既可以明文展示也可以脱敏展示。
在这里插入图片描述
根据这样的业务需求,我们就可以通过使用字段注解的方式,在对象序列化前后进行脱敏与还原的处理。具体实现代码,参考下一篇。

2)从生产库到开发库的数据,到开发库之后要进行脱敏处理。
在这里插入图片描述
这种情况下,只能通过写脚本的方式更改数据库内容了,网上有几款工具,他们同样也是用的脚本方式实现的,从嘴底层的原理就是写sql实现update的脚本。

update overhaul_defect_order set
update_time = update_time,
designate_user_phone = CONCAT(LEFT(designate_user_phone,3),'****',RIGHT(designate_user_phone,4)),
overhaul_phone = CONCAT(LEFT(overhaul_phone,3),'****',RIGHT(overhaul_phone,4)),
vendor_name = (SELECT outside_vendor.`name` from `outside_vendor` where overhaul_defect_order.vendor_id = `outside_vendor`.id),
contact_phone =  CONCAT(LEFT(contact_phone,3),'****',RIGHT(contact_phone,4)) ;
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-03-08 22:34:18  更:2022-03-08 22:36:56 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 9:17:18-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码