IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 再谈数据标准落标,论数据模型设计工具 -> 正文阅读

[大数据]再谈数据标准落标,论数据模型设计工具

工欲善其事必先利其器。工具是用来提高生产效率,其次才是管理属性。 一个工具顺不顺手极大影响生产效率和管理效果。工具用不起来,管理制度也落不下去。管理自说自话,下面各干各的,最终两张皮。Datablau参与某全球知名企业数据治理的早期就是这种情况,数据标准挂墙上,由于工具没人用,数据模型设计还是想怎么设计就怎么设计,所谓模型管控形同虚设。

中国传统文化缺少工匠精神,对工匠的尊重度和话语权比较低。企业不愿意为效率工具买单,因为是给底下干活的人用的,体现不出来管理亮点,除非知识产权的法律风险。企业寄希望于通过管理平台将企业的资产有效管理和利用起来。国内管理平台不标准化也是很大的问题,这是另一个话题,这里不展开讨论。最终发展出来的形态就是企业雇用大量人力资源外包,带着外包团队搞 “创新”,最后甲乙双方都陷在泥潭里形成负向循环。

整体营商环境导致厂商只能追逐短期利益,难以长期专注投入在工具上,所以打造出来的精品工具寥寥无几。WPS算是非常经典的优秀工具,很多人每天在上面工作超过10个小时。撰写一份汇报、表格,在WPS上花的时间如果换成网页端的OA管理系统可能就要数倍时间,不用有效的工具根本完成不了工作。实际情况就是在WPS上撰写,然后粘贴到OA系统中。可以看出效率工具和管理平台的定位和价值泾渭分明。

同样,数据领域中,跟数据模型设计相似,数据开发平台也是工具+管理的场景,由于工具不够好使,常常开发熟手喜欢在其他第三方工具中撰写SQL,如Dbeaver, UltraEdit,而不是在ETL系统中设计job或管理平台中写SQL。设计一个ETL job比写十个存储过程还慢。实际情况就是第三方工具中写SQL调试,运行通过后拷贝到Excel,最后由Excel导入管理平台。这样的管控只能在批量Excel导入时才能开始,已经太晚了,审批时再让开发人员补信息,都是应付了事。

所以工具的关键是效率!帮匠人提高效率才能真正用起来。管理制度才能落下去!

管理工作常常需要以润物细无声的方式来落地,近几年大行其道的敏捷开发就是将管理做轻做到每日的站立会议里,及时调整需求,及时发现blocker。传统瀑布式以阶段性交付物作为管控,过去十几年的血泪史证实瀑布式对于现代应用开发越来越难成功,常常评审时已经开发完了或者需求已经变更的物是人非了。好的实践,例如:源代码的编码规范在每次工具中编译时都会提示,如果等到几百万行代码都开发完了,提交代码评审改也改不动,于事无补,只是走形式。

曾经看到有个企业做数据模型管控仅是在项目上线时在管理平台上提交一个Excel,要求设计的模型与数据标准在Excel里说明映射关系。实际执行时,项目还是粗放式开发,到上线前补这个Excel。看上去都落标了,实际质量可想而知。这种模式显然在执行层面还是两层皮。上线时应付了事。数据标准还是落不下去。

归根结底是工具不好用,降低效率,导致开发人员私底下仍然各行其是,怎么快怎么方便怎么来。?管理制度自然落不下去。


回归到主题,什么是高效的数据模型设计工具?

“图形化设计能力!”

ER图设计是图形化设计,而不是弹出个表单逐项去填。我几乎没见过有人真用表单去建模的,实在是太慢太难用了,顶多就是做些小修改时会用到。

1. 图形化拖拽式模型设计

2. ER图自动布局(Diagramming?Layout)

数据模型的主流表达法有:

  • Peter?Chen,1976年由华人Peter Chen发明的最古典的表示法?
  • IE(Information Engineeing),最广泛被使用的
  • Barker, Oracle相关工具采用此表示法
  • IDEF1X,美国联邦政府广泛使用的表示法

  • Datablau?DDM采用Information Engineering,源自Crow's Foot表?法(也有叫做James Martin表?法的),中?翻译中对使?了Crow's Foot表?法的模型.也有笼统的称做鸭掌模型的(关联关系的关联基数中采?到了?个鸭掌形的三叉线来表?)。下图是IE表示法的关系?:

  • 自动布局

一个数据模型中通常有成百上千张表和关联关系,叠放在一起,如果手动摆放每个实体和关系是能把人搞崩溃的工作量,自动布局是模型设计工具必备的功能。下图是个典型的反例,所有实体矩形都需要手动调整大小才能展示完整的字段,每个实体的位置需要手动调整才能显示完整,每个关系线也需要手动调整。这个工具就是表单形式编辑加图形静态展示,本质上不是模型设计工具。追求工具顺手好用、提高效率的开发人员,显然是不会去用的,还不如直接在Excel输入,再统一转换。作为设计工具不能设计,只能当成表格去录入,就失去了设计工具的意义,管理目标更达不到

图形设计能力对于模型设计工具是最关键的!

Datablau?DDM支持多种自动布局模式,帮助设计人员节省数百个小时,真正使模型设计工具用起来,企业数据模型管控模式落地。

?

3. 撤消、恢复(UNDO/REDO)

  • 撤消、恢复是作为工具必须具备的能力。表、字段、属性、关系的设计需要反复修改斟酌,?UNDO/REDO是高频使用的功能,提高效率。
  • 很多设计操作是复合操作,例如建立外键(FK)关系除了画关系线也会创建外键字段(key migration),背后有一系列的操作,UNDO需要将复合操作的每一步都逆向操作,每步之间有逻辑依赖关系,这是非常复杂的。

4.?绘图样式(Theme)

ER图是每个企业的数据地图,被不同角色的人反复查看。良好的绘图样式可以帮助相关人员快速理解业务。样式区分不同的业务域,区分主键、外键,区分实体、视图等。


总之,数据模型管控和数据标准落标需要有好用的模型设计工具帮助使用者提高效率,进而以润物细无声的方式来将管理制度落地。数据模型设计工具是通过图形化操作来设计,效率是表单方式设计的数十倍。以我们近百家企业客户的实际经验,帮您的数据架构师、数据模型师、开发工程师配备一款高效数据模型设计工具,他们也愿意配合数据管理的宏大目标,推进数据生产规范化!?

?

?

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-01 15:49:32  更:2022-05-01 15:51:21 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 1:25:20-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码