| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 大数据测试(一)大数据离线数据构造 -> 正文阅读 |
|
[大数据]大数据测试(一)大数据离线数据构造 |
一、大数据业务分类可分为2类: ①、大数据应用隶属于业务线。可以理解为它输出的各种报表数据,会直达客户或用户。所有数据带着强烈的业务属性,属于业务层。 ②、大数据平台可以理解为它属于中台层/数据仓库,没有自己的业务, 或者说他的业务就是提供算力去支撑客户的业务。对接业务部门,提供大数据接口服务,实现大数据和业务数据对接的功能,包含很多离线和实时的接口。 一般大公司还会有基础架构组,大致如图所示: 二、离线数据构造①、数据应用下的数据构造需求1、上游业务线无数据、或数据量级、数据丰富度不满足需求; 2、存量的级联数据、依赖的基础数据不满足; 3、存量数据量级不满足; 常见解决方案1、批量mock上游业务线数据; 2、将线上数据进行脱敏后,同步到线下使用 3、如果仅仅是读取操作,(在不影响线上前提下)直接使用线上数据; ②、大数据平台下的数据构造离线造数场景(参考:https://mp.weixin.qq.com/s/7bU4J1bhKdjBjoHgh6yW_A): 需求1、构造海量存量测试数据。 如 如果有一个造 10 亿行,1000 列的数据的要求,在短时间内把这些数据造出来。 2、一般都得提供从非常多的数据源中导 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/23 20:06:39- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |