大数据的属性是什么？如何划分？拥有大数据是件令人兴奋的事，但在实践中处理大数据存在一定的困难，如数据量过大事情就会变得更困难。为了处理大数据要采用高性能算法，这些算法也已展现出惊人的优越性。
数据通常由一个矩阵表示，矩阵的行表示不同的条目或记录，列则表示这些条目的不同属性特征。例如，关于美国的城市数据集中每一行代表一个城市，每列则代表州、人口和地区等特征。
大数据的属性是什么？
一、结构化与非结构化数据
某些数据集具有很好的结构性，就像数据库中的数据表或电子表程序中一样。而其他的数据以更多样的形式记录着有关世界状况的信息。它们可能是像维基百科这样包含图像和超级链接的文本语料库，也可能是个人医疗记录中出现的复杂的注释和测试结果的混合数据。
数据通常由一个矩阵表示，矩阵的行表示不同的条目或记录，列则表示这些条目的不同属性特征。例如，关于美国的城市数据集中每一行代表一个城市，每列则代表州、人口和地区等特征。
当面对一个非结构化数据源时，我们通常首先要构建一个矩阵以使这些数据结构化。词袋模型可以构建一个矩阵，每条推文对应矩阵中的一行，每个常用词汇对应矩阵中的一列。矩阵项M[i, j]则表示推文i中单词j出现的次数。
二、定量数据与类别数据
定量数据由数值组成，如高度和重量。这些数据可以被直接带入代数公式和数学模型，也可以在传统的图表中进行表示。相比之下，类别数据则由描述被调查对象属性的标签组成，如性别、头发颜色和职业。这种描述性信息可以像数值型数据一样精确而有意义，但不能使用相同的方法进行处理。
类别数据通常可以进行数字化编码。例如，性别可以表示为男=0或女=1。但如果每个特性包含两个以上字符，尤其当它们之间没有隐序时，事情会变得更加复杂。我们可以对头发的颜色进行数字化编码，即为不同颜色匹配不同的数值，如灰色头发=0、红色头发=1以及金色头发=2。然而，除了单纯地进行特征识别之外，我们并不能真正将这些值视为数字。讨论头发的最大或最小颜色有什么意义呢?又如何解释我的头发颜色减去你的头发颜色的含义呢?
三、大数据与小数据
在大众眼中数据科学已经与大数据混为一谈，数据科学以计算机日志和传感器设备产生的海量数据集为分析对象。原则上，拥有更多的数据总是比数据少要好，因为如果有必要，可以通过抽样来舍弃其中的一些数据，从而得到一个更小的数据集。
拥有大数据是件令人兴奋的事。但在实践中，处理大数据存在一定的困难。一般来说，一旦数据量过大，事情就会变得更困难。大数据的挑战包括：
一个分析周期所用的时间随着数据规模的增长而变长：对数据集的计算性操作会随着数据量的增加而花费更长的时间。电子表格可以提供即时响应，允许用户进行实验测试以及验证各种假设。但计算大型电子表格时，会变得笨拙而缓慢。处理大规模数据集可能需要数小时或数天才能得到结果。为了处理大数据，要采用高性能算法，这些算法也已展现出惊人的优越性。但是绝不能为了获得更快的计算速度而将大数据拆分为小数据。
大型数据集复杂的可视化过程：在计算机屏幕或打印的图像上不可能将大数据中的数百万个要点全部绘制出来，更不要说对这些数据进行概念性的理解了。我们无法满怀希望地去深入理解一个根本无法看到的东西。
简单的模型不需要大量的数据来匹配或评估：典型的数据科学任务是基于一小部分变量做出决策，比如，根据年龄、性别、身高、体重以及现有的医疗水平来决定是否应该为投保人提供人寿保险。
如果有100万人的生活相关数据，那么应该能够建立一个具有较好保险责任的一般模型。但是当数据量扩充到几千万人时，可能对于优化模型就不再产生作用了。基于少数几个变量(如年龄和婚姻状况)的决策准则不能太复杂，而且在覆盖大量的保险申请人数据时呈现出鲁棒性。那些不易被察觉的发现，需要大量数据才能被巧妙地获得，而这却与数据体量的大小无关。
大数据有时被称为坏数据。它们作为已有系统或程序的副产品被收集起来，而不是为了回答我们手头已经设计好的问题而有目的地收集来的。这就使得我们可能不得不努力去解释一些现象，仅仅是因为我们拥有了这些数据。
总统候选人如何从分析选民偏好中获得收益?大数据方法可能会分析大量的Twitter或Facebook上的网络数据，并从文本中推测出选民的观点。而小数据方法则通过民意调查，对特定的问题询问几百人并将结果制成表格。哪种方法更准确呢?正确的数据集与要完成的任务具有直接相关性，而不一定是那个数量最大的数据集。
不要盲目地渴望分析大型数据集。寻找正确的数据来回答给定的问题，而不是做没有必要参与的“大事情”。
第一阶段：大数据开发入门
1、MySQL数据库及SQL语法
MySQL可以处理拥有上千万条记录的大型数据库，使用标准的SQL数据语言形式，MySQL可以安装在不同的操作系统，并且提供多种编程语言的操作接口，这些编程语言包括C、C++、Python、Java、Ruby等等。支持多种存储引擎。
SQL就是客户端和MySQL服务器端进行通信和沟通的语言。
2、Kettle与BI工具
Kettle作为一个端对端的数据集成平台，其部分特色功能包括：无代码拖拽式构建数据管道、多数据源对接、数据管道可视化、模板化开发数据管道、可视化计划任务、深度Hadoop支持、数据任务下压Spark集群、数据挖掘与机器学习支持。
3、Python与数据库交互
实际的生产任务中，数据几乎全部存在与数据库中，因此，与数据库的交互成为一件难以避免的事情。想要在Python代码中和mysql数据库进行交互，需要借助一个第三方的模块“pymysql”
第二阶段：大数据核心基础
1、Linux
Linux 作为操作系统，本身是为了管理内存，调度进程，处理网络协议栈等等。而大数据的发展是基于开源软件的平台，大数据的分布式集群( Hadoop，Spark )都是搭建在多台 Linux 系统上，对集群的执行命令都是在 Linux 终端窗口输入的。据Linux基金会的研究，86%的企业已经使用Linux操作系统进行大数据平台的构建。Linux占据优势。
2、Hadoop基础
2022最新大数据Hadoop入门教程，最适合零基础自学的大数据
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。它很擅长存储大量的半结构化的数据集。也非常擅长分布式计算——快速地跨多台机器处理大型数据集合。Hadoop的框架最核心的设计就是：HDFS和MapReduce.HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
MapReduce和Hadoop是相互独立的，实际上又能相互配合工作得很好。MapReduce是处理大量半结构化数据集合的编程模型。
3、大数据开发Hive基础
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。
第三阶段：千亿级数仓技术
企业级在线教育项目实战（Hive数仓项目完整流程）
大数据项目实战教程_大数据企业级离线数据仓库，在线教育项目实战（Hive数仓项目完整流程）
以真实项目为驱动，学习离线数仓技术。建立集团数据仓库，统一集团数据中心，把分散的业务数据集中存储和处理 ；从需求调研、设计、版本控制、研发、测试到落地上线，涵盖了项目的完整工序 ；挖掘分析海量用户行为数据，定制多维数据集合，形成数据集市，供各个场景主题使用。
第四阶段：PB内存计算
1、Python编程基础+进阶
全套Python教程_Python基础入门视频教程，零基础小白自学Python必备教程
Python高级语法进阶教程_python多任务及网络编程，从零搭建网站全套教程
Python是基于ABC语言的发展来的，Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言， 随着版本的不断更新和语言新功能的添加，逐渐被用于独立的、大型项目的开发。
Python 语言的语法非常简洁明了，即便是非软件专业的初学者，也很容易上手，和其它编程语言相比，实现同一个功能，Python 语言的实现代码往往是最短的。
2、Spark技术栈
Spark全套视频教程，大数据spark3.2从基础到精通，全网首套基于Python语言的spark教程
Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。本课程基于Python语言学习Spark3.2开发，课程的讲解注重理论联系实际，高效快捷，深入浅出，让初学者也能快速掌握。让有经验的工程师也能有所收获。
3、大数据Flink技术栈
Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务。Flink也可以方便地和Hadoop生态圈中其他项目集成，例如Flink可以读取存储在HDFS或HBase中的静态数据，以Kafka作为流式的数据源，直接重用MapReduce或Storm代码，或是通过YARN申请集群资源等。
4.Spark离线数仓工业项目实战
全网首次披露大数据Spark离线数仓工业项目实战，Hive+Spark构建企业级大数据平台
通过大数据技术架构，解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于Hive数仓分层来存储各个业务指标数据，基于sparkSQL做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。
