[大数据]大数据概念

------- 以下内容均为学习笔记仅供参考，如有不准确或错误内容，请您留言告知，我们将更正内容，谢谢您的支持！！

1. 大数据概念
   1. 什么是大数据呢？
      1. 数据
         1. 世界的本质就是数据-- 大数据研究专家维克托·迈尔·舍恩伯格博士
      2. 大数据定义
         1. 大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，因此需要新的处理模式，该处理模式就是大数据。
   2. 大数据处理的数据量有多大？
      1. 目前的大数据应用，数据量主要集中在PB/EB级别
   3. 大数据解决什么问题？
      1. 海量数据存储
         1. 数据分析的前提是有数据，数据存储的目的是支撑数据分析。究竟怎么去存储庞大的数据量，是开展数据分析的企业在当下面临的一个问题。
      2. 海量数据运算
         1. 当解决了海量数据的存储问题，接下来面临的海量数据的计算问题也是比较让人头疼，因为企业不仅追求可以计算，还会追求计算的速度、效率。
2. 大数据特点
   1. 大数据的特点可以使用5个字来概括：大、多、值、快、信
      1. 大：数据体量大
      2. 多：种类和来源多样
      3. 值：价值密度低
      4. 快：速度快
         1. 数据增长速度快；
         2. 处理速度快
         3. 获取数据的速度快；
      5. 信：数据的质量
         1. 数据的准确性
         2. 数据的可信赖度
3. 大数据的应用场景
   1. 大数据应用 -- > 信贷
   2. 大数据应用–> 让广告营销更加精准
   3. 大数据应用–> 大数据让新媒体更懂你
4. 大数据分析业务步骤
   1. 流程
      1. 明确数据分析的目的和思路
      2. 数据收集（Sqoop\flume\…）
      3. 数据处理：提取、清洗、转化、加载（Sqoop\Kettle\Mapreduce\…）
      4. 数据分析：统计、建模、挖掘（Hive\Spark\Flink\…）
      5. 数据可视化（Superset\Echarts\BI工具\…）
      6. 报告撰写
5. 大数据职业规划
   1. 岗位需求
      1. 大数据开发工程师
      2. Hadoop开发工程师
      3. Spark开发工程师
      4. 实时计算开发工程师
      5. 数据仓库工程师
      6. ETL开发工程师（数据分析前期的数据预处理工作）
      7. BI开发工程师（数据可视化的一些工作）
      8. 数据挖掘工程师
      9. 数据架构师
6. 大数据学习路线

   1. 学习路线

      1. linux系统

      2. 编程语言

         1. java、SQL、Scala、Python

      3. 大数据框架

         1. 核心框架：Hadoop、Hive、Spark、Flink、Kakfa、Hbase

      4. 项目