[大数据]大数据开发高薪训练营

链接:https://pan.baidu.com/s/1rt2OryhoTbaP9xZZfEFwzw?

提取码:wkwk

技术项目立项，需要在立项之处就要想清楚一些东西，如项目的目的，项目的架构图设计，项目技术架构设计，项目的任务排期，项目的成果，项目的风险，都需要在事前考虑清除，这样才不会在项目启动后手忙脚乱。

下面开始针对大数据项目的技术排期开始做规划：

比如常见的大数据项目：一般的方案设计肯定要 包括数据采集+ 数据计算 + 数据存储 主要组成部分，中间会采用其他组件。比如使用 flume + kafka + flink/storm + hbase

链接:https://pan.baidu.com/s/1rt2OryhoTbaP9xZZfEFwzw?

提取码:wkwk

项目的任务：

1. 技术架构方案设计: 一般网络上都有成熟的技术方案，但是需要根据自己的业务再二次设计。

2. 集群和相关组件的搭建: 如果公司运维强大，这些都不需要自己去做，如果需要自己维护，那么就自己搭建。

3. 数据处理代码开发 ：从kafka 消费event ,经过storm 处理写入hbase , 多做测试，这一步是重点。

4. 对服务的监控：对kafka消费情况进行监控，对storm 的数据处理程序进行监控，对集群的监控，对机器的监控

5. 后期组件的优化: 对组件的参数设置以及业务中出现的性能问题进行优化。

其中1 ,2,3,4 是完成一个项目必须做好的，5是项目运行过程中一直持续跟进的，要提前发现可能出现的问题，一个个进行攻破，5是对能力的提升最大的地方，一定要重视。

链接:https://pan.baidu.com/s/1rt2OryhoTbaP9xZZfEFwzw?

提取码:wkwk