? ? ? ? 就业市场调查报告
- 技能要求
- 用人单位类型
- 工作内容
- 薪酬
- 发展路径
技能要求?
流程：SEMMA 流程
S：Sample 搜集数据，抽样
问卷、数据库、实验室、仪器设备记录
E：Explore 探索
离散变量分布比例、连续变量的分布形态（正态、偏态？）、数据的异常和缺失、特征选择
M：Modify 数据修正
类型转换、一致性处理（单位）、异常值和缺失值处理、数据形态的转换
M：Model 数据建模（挖掘要用）
A：Assess 模型评估
RMSE，KS
预测
分析与挖掘的区别：
数据分析需要技能：SQL? 非常重要
数据收集——SQL
数据清洗与探索——excel/python
数据建模——python
结果呈现——PPT
（1）能够综合使用各种数理统计、数据分析、制表绘图等软件进行图表、图像以及文字处理；
（2） 掌握常用的数据统计、分析方法，有敏锐的洞察力和数据感觉，优秀的数据分析能力；
（3）能够综合使用各种数理统计、数据分析、数据挖掘、制表绘图等软件进行具有基本数据美感的图表、图像以及文字处理 ；
（4）具备良好的行业分析、判断能力、及文字表达能力；
（5）理解网站运营的常识，能从问题中引申出解决方案，提供设计改进建议；
（6）具有良好经济学、统计学及相关领域的理论基础，熟悉数理统计、数据分析或市场研究的工作方法，具有较强的数据分析能力；
（7）知识要求：同时具备统计学、数据库、经济学三个领域的基础知识；英语四级或以上、熟悉指标英文名称；具备互联网产品设计知识；
（8）具有深厚的数据分析、数据挖掘理论知识，深入了解相关技术；能熟练使用至少一种统计分析或数据挖掘工具；
参考文章3
数据处理能力
数据的存取、数据的清洗以及数据的展示，比如SQL，Python数据处理；
数据分析能力
数据分析和软件应用能力为主要需求，挖掘建模及算法能力成为数据分析师的标
配；
软实力
报告撰写与业务分析需求最为普遍，业务管理分析及汇报能力为主竞争力；
一、数据分析师需要具备的技能
熟悉Excel数据处理、数据敏感度较强、熟悉公司业务和行业知识、掌握数据分析方法、相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列、对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析、基本分析方法、高级分析方法
二、数据分析师的三大任务
分析历史、预测未来、优化选择
第三、数据分析师要求的8项技能
统计学、统计检验、P值、分布、估计、基本工具、Python、SQL、多变量微积分和线性代数、数据整理、数据可视化、软件工程、机器学习、数据科学家的思维、数据驱动、问题解决
第四、数据分析师要求的三大能力
统计学基础和分析工具应用、计算机编码能力、特定应用领域或行业的知识
参考文章5
用人单位类型
top10
电商、金融、数据服务、移动互联网、消费生活、企业服务、文娱|内容、游戏、社交、教育
工作内容
生成数据表
常见的生成方法有两种，第一种是导入外部数据，第二种是直接写入数据，Python支持从多种类型的数据导入。在开始使用Python进行数据导入前需要先导入pandas库，为了方便起见，我们也同时导入Numpy库。代码是最简模式，里面有很多可选参数设置，例如列名称、索引列、数据格式等等。
检查数据表
Python中使用shape函数来查看数据表的维度，也就是行数和列数。你可以使用info函数查看数据表的整体信息，使用dtypes函数来返回数据格式。Isnull是Python中检验空值的函数，你可以对整个数据表进行检查，也可以单独对某一列进行空值检查，返回的结果是逻辑值，包含空值返回True，不包含则返回False。使用unique函数查看唯一值，使用Values函数用来查看数据表中的数值。
数据表清洗
Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包含空值的数据，也可以使用fillna函数对空值进行填充。Python中dtype是查看数据格式的函数，与之对应的是astype函数，用来更改数据格式，Rename是更改列名称的函数，drop_duplicates函数删除重复值，replace函数实现数据替换。
数据预处理
数据预处理是对清洗完的数据进行整理以便后期的统计和分析工作，主要包括数据表的合并、排序、数值分列、数据分组及标记等工作。在Python中可以使用merge函数对两个数据表进行合并，合并的方式为inner，此外还有left、right和outer方式。使用ort_values函数和sort_index函数完成排序，使用where函数完成数据分组，使用split函数实现分列。
数据提取
主要是使用三个函数：loc、iloc和ix，其中loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。除了按标签和位置提起数据以外，还可以按具体的条件进行数据，比如使用loc和isin两个函数配合使用，按指定条件对数据进行提取。
数据筛选汇总
Python中使用loc函数配合筛选条件来完成筛选功能，配合sum和 count函数还能实现excel中sumif和countif函数的功能。Python中使用的主要函数是groupby和pivot_table。groupby是进行分类汇总的函数，使用方法很简单，制定要分组的列名称就可以，也可以同时制定多个列名称，groupby 按列名称出现的顺序进行分组。
薪酬
城市、工作经验与薪水的关系
?
技能要求与薪水的关系
?
参考文章?
发展路径
数据分析师岗位对于工作经验要求最多的是1年经验、2年经验以及3-4年经验，1-4年的工作经验要求占到了所有数据的91.11%。近些年科学技术的突飞猛进，得益于互联网和智能手机的发展，数据分析、大数据和人工智能行业逐渐兴起，因兴起时间较短，所以数据分析师岗位对于工作经验的要求比较友好
随着经验的提升，数据分析师的薪酬也在不断提高。而且并不会因为年龄的增长导致收入下降，是个值得深入的职业。
想要在这个行业有一个长远的发展，想要成为一名合格乃至优秀的数据分析师，除了需要不断积累、学习各种技能和知识以外，还要多思考，多总结，不断培养自己的数据思维以及分析能力。
学习和实际规划
- 技能目标
- 具体成果
技能目标?
本学期的数据库原理与设计课程已学习SQL server，假期打算主要学习利用python学习数据的获取以及数据的清洗与预分析。
数据获取
了解一些 Python 的基础知识：元素（列表、字典、元组等）、变量、循环、函数以及如何用成熟的 Python 库（urllib、BeautifulSoup、requests、scrapy）实现网页爬虫。
掌握基础的爬虫之后，还需要一些高级技巧。比如正则表达式、模拟用户登录、使用代理、设置爬取频率、使用cookie等等，来应对不同网站的反爬虫限制。爬虫可以说是最为灵活、有效的数据获取方式。
数据清洗与预分析
很多时候拿到的数据是不干净的，数据的重复、缺失、异常值等等。这时候就需要进行数据的清洗，把这些影响分析的数据处理好，才能获得更加精确地分析结果。
选择：数据访问（标签、特定值、布尔索引等）
缺失值处理：对缺失数据行进行删除或填充
重复值处理：重复值的判断与删除
空格和异常值处理：清楚不必要的空格和极端、异常数据
相关操作：描述性统计、Apply、图形绘制等
从数据处理开始，就需要介入编程知识了，但不必把Python的教程完全啃一遍，只需要掌握数据分析必备的那部分即可。
基本的数据类型：比如字符串、列表、字典、元组，不同的数据类型如何创建、进行增、删、改等操作，以及其中常用的函数及方法；
Python函数：学习如何去创建自己的函数，实现更丰富的定制化程序，知道在使用中如何调用；
控制语句：主要是条件语句和循环语句，利用不同的语句对流程进行控制，这是实现程序的自动化的基础。
Python中两个非常重要的库Numpy和Pandas也是需要掌握的，很多数据处理及分析方法就源于其中。
Numpy
数组创建：从已有的数组创建、从数值范围创建
数组切片：通过切片进行选择
数组操作：元素增删、数组维度修改、数组的分割及连接
Numpy函数：字符串函数、数学函数、统计函数
Pandas
数据准备：数据读取、创建数据表
数据查看：查看数据基本信息、查找空值和唯一值
数据清洗：缺失值处理、重复值处理、字符处理
数据提取：按标签值进行提取、按位置进行提取
数据统计：采样、汇总、基本的统计量计算
具体成果
7/23：学习使用python进行基本爬虫技巧
8/6：学习掌握库Numpy
8/20：学习掌握库Pandas