Numpy

数组的创建
- np.array(data = 列表)
- plt.imread(图片地址)
- np.ones()全部为1
- np.linspace()创建等差数列，一维数组
- np.arange()创建等差数列，一维数组
- np.random.randint()创建任意维度的数组
常用属性
- shape 返回数组的形状
- ndim 返回数组的维度
- size 返回数组元素的个数
- dtype 返回元素的数据类型
修改数组的数据类型
- arr.dtype = 赋值
- astype(数据类型)
numpy数组主要存储数值型的数据
- int, float
索引
- 索引取行：arr[行索引]
- 索引取列：arr[:,列索引]
- 索引取元素: arr[行索引:列索引]
切片:与pandas不同
- 切行:arr[行切片（xx:xx）]
- 切列:arr[:, 列切片]
级联:concatenate
- 将多个numpy进行横向或者纵向的拼接(需要根据需要保证列数或者行数相等) -> 与pandas不同
变形:reshape
- reshape()需要保证元素个数相等
基于切片反转图片
- arr[::-1, ::-1]
- 基于切片反转图片
聚合函数
- max, min, mean, min
统计函数
- std 标准差
- var 方差
矩阵
- 转置:T
- 矩阵乘法

Pandas

两个常用的类
- Series, DataFrame

Series(一维的数据结构)
- 创建形式:
  - Series(data=list)
  - Series(data=np.array())
  - Series(data=dic)
- isnull(), notnull() 检测Series是否为空或者是否为非空
- unique() 对元素去重
- nunique() 统计去重后的元素个数
- Series 运算法则
  - 如果两个Series之间进行算术运算，则可以对索引一直的元素进行运算，否则为空
- Series的显示索引，可以通过设置index设置其显示索引，不会覆盖隐式索引

DataFrame(二维的数据结构)
- 创建方式:
  - DataFrame(data=二维列表)
  - DataFrame(data=二维的numpy数组)
  - DataFrame(data=字典)
- 显式索引: 通过设置index，columns设置其行和列的显式索引
- 索引操作:
  - DataFrame[‘列索引’] 索引取列
  - DataFrame[[‘c1’, ‘c2’]] 索引取多列
  - DataFrame.iloc[‘行索引’] 索引取行
  - DataFrame.iloc[[i1, i2]] 索引取多行
  - iloc[隐式索引]
  - loc[显式索引]
  - DataFrame.iloc[行索引, 列索引]
- 切片操作:
  - 切行:DataFrame[行切片(xx:xx)]
  - 切列:DataFrame.iloc[:, 列切片(xx:xx)]
- 时间类型的转换
  - pd.to_datetime(DataFrame[‘data’])
- 将列转化为行索引
  - set_index(df[‘col’])
- DataFrame持久化存储
  - DataFrame.to_xxx()
- DataFrame的数据加载
  - pd.read_xxx()
- 指定数据的删除:
  - drop() 注意axis与正常的情况相反
- 将Series的元素整体的上移或者下移:
  - shift(x)
- 可以将布尔值作为数据的行索引
- 数据的重新取样: resample(‘M’).first() 可以取月份最后或者第一天
- rolling(5).mean() 5日均值
- sort_index() 根据索引排序
- sort_value() 根据值排序
- DataFrame的级联: concat()
  - 匹配级联和不匹配级联
- DataFrame的合并: merge() 需要一列共同的值合并，有left_on,right_on
  - how:inner(为了防止数据丢失通常不用), outer, left, right
- DataFrame 运算法则同Series
- DataFrame的条件查询query() 比索引取行查询方便的多，可在后边编写条件，取出符合条件的行
- DataFrame的替换操作: replace()
  - 单值替换
  - 多值替换
  - 指定列替换
- 映射: map(只能用到Series中后便跟字典形式的映射表)
- Series运算工具:map(func)
- 随机抽样
  - take():打乱DataFrame的行和列
  - random.randint(n) 随机乱序数列
- apply 是DataFrame的运算工具，对DataFrame的行或者列进行运算
- applymap 是对DataFrame中的每一个元素进行运算
- 数据清洗
  - 缺失值
    - any, all, dropna, fillna
  - 重复值
    - drop_duplicates(keep)
  - 异常值
    - 基于异常值判定条件返回的布尔值取出索引去除异常值得操作
- 分组操作
  - groupby(by=‘xx’)
- 分组聚合
  - agg([‘xx’, ‘cc’])分组后实现多种操作
- 高级聚合
  - 自定义分组后的聚合函数
  - apply(func), transform(func)
- 透视表(pivot_table) 用法比较困难
  - 参数:
    - index
    - value
    - aggfunc
    - columns