开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 网络协议 -> DataFrame算子 -> 正文阅读

[网络协议]DataFrame算子

算子分类
????? |__ RDD同源
??????|????|__ 数据转换
??????|????|?????????????|__ map
??????|????|?????????????|__ mapPartitions
??????|????|?????????????|__ flatMap
??????|????|?????????????|__ filter
??????|????|__ 数据聚合
??????|????|?????????????|__ groupByKey
??????|????|?????????????|__ reduce
??????|????|__ 数据准备
??????|????|?????????????|__ union
??????|????|?????????????|__ sample
??????|????|__ 数据预处理
??????|????|?????????????|__ coalesce
??????|????|?????????????|__ repartition
??????|????|__ 结构收集
??????|????|?????????????|__ first
??????|????|?????????????|__ take
??????|????|?????????????|__ collect
????? |__ Schema同源
??????????|__ 探索类算子
??????????|??????????????|__ 查看数据模式
??????????|??????????????|????????????????|__ columns
??????????|??????????????|????????????????|__ schema
??????????|??????????????|????????????????|__ printSchema
??????????|??????????????|__ 查看数据"模样"
??????????|??????????????|????????????????|__ show
??????????|??????????????|__ 查看数据分布
??????????|??????????????|????????????????|__ describe
??????????|??????????????|__ 查看数据执行计划
??????????|???????????????????????????????|__ explain
??????????|__ 清洗类算子
??????????|??????????????|__ 删除DataFrame中列数据
??????????|???????????????????????????????|__ drop
??????????|??????????????|__ 去重
??????????|???????????????????????????????|__ distinct
??????????|??????????????|__ 按照指定列去重
??????????|???????????????????????????????|__ drop
??????????|??????????????|__ null处理
??????????|???????????????????????????????|__ na
??????????|__ 转换类算子
??????????|??????????????|__ 按照列名对数据做投影
??????????|???????????????????????????????|__ select
??????????|??????????????|__ 以SQL语句为参数生成、提取数据
??????????|???????????????????????????????|__ selectExpr
??????????|??????????????|__ 以SQL语句为参数做数据过滤
??????????|???????????????????????????????|__ where
??????????|??????????????|__ 字段重命名
??????????|???????????????????????????????|__ withColumnRenamed
??????????|??????????????|__ 生成新的数据列
??????????|???????????????????????????????|__ withColumn
??????????|??????????????|__ 展开数组类的数据列
??????????|???????????????????????????????|__ explode
??????????|__ 分析类算子
??????????|??????????????|__ 两个DataFrame间做数据关联
??????????|???????????????????????????????|__ join
??????????|??????????????|__ 按照列分组
??????????|???????????????????????????????|__ groupBy
??????????|??????????????|__ 分组后做数据聚合
??????????|???????????????????????????????|__ agg
??????????|??????????????|__ 排序
??????????|???????????????????????????????|__ sort
??????????|???????????????????????????????|__ orederBy
??????????|__ 持久化类算子
????????????????????????|__ write