[大数据]spark 总结的 工具类 持久更新

-- 20220403 目前只有 json转列 列转json df写入excel 等方法.

使用

        // for function SparkSqlUtil
        val df1 = Seq(
            ("""{"num":3,"sites":["Google","Runoob","Taobao"],"name":"网站"}""", 100, 200,"""{"a":30,"b":"uu","c":"www.dh.com"}""")
        ).toDF("json_col1", "money", "money1","json_col2")
        df1.show(false)
        // 解析单列json
        df1.json_2_columns(Array("json_col1")).show(false)
        // 解析单列json 且 附加 其他列
        df1.json_2_columns(Array("json_col1"), Array("money")).show(false)
        // 解析多列json
        df1.json_2_columns(Array("json_col1","json_col2")).show(false)
        // 解析多列json 且自定义schema 或者 自定义需要提取的字段
        df1.json_2_columns(Array("json_col1","json_col2"), Array("money"), Ma

了解本专栏 订阅专栏 解锁全文