pyspark实现csv文件转parquet格式（最优解决方案）

阳光穿透心脏的1/2处 2023-09-28 18:43 4阅读 0赞

最佳解决方案  
自动判断各个csv文件字段的数据类型生成parquet文件（inferSchema=‘True’）

sc.stop()
    from pyspark.sql import SparkSession
    spark = SparkSession.builder.enableHiveSupport().getOrCreate()
    df = spark.read.options(header='True', inferSchema='True', delimiter=',').csv("./csv2parquet.csv")
    #df.printSchema()
    df.write.parquet('./input-parquet135')
    print("运行成功")
    sc.stop()

另一种解决方案  
需要自己判断数据的格式然后自定义schema

sc.stop()
    from pyspark import SparkContext
    from pyspark.sql import SQLContext
    from pyspark.sql.types import *
    def parse(line):
        items = line.split(",")
        return (items[0], items[1], items[2])
    if __name__ == "__main__":
        sc = SparkContext(appName="CSV2Parquet")
        sqlContext = SQLContext(sc)
        schema = StructType([
            StructField("identity_line_item_id", StringType(), True),
            StructField("identity_time_interval", StringType(), True),
            StructField("bill_invoice_id",IntegerType(), True)])
        rdd = sc.textFile("./csv2parquet.csv").map(parse)
        df = sqlContext.createDataFrame(rdd, schema)
        df.write.parquet('./input-parquet133')
        print("运行成功")

--------------------

--------------------

--------------------

参考资料：  
[pyspark实现csv文件转parquet格式（最优解决方案）][pyspark_csv_parquet]

[pyspark_csv_parquet]: https://blog.csdn.net/qq_37135484/article/details/122043038

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关 pyspark实现csv文件转parquet格式（最优解决方案）

最佳解决方案自动判断各个csv文件字段的数据类型生成parquet文件（inferSchema=‘True’） sc.stop() from pyspa

阳光穿透心脏的1/2处/ 2023年09月28日 18:43/ 0 赞/ 5 阅读

相关 Pyspark 读取本地csv文件，插入parquet格式的hive表中

在CDSW上模型运行出结果，为csv文件。由于报表的需求，要将csv文件插入到parquet格式中的表中。在其中遇到了很多坑，在此记下来，希望能帮助到遇到同样问题的人。

た入场券/ 2023年06月15日 09:53/ 0 赞/ 89 阅读

相关 parquet文件格式解析

> 参考资料: > https://parquet.apache.org/documentation/latest/ > https://www.jianshu.com

怼烎@/ 2023年02月13日 14:37/ 0 赞/ 147 阅读

相关 pathon——1、Json格式转CSV格式

1 Json格式转CSV格式（1）单层json数据格式如下：（123.json） 123.json格式数据没有进行嵌套， {"actionResult"

古城微笑少年丶/ 2023年01月10日 09:58/ 0 赞/ 305 阅读

相关 pySpark 读取csv文件

这个读取蛮水的。but从官网来的。 from pyspark.sql import SparkSession spark = SparkSession.

偏执的太偏执、/ 2022年11月28日 00:21/ 0 赞/ 270 阅读

相关 PySpark简明教程 04 Spark加载csv文件parquet文件等数据源

1 加载有固定分隔符的文件这里有固定分隔符文件可以理解为类似CSV这样的文件，例如：每行列数相同，每列以逗号、\\t、\\001等固定分隔符划分的文件。主要以csv文件

r囧r小猫/ 2022年10月07日 10:47/ 0 赞/ 227 阅读

相关使用python编写csv转parquet脚本

from pyspark import SparkContext from pyspark.sql import SQLContext from pyspark.sql

痛定思痛。/ 2022年06月08日 10:29/ 0 赞/ 305 阅读

相关转Parquet文件

介绍： Apache Parquet is a columnar storage format available to any project in the Hadoop

分手后的思念是犯贱/ 2022年05月13日 15:16/ 0 赞/ 529 阅读

相关查看Parquet格式文件

[Parquet 格式文件，查看Schema][Parquet _Schema] > 需要工具：[parquet-tools-1.6.0rc3-SNAPSHOT.jar]

Dear 丶/ 2021年10月23日 12:26/ 0 赞/ 1120 阅读

相关 Hadoop支持的文件格式之Parquet

文章目录 0x00 文章内容 0x01 行存储与列存储 1. Avro与Parquet 0x02 编码实现Parquet格

阳光穿透心脏的1/2处/ 2021年09月23日 13:40/ 0 赞/ 1063 阅读