spark读取文件时对字符编码的支持

Posted 2020-12-13 benfly

在spark中常使用textFile读取文件，默认的是UTF-8编码，但在实际读取文件时，存在不同的文件编码，如果不是UTF-8编码的文件，便不能直接使用这个方法读文件。

 

以下是2种读取不同编码文件的方法，下面以ANSI的中文简体编码为例，codepage是1252.

 

方法1：使用decode方法

val spark = SparkSession.builder().config(sparkConf).getOrCreate()
import spark.implicits._

val encoding = "cp1252"
val df = spark.read.format("text").load(files).select(decode(col("value"), encoding).as("value"))

val rdd1 = df.rdd.map(row => row.get(0).toString).map(_.split("\|"))

 

方法2：使用hadoopFile方法读文件，并对每一个(k,v) 元组，使用指定编码读取字节并转换为字符串

val spark = SparkSession.builder().config(sparkConf).getOrCreate()
import spark.implicits._

val encoding = "cp1252"
val rdd1 = spark.sparkContext.hadoopFile(files, classOf[TextInputFormat], classOf[LongWritable], classOf[Text]).map {
      case (_, t) => new String(t.getBytes, 0, t.getLength, encoding)
    }.map(_.split("\|"))