Spark Dataframe的多行字符串不间断

Posted 2021-03-29

我有一个多行字符串，我想转换为df。

val string= 
"""
Here is the

multiline/multi paragraph

example.
"""

我正在寻找看起来像的df：

+--------------------+---+
|               value|doc|
+--------------------+---+
|Here is the         |  1|
|multiline/multipar..|   |
|example.            |   |
+--------------------+---+

我得到的是：

+--------------------+---+
|               value|doc|
+--------------------+---+
|Here is the         |  1|
|multiline/multipar..|  2|
|example.            |  3|
+--------------------+---+

这是我的代码：

val df = spark.read.option("multiLine", "true").text("test1.txt")
val df_id = df.withColumn("doc",monotonicallyIncreasingId)
df_id.show()

答案

您必须用引号引起来，并且您应该使用csv阅读器，因为DataFrameReader的text方法没有选项multiLine：

val df = spark.read.option("multiLine", "true")
              .option("quote", """)
              .option("escape", """)
              .csv("test1.txt")

您可以找到here每种方法可用的选项。

另一答案

Anika，这是一种创建具有多行String值的DataFrame的方法：

val str = """
  |Here is the
  |multiline
  |example.
  """.stripMargin

val df = Seq(
  (str, 1)
).toDF("value", "doc")

df.show(false)
println(s"nb elements : ${df.count}")

Spark的输出非常丑陋，但这是：

+--------------------------------+---+
|value                           |doc|
+--------------------------------+---+
|
Here is the
multiline
example.
|1  |
+--------------------------------+---+

nb elements : 1

我想这是出于测试目的。