spark在hdfs新建文件并写入内容

Posted 2023-01-30 健忘主义

val hdfs: FileSystem = org.apache.hadoop.fs.FileSystem.get(new org.apache.hadoop.conf.Configuration())
//spark中使用 val hdfs: FileSystem =  FileSystem.get(spark.sparkContext.hadoopConfiguration)
val out = hdfs.create(new Path(s"hdfs://$filePath/$ph.name/人脸多档对应的抓拍集合.html"),true) // 第二个参数true 表示覆盖同名文件

// 适合少量数据
df_face_html.collect().foreach
            ph => if (ph.urls.nonEmpty) 
                out.write(ph.urls.get.getBytes) //中文不乱码 文本顶部无异常字符 
            
        

out.flush()
out.close()

case class personHtml(name:String,urls:Option[String])