scala 如何读取 csv 文件

Posted 2023-03-06 smile-yan

编写目的

scala 相关的博客比较少，并且查询总总跳转到 spark 相关的内容，这里记录一下 scala 读取 csv 文件的操作过程（未找到合适的依赖库，自己实现同样简单）。

代码实现

需要注意自己需要知道 csv 文件有几列，然后再使用 split 方法将其划分成两个对象。

导入依赖

import scala.collection.mutable.ArrayBuffer
import scala.io.Source

/**
 * 读取 csv 文件
 * @param filename
 */
def read_csv(filename: String) : Seq[(Long, Double)] = 
  val src = Source.fromFile(filename)
  val timestamp_value: ArrayBuffer[String] = ArrayBuffer()

  for (line <- src.getLines()) 
    if (line.nonEmpty && line.contains(",")) 
      timestamp_value.append(line.trim)
    
  
  
  // 这里已知 csv 文件只有两列。
  // 请根据实际情况设置
  
  // 去掉第一个并转换格式
  val series = timestamp_value.tail.map(str => 
    val pair = str.split(",")
    (formatted.parse(pair(0)).getTime, java.lang.Double.parseDouble(pair(1)))
  )

  src.close()
  series

测试一下上面代码输出结果为：

总结

scala 代码总体而言比较简单方便，并且可以支持 java 的部分代码，因此如果开发中遇到问题可以考虑搜索 java 如何解决，并使用 java 的解决方法解决问题，这里提供一个参考方法，scala 如何读取 csv 文件，并返回 Seq[(Long, Double)] 类型的结果。

Smileyan
2022.09.15 21:44