scala的 collect和map

Posted swinbetter

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scala的 collect和map相关的知识,希望对你有一定的参考价值。

Scala 中的 map 与 collect
团队号 ScalaFans 作者 张逸
原文链接

在Scala中,当我需要对集合的元素进行转换时,自然而然会使用到map方法。而当我们在对tuple类型的集合或者针对Map进行map操作时,通常更倾向于在map方法中使用case语句,这比直接使用_1与_2更加可读。例如:

val languageToCount = Map("Scala" -> 10, "Java" -> 20, "Ruby" -> 5)
languageToCount map { case (_, count) => count + 1 }

然而对于上述场景,其实我们也可以使用collect方法:

languageToCount collect { case (_, count) => count + 1 }

效果完全相同。

我很少在项目中调用collect方法,且这个方法命名的意图也不是特别明显,至少在函数式编程的语境下,map似乎更为通用。今天在阅读Neal Ford的Functional Thinking时,看到书中给出的这样一个案例:

List(1, 3, 5, "seven") map { case i: Int => i + 1 } //won‘t work
//scala.MatchError: seven (of class java.lang.String)
List(1, 3, 5, "seven") collect { case i: Int => i + 1 } //it works

为什么同样的case语句,放在collect中是正确的,放在map中就会抛出MatchError错误呢?我这才想到去查阅Scala的API文档,发现这个两个函数的定义存在本质上的区别:

def map[B](f: (A) ? B): List[B]

def collect[B](pf: PartialFunction[A, B]): List[B]

两个方法的定义如出一辙,区别就在于前者接收的是一个函数类型的参数,而后者接收的是一个偏函数(partial function)类型的参数:

    map: Builds a new collection by applying a function to all elements of this list.

    colect: Builds a new collection by applying a partial function to all elements of this list on which the function is defined.

case语句其实是偏函数定义的语法糖,当我们编写一个case语句时,其实等同于创建了一个具有apply与isDefineAt方法的偏函数对象。由于偏函数实质是函数的一种实例,因此可以将case语句传递给map方法,但它此时扮演的是一个普通的匿名函数,而非偏函数。因此,map方法在调用该函数对象的apply方法之前,并没有调用isDefineAt方法判断参数值是否定义。

我们可以对比map方法和collect方法的实现:

def map[B, That](f: A => B)(implicit bf: CanBuildFrom[Repr, B, That]): That = {
  def builder = {
      val b = bf(repr)
      b.sizeHint(this)
      b
  }
  val b = builder  
  for (x <- this) b += f(x)  
  b.result
}

def collect[B, That](pf: PartialFunction[A, B])(implicit bf: CanBuildFrom[Repr, B, That]): That = {
   val b = bf(repr)
   for (x <- this) if (pf.isDefinedAt(x)) b += pf(x)  
   b.result
}

在调用map方法时,一旦遍历到值"seven",并调用f(x),因为类型不符合模式匹配中的Int类型,导致抛出MatchError错误。而collect方法在调用pf(x)之前,调用了pf的isDefinedAt(x)作了一次过滤。

如果在前面的map例子中再增加一个case子句,对String类型的值进行处理,则case语句就从偏函数变成了满足所有条件的“全”函数:

List(1, 3, 5, "seven") map {
  case i: Int => i + 1
  case s: String => s.length
}

得到的结果为:

List[Int] = List(2, 4, 6, 5)

由于collect方法接收的是一个偏函数类型,所以它并不能接收一个lambda表达式:

List(1, 3, 5, "seven").collect(i => i + 1)

会抛出:

error: missing parameter type

补充:

我们在使用collect时,可以利用偏函数的原理,同时实现filter与map的特性。例如:

List(1, 2, 3, 4, 5, 6) collect { case i if i % 2 == 0 => i * i }

这段代码相当于:

List(1, 2, 3, 4, 5, 6).filter(i => i % 2 == 0).map(i => i * i)

Subject%2fde46274153854222add6794051ef3a4b
团队号
ScalaFans

专注Scala大社区,包括Scala语言,Scala框架,以及最火的Spark大数据平台。
进入开发者头条,加入我们的团队号。
发现 > 搜索 54221 即可

扫描或长按识别二维码 下载开发者头条客户端

关于我们 开发者头条客户端 合作伙伴 IO币介绍 码农周刊 程序员招聘 开发者头条知识库

? 2013-2016 南京无印信息技术有限公司 版权所有 苏ICP备14017389号-2
App qrcode web posts 扫描二维码下载
开发者头条

以上是关于scala的 collect和map的主要内容,如果未能解决你的问题,请参考以下文章

scala的 collect和map

java 集合

如何取消嵌套具有以下类型的 spark rdd ((String, scala.collection.immutable.Map[String,scala.collection.immutable.M

单列集合

java.lang.NoClassDefFoundError: scala/collection/convert/DecorateAsScala 但 pom.xml 中的 scala-library

集合属性的整理