Flink：PageRank 类型不匹配错误

Posted 2023-04-18

【中文标题】Flink：PageRank 类型不匹配错误

【英文标题】：Flink: PageRank type mismatch error

【发布时间】：2015-11-16 11:02:28

【问题描述】：

我想从格式如下的 CSV 文件中计算 PageRank：

12,13,1.0
12,14,1.0
12,15,1.0
12,16,1.0
12,17,1.0
...

我的代码：

var filename = "<filename>.csv"

val graph = Graph.fromCsvReader[Long,Double,Double]( 
                   env = env, 
                   pathEdges = filename, 
                   readVertices = false, 
                   hasEdgeValues = true, 
                   vertexValueInitializer = new MapFunction[Long, Double]  
                           def map(id: Long): Double = 0.0  )

val ranks = new PageRank[Long](0.85, 20).run(graph)

我从 Flink Scala Shell 收到以下错误：

error: type mismatch;
 found   : org.apache.flink.graph.scala.Graph[Long,_23,_24] where type _24 >: Double with _22, type _23 >: Double with _21
 required: org.apache.flink.graph.Graph[Long,Double,Double]
            val ranks = new PageRank[Long](0.85, 20).run(graph)
                                                         ^

我做错了什么？

（每个顶点的初始值 0.0 和每个边的初始值 1.0 是否正确？）

【参考方案1】：

问题是您将 Scala org.apache.flink.graph.scala.Graph 提供给 PageRank.run，它需要 Java org.apache.flink.graph.Graph。

要为 Scala Graph 对象运行 GraphAlgorithm，您必须使用 GraphAlgorithm 调用 Scala Graph 的 run 方法。

graph.run(new PageRank[Long](0.85, 20))

更新

对于PageRank 算法，需要注意的是该算法需要Graph[K, java.lang.Double, java.lang.Double] 类型的实例。由于 Java 的 Double 类型不同于 Scala 的 Double 类型（在类型检查方面），因此必须考虑到这一点。

对于示例代码，这意味着

val graph = Graph.fromCsvReader[Long,java.lang.Double,java.lang.Double]( 
  env = env, 
  pathEdges = filename, 
  readVertices = false, 
  hasEdgeValues = true, 
  vertexValueInitializer = new MapFunction[Long, java.lang.Double]  
         def map(id: Long): java.lang.Double = 0.0  )
  .asInstanceOf[Graph[Long, java.lang.Double, java.lang.Double]]

【讨论】：

with graph.run(new PageRank[Long](0.85, 20)) 我收到错误 error: type mismatch; found : org.apache.flink.graph.library.PageRank[Long] required: org.apache.flink.graph.GraphAlgorithm[Long,_23,_24,?] graph.run(new PageRank[Long](0.85, 20)) ^

with graph.run(new PageRank[Long,Double,Double,DataSet[Vertex[Long,Double]]](0.85, 20) ) 我收到错误 error: wrong number of type arguments for org.apache.flink.graph.library.PageRank, should be 1

PageRank 是否真的为 Scala 实现了？据我所知，文档/github中只有一个Java类......在flink-gelly-scala中没有PageRank（？）

PageRank 只接受一个类型参数。因此，new PageRank[Long](0.85, 20) 是正确的实例化。 PageRank 仅使用 Flink 的 Java API 实现。但是您可以通过 run 方法从 Scala API 使用这些算法。

那么我该如何解决graph.run(new PageRank[Long](0.85, 20)) 的错误呢？ PageRank 有一个参数，我正在使用 run 方法。这里有什么问题？