与字典查找相比，Julia Valc() 似乎很慢

Posted 2023-03-31

【中文标题】与字典查找相比，Julia Valc() 似乎很慢

【英文标题】：Julia Valc() seems slow compared to dictionnary lookup与字典查找相比，Julia Valc() 似乎很慢

【发布时间】：2021-04-19 13:00:19

【问题描述】：

我仍在学习 Julia 的多重分派和值作为类型的方法。 实例化 Valc() 似乎比字典查找慢 50 倍。 在那之后，调度似乎比字典查找快 6 倍。

这些持续时间是预期的吗？是否可以加快 Valc() 的实例化？

using BenchmarkTools

rand_n = rand([4,11], 1_000_000)

simple_dict = Dict(4 => 11, 11 => 4)
call_dict(num) = simple_dict[num]

@benchmark call_dict.($rand_n) # 42.113ms

val_type(::Val4) = 11
val_type(::Val11) = 4

@benchmark Val.($rand_n) # 2.4s

partial_result = Val.(rand_n)
@benchmark val_type.($partial_result) # 7ms

【参考方案1】：

像这样的技巧可能很棒，但它们也可能将您带入危险的领域。当你只有 2 个 val_type 方法时，你会得到提升；重现您的结果，

julia> rand_n = [4, 11, 4]
3-element VectorInt64:
  4
 11
  4

julia> vrand_n = Val.(rand_n)
3-element VectorVal:
 Val4()
 Val11()
 Val4()

julia> val_type(::Val4) = 11
val_type (generic function with 1 method)

julia> val_type(::Val11) = 4
val_type (generic function with 2 methods)

julia> using BenchmarkTools

julia> @btime val_type.($vrand_n);
  28.421 ns (1 allocation: 112 bytes)

但是看看当你有 5 个时会发生什么：

julia> val_type(::Val2) = 0
val_type (generic function with 3 methods)

julia> val_type(::Val3) = 0
val_type (generic function with 4 methods)

julia> val_type(::Val7) = 0
val_type (generic function with 5 methods)

julia> @btime val_type.($vrand_n);
  95.008 ns (1 allocation: 112 bytes)

重要的是，我什至不必创建任何这样的对象来观察减速。此外，这比基于Dict 的方法的固定版本要糟糕得多：

julia> const simple_dict = Dict(4 => 11, 11 => 4)
DictInt64, Int64 with 2 entries:
  4  => 11
  11 => 4

julia> call_dict(num) = simple_dict[num]
call_dict (generic function with 1 method)

julia> @btime call_dict.($rand_n);
  39.674 ns (1 allocation: 112 bytes)

（const 至关重要，请参阅https://docs.julialang.org/en/v1/manual/performance-tips/#Avoid-global-variables.）

为什么？关键是查看您正在使用的对象的类型：

julia> eltype(vrand_n)
Val

julia> isconcretetype(eltype(vrand_n))
false

这解释了为什么它会很慢：当您的迭代提取下一个元素时，Julia 无法预测对象的具体类型。所以它必须使用runtime dispatch，它本质上是一个美化的字典查找。不幸的是，它的键比较比查找Int 要复杂得多。所以你会损失很多性能。

为什么只有两种方法时速度会这么快？因为 Julia 试图变得非常聪明，它会检查有多少；如果有 3 个或更少的方法，它将生成一些优化的代码，在简单的 if 分支中检查类型，而不是调用类型交集的完整机制。您可以阅读更多详细信息here。

Julia 的新手——一旦他们了解了专业化的奇迹和它带来的运行时性能的巨大改进——通常会很高兴尝试将类型系统用于一切，Val-基于调度通常是他们使用的工具。但是可推断性是多重分派速度优势的关键组成部分，因此当您使用破坏可推断性的设计时，您会失去优势，以至于它可能比不太“花哨”的方法更糟糕。

底线：对于您正在尝试的演示，如果您坚持使用Dict，您的情况会好得多。在某些情况下，基于 Val 的分派很有用：通常，当单个运行时分派为您设置一个完整的后续可推断调用序列时，这可能是一个胜利。但是您应该明智地使用它，并且（就像您所做的那样）始终分析您的结果。