F.monotonically_increasing_id（）返回长随机数

Posted 2021-04-28

x = df.withColumn("id_col", F.monotonically_increasing_id())

返回随机长整数而不是排序的整数enter image description here

答案

您看到的是该功能的预期行为。从文档

生成的ID保证单调递增，唯一，但不连续。当前实现将分区ID放在高31位中，并在记录号中在每个分区的低33位中。假设数据帧具有少于10亿个分区，每个分区的记录少于80亿]

这就是为什么您看到长随机整数的原因。它们可能不是顺序的，但它们的顺序是递增的，并且出于所有实际目的，它们是唯一的。