LazyStruct：在行尾检测到额外字节！忽略类似问题

Posted 2023-04-17

【中文标题】LazyStruct：在行尾检测到额外字节！忽略类似问题

【英文标题】：LazyStruct: Extra bytes detected at the end of the row! Ignoring similar problems

【发布时间】：2016-06-13 17:21:50

【问题描述】：

我正在 Hive (HDFS) 中的 SQL spark 读取表中开发代码。

问题是当我在 spark 的 shell 中加载我的代码时，递归地给我以下消息：

“WARN 。”

我运行的代码是：

val query_fare_details = sql("""
  SELECT *
  FROM fare_details
  WHERE fardet_cd_carrier = 'LA'
   AND fardet_cd_origin_city = 'SCL'
   AND fardet_cd_dest_city = 'MIA'
   AND fardet_cd_fare_basis = 'NNE0F0O1'
  """)
 query_fare_details.registerTempTable("query_fare_details")

val matchFAR1 = sql("""
  SELECT *
  FROM query_fare_details f
  JOIN fare_rules r ON f.fardet_cd_carrier = r.farrul_cd_carrier 
    AND f.fardet_num_rule_tariff = r.farrul_num_rule_tariff
    AND f.fardet_cd_fare_rule_bigint = r.farrul_cd_fare_rule_bigint
    AND f.fardet_cd_fare_basis = r.farrul_cd_fare_basis
  LIMIT 10""")

matchFAR1.show(5)

知道出了什么问题吗？

【参考方案1】：

您可以放心地忽略此警告。这不是错误

参考 [https://issues.apache.org/jira/browse/SPARK-3057][1]