AttributeError：SQLContext 实例没有属性“createDataFrame”

Posted 2023-04-15

【中文标题】AttributeError：SQLContext 实例没有属性“createDataFrame”

【英文标题】：AttributeError: SQLContext instance has no attribute 'createDataFrame'

【发布时间】：2016-03-15 21:22:08

【问题描述】：

我是 apache spark 的新手，尝试处理大查询，当我尝试运行我在下面共享的代码时，它会给我错误

文件“/****/***/spark-1.1.0/examples/src/main/python/testSql.py”，第 25 行，在 schemaEvents = sqlContext.createDataFrame(事件) AttributeError: SQLContext 实例没有属性'createDataFrame'

我正在关注以下链接进行练习。 https://spark.apache.org/docs/latest/sql-programming-guide.html#dataframes

代码在下面共享。

from pyspark.sql import *


from pyspark import *
#File = "/home/shafee/spark-1.1.0/results-20160315-075804.csv"  # Should be some file on your system
File = ""  # Should be some file on your system
sc = SparkContext()
sqlContext = SQLContext(sc)
Line = sc.textFile("results-20160315-075804.csv")
parts = Line.map(lambda l: l.split(","))
events = parts.map(lambda p: Row(Actor1Name=p[6], SourceUrl=int(p[56])))

schemaEvents = sqlContext.createDataFrame(events)

schemaPeople.registerTempTable("events")
df = sqlContext.sql("SELECT * FROM ").collect()
worldcount = df.count()
print("Totel words counts in csv file: %i" % (worldcount))

【参考方案1】：

您使用的是 Spark 1.1，而 SQLContext.createDataFrame 已在 Spark 1.3 中引入。如果你想使用当前的编程指南，你应该更新 Spark 版本。