Twitter数据挖掘:如何使用Python分析大数据

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Twitter数据挖掘:如何使用Python分析大数据相关的知识,希望对你有一定的参考价值。

技术分享

 

我们可以创建变量来存放待拉取的微博数量(即count),以及待拉取的用户(即name)。然后用这两个参数调用user_timeline()函数。下面是更新后的代码(注意,在代码的顶部应该保持认证和API对象的创建)。

# 传入认证信息,并创建API对象 api = tweepy.API(auth) # 待拉取微博的用户 name = "nytimes" # 待拉取的微博数量 tweetCount = 20 # 使用上面的参数,调用user_timeline函数 results = api.user_timeline(id=name, count=tweetCount) # 遍历所拉取的全部微博 for tweet in results: # 打印存在微博对象中的text字段 print tweet.text

输出的结果看起来像这样:http://www.wmyl15.com/

 

技术分享

 

这种类型数据的流行应用包括有:

对指定的用户进行分析,分析他们是如何与世界进行互动的

寻找Twitter的影响者并分析他们的粉丝的趋势和互动情况

监控某个用户的粉丝的变化情况

示例3:使用关键字查找微博

这是最后一个示例:获取包含某个关键字的最新的微博。如果想在Twitter世界中监控某个话题,或者甚至想看下你的商业被提到的情况,这都是相当有用的。假设现在想看下Twitter谈论Toptal的情况怎样。

翻阅完Tweept文档,search()函数似乎是完成我们目标的最佳工具。

 

技术分享

 

这里最重要的参数是q——查询参数,即要查找的关键字。

还可以设置lang参数,这样就只会取到想要的语言的微博。这里只返回英文(“en”)的微博。

现在可以修改代码,以体现要做的改变。首先创建存放参数(query和language)的变量,然后通过API对象调用相应的函数。最后在循环中也打印了发布微博的用户的终端名称。

# 传入认证信息,并创建API对象 api = tweepy.API(auth) # 你想查找的关键字 query = "Toptal" # 语言代码(遵循ISO 639-1标准) language = "en" # 使用上面的参数,调用user_timeline函数 results = api.search(q=query, lang=language) # 遍历所拉取的全部微博 for tweet in results: # 打印存在微博对象中的text字段 print tweet.user.screen_name,"Tweeted:",tweet.text

最后结果看起来像是这样:

 

技术分享

 

以下是使用这些信息的一些实用途径:

创建空间图表,查看你们公司在世界哪些地方被提到最多

对微博进行情感分析,看下关于你们公司的整体意见是正面还是负面

创建关于发布你们公司或者产品相关微博中最热门的用户的社交图表

在后续的文章中,会覆盖到部分这些主题。

结论

Twitter的API接口在数据挖掘应用中非常有用,并且关于公众的意见能提供大量的见解。如果Twitter API接口和大数据分析是你未来会感兴趣的东西,建议查看Twitter API接口,Tweepy和Twitter的频率限制指南以获取更多信息。

在本教程,我们只是简单地讲了基本的访问和拉取。然而,Twitter的API接口还可用来服务于错综复杂的大数据问题,涉及人,趋势,和非常复杂以致单凭人类心智无法掌控的社交图

以上是关于Twitter数据挖掘:如何使用Python分析大数据的主要内容,如果未能解决你的问题,请参考以下文章

25个大数据术语

智领云CEO彭锋:DataOps,大数据的新战线

使用 csv 或 json 处理 python twitter api 数据

用R对Twitter用户的编程语言语义分析

使用 Python Tweepy 的 Twitter 流 API

使用 Python 解析这个自定义 Twitter 捕获数据并创建统计信息