使用hadoop mapreduce分析mongodb数据

Posted 2020-09-30 北京尚学堂旗下-云数学院

使用hadoop mapreduce分析mongodb数据

（现在很多互联网爬虫将数据存入mongdb中，所以研究了一下，写此文档）

版权声明：本文为yunshuxueyuan原创文章。
如需转载请标明出处： http://www.cnblogs.com/sxt-zkys/
QQ技术交流群：299142667

一、 mongdb的安装和使用

1、 官网下载mongodb-linux-x86_64-rhel70-3.2.9.tgz

 

2、 解压 （可以配置一下环境变量）

3、 启动服务端

./mongod  --dbpath=/opt/local/mongodb/data --logpath=/opt/local/mongodb/logs  --logappend  --fork(后台启动)

第一种：不带auth认证的

 

第二种：需要带auth认证的（即需要用户名和密码的）

 

当指定用户名和密码在查看数据，发现就可以看得到了

 

4、 启动客户端

./mongo

 

5、客户端shell命令

show dbs    显示mongodb中有哪些数据库

 

db    显示当前正在用的数据库

 

use db    你要使用的数据库名

 

(注：若database不存在，则会创建一个，此时若不做任何操作直接退出，则MongoDB会删除该数据库)

db.auth(username,password)  username为用户名,password为密码 登陆你要使用的数据库

db.getCollectionNames()  查看当前数据库有哪些表

 

db.[collectionName].insert({...})  给指定数据库添加文档记录

 

db.[collectionName].findOne()   查找文档的第一条数据

db.[collectionName].find()   查找文档的全部记录

 

db.[collection].update({查询条件},{$set:{更新内容}})   更新一条文档记录

 

db.[collection].drop()   删除数据库中的集合

 

db.dropDatabase()   删除数据库

 

二、 Mapreduce 分析mongodb的数据实例

 

1、 编写mapreduce的代码前，需要另外添加两个jar包，还有需（jdk1.7以上）

  

2、 需求介绍与实现

原数据：

 

结果数据：

 

代码编写：

Job：

 

Mapper:

 

Reduce:

 

最终的结果数据：

 

 

三、 最后给大家推荐一个mongodb数据库的管理工具，挺好用的

    

版权声明：本文为yunshuxueyuan原创文章。
如需转载请标明出处： http://www.cnblogs.com/sxt-zkys/
QQ技术交流群：299142667