使用hadoop mapreduce分析mongodb数据

使用hadoop mapreduce分析mongodb数据

（如今不少互联网爬虫将数据存入mongdb中，因此研究了一下，写此文档）

版权声明：本文为yunshuxueyuan原创文章。
如需转载请标明出处： http://www.cnblogs.com/sxt-zkys/
QQ技术交流群：299142667

1、 mongdb的安装和使用

一、 官网下载mongodb-linux-x86_64-rhel70-3.2.9.tgz

 

二、 解压 （能够配置一下环境变量）

三、 启动服务端

./mongod  --dbpath=/opt/local/mongodb/data --logpath=/opt/local/mongodb/logs  --logappend  --fork(后台启动)

第一种：不带auth认证的

 

第二种：须要带auth认证的（即须要用户名和密码的）

 

当指定用户名和密码在查看数据，发现就能够看获得了

 

四、 启动客户端

./mongo

 

5、客户端shell命令

show dbs    显示mongodb中有哪些数据库

 

db    显示当前正在用的数据库

 

use db    你要使用的数据库名

 

(注：若database不存在，则会建立一个，此时若不作任何操做直接退出，则MongoDB会删除该数据库)

db.auth(username,password)  username为用户名,password为密码 登录你要使用的数据库

db.getCollectionNames()  查看当前数据库有哪些表

 

db.[collectionName].insert({...})  给指定数据库添加文档记录

 

db.[collectionName].findOne()   查找文档的第一条数据

db.[collectionName].find()   查找文档的所有记录

 

db.[collection].update({查询条件},{$set:{更新内容}})   更新一条文档记录

 

db.[collection].drop()   删除数据库中的集合

 

db.dropDatabase()   删除数据库

 

2、 Mapreduce 分析mongodb的数据实例

 

一、 编写mapreduce的代码前，须要另外添加两个jar包，还有需（jdk1.7以上）

  

二、 需求介绍与实现

原数据：

 

结果数据：

 

代码编写：

Job：

 

Mapper:

 

Reduce:

 

最终的结果数据：

 

 

3、 最后给你们推荐一个mongodb数据库的管理工具，挺好用的