利用mongodb实现分布式WEB图片存储

时间  2019-11-29
标签 利用 mongodb 实现 分布式 web 图片 存储 栏目 MongoDB 繁體版
原文   原文链接
mongodb 里的  GridFS 是个好东西。有了GridFS咱们就能够把文件存储到 mongodb里面。有人疑问，为啥要把文件存 mongodb里呢？直接放个目录里，而后 URL直接访问不就完了，好比 [php]www.xxoo.com/xo.jpg[/php]  。 的确在站比较小得时候，附件很少的时候，固然这样处理很好。可是当 附件数量海里去了~~ 那这样存就蛋疼了， 备份是个问题，硬盘IO瓶颈那会也会凸显出来。问题接踵而来。那会，就须要分布式文件存储了。    利用 GridFS 存储文件， 再利用 mongodb 的分片(sharding) 就能够作到海量存储了。 固然本文只是一个知识扩展~ 生产使用此方案出问题，与本人无关~~别找我。

环境：系统是  FreeBSD 8.2-RELEASE。   

首先开始安装  mongodb （mongodb-src-r1.8.3.） ：
  1. vm205# cd /usr/ports/databases/mongodb/
  2. vm205# make install clean
复制代码

等吧~~。一会就完了。完了还要配置下，作FB的 这个懂的    vi   /etc/rc.conf：
  1. mongod_enable="YES"   #开机启动
  2. mongod_dbpath="/data/mongodb"  # DB存储目录
复制代码
完了，记得启动mongodb 哦：
  1. /usr/local/etc/rc.d/mongod start
复制代码

由于咱们是用 nginx  的 nginx-gridfs 模块来访问 mongodb，因此安装 nginx (nginx-1.0.8)
  1. vm205# cd /usr/ports/www/nginx
  2. vm205# make install clean
复制代码

记住， 在弹出选择模块的步骤中，要记得选上：nginx-gridfs  模块。不然~~ nginx 和  mongodb 木啥关系。



又要再等等~~ 喝杯咖啡吧。。装完了也要配置下了：  vi   /etc/rc.conf
  1. nginx_enable="YES"  #开机启动
复制代码
启动：
  1. /usr/local/etc/rc.d/nginx start
复制代码



当  nginx 和 mongodb 都装完了之后。开始进行咱们的分布式文件存储之旅吧，首先，写个demo ，上传文件时候把文件存储到 mongodb里。

写个上传表单：demo.php  
  1. <form method="POST" enctype="multipart/form-data" action="gridfs.php">
  2.      上传文件: <input type="file" name="pic"/>
  3.      <input type="submit"/>
  4. </form>
复制代码


接受表单把上传的文件存储到 mongodb : gridfs.php
  1. <?php
  2.         $con = new Mongo("mongodb://192.168.1.205"); // Connect to Mongo Server
  3.         $db = $con->selectDB("xxoo"); // Connect to Database
  4.         $grid = $db->getGridFS();
  5.         $grid->storeUpload("pic", 'demo.jpg');

  7. ?>
复制代码


。运行程序，提交表单，而后去mongo 看看 存上没。
  1. vm205# mongo  # 进入 mongo 
  2. MongoDB shell version: 1.8.3
  3. connecting to: test
  4. > show dbs   # 显示全部数据库
  5. admin   (empty)
  6. local   (empty)
  7. niniang 0.0625GB
  8. xxoo    0.0625GB  #  看到 xxoo了吧~~ 再看下刚上面的代码。在 selectDB的时候，咱们选择的就是xxoo 数据库，存在了证实文件存储上了。
  9. > use xxoo # 进入xxoo数据库
  10. switched to db xxoo
  11. > show collections  # 显示数据库里的集合（你就当时表吧)
  12. fs.chunks
  13. fs.files
  14. system.indexes
复制代码
咱们先看下  xxoo 集合里自动建立的三个集合。

fs.chunks     块集合， gridfs 会把大文件分红一小块一小块的来进行存储，因此能够存储大文件。

fs.files    咱们看下这个文件里面是啥内容。
  1. > db.fs.files.find()
  2. { "_id" : ObjectId("4eb53994d4a9e19809000001"), "filename" : "demo.jpg", "uploadDate" : ISODate("2011-11-05T13:26:44Z"), "length" : 373044, "chunkSize" : 262144, "md5" : "991a2475cc9fe9a414148b45519a6c40" }
复制代码


里面存储着咱们刚上传的文件的信息，好比 filename  文件名。   length 文件大小   chunkSize 分块大小。  文件就这样给存储到 mongodb了。


system.indexes   集合索引文件。  索引懂吧~不懂 先学 mysql  呵呵。

好的。到这里。 分布式文件存储，就完成了一半了~~。 这半就是文件存储。 那分布式呢？ 接下来咱们就分布式吧~~ 淡定~这个分布式其实仍是比较简单的。
为了分布式，咱们准备了 4台 Freebsd 服务器。使用两台服务器，多个进程方式也是能够实现，但不够4台服务器清晰点。咱们来搭建一个基础的分布式吧

一、配置mongod 服务器   ： 192.168.1.202       把"mongos路由服务器" 的配置信息存储到硬盘。
二、mongos 路由服务器   ： 192.168.1.203       把一些存储节点的路由信息存储到内存
三、mongod 存储节点      ： 192.168.1.204       真是的存储节点，里面存储着上传的图片呀，文件等。能够拓展N台~~ 分布式嘛。。具体多少台~我也没测试过。。。
四、mongod 存储节点      ： 192.168.1.205


首先配置mongod服务器。 192.168.1.202：
  1. /usr/local/bin/mongod --configsvr --dbpath=/data/configsvr  --logpath=/data/configsvr/mongo.log --port  27019 --logappend --fork
复制代码

OK。肯定启动成功:   ps  aux  | grep mongo     肯定了木问题了继续。
配置  mongos 路由服务器。192.168.1.203：
  1. /usr/local/bin/mongos --configdb  192.168.1.202:27019   --logpath=/data/configdb/mongo.log  --port 27017 --logappend --fork
复制代码

在肯定启动正常。再继续
配置 mongod 存储节点了： 192.168.1.204和 192.168.1.205，分别在存储节点上运行如下shell

  1. /usr/local/bin/mongod --shardsvr --dbpath=/data/shardsvr --logpath=/data/shardsvr  --port 27017  --logappend  --fork
复制代码

好了 到这里，基本全部服务器都配置完了。接下来。咱们就要添加" mongos 路由信息了"。 主要是告诉 mongos 。 存储节点分别是哪些服务器？ 对那个数据库启动分片？以集合里的那个key 进行分片。
添加存储节点到  mongos 路由服务上：
  1. db.runCommand({addshard:"192.168.1.204:27017"})
  2. db.runcOMMAND({addshard:"192.168.1.205:27017"})
复制代码


告诉， mongos 路由节点，对那些库和集合进行分片存储。
  1. db.runCommand({"enablesharding" : "xxoo"})
  2. db.runCommand({"shardcollection" : "xxoo.fs.chunks","key" : {"_id" : 1}})
  3. db.runCommand({"shardcollection" : "xxoo.fs.files","key" : {"_id" : 1}})
复制代码

好了 分布式环境搭建完了。 那咱们回头看下代码方面，只须要修改下访问地址，全部的请求都应该经过  "mongos 路由服务器" 这样才能自动帮你分片嘛~~ 
  1. <?php
  2.         $con = new Mongo("mongodb://192.168.1.203"); // 链接到  mongos 路由服务器，让它帮咱们分片
  3.         $db = $con->selectDB("xxoo"); // Connect to Database
  4.         $grid = $db->getGridFS();
  5.         $grid->storeUpload("pic", 'demo.jpg');

  7. ?>
复制代码

文件上传、分布式存储。都实现了。  nginx 开始上场了。 咱们用 nginx 来作静态资源的服务器，前面咱们装得 nginx-gridfs  模块，里面自带了访问 mongodb  的驱动。那是至关方便呀。看下 nginx 配置：
  1. server {
  2.         listen       8088;
  3.         server_name localhost;

  5. #重点在这里
  6.         location / {
  7.             gridfs xxoo field=filename type=string;
  8.             mongo 192.168.1.203:27017;
  9.         }

  11.         # redirect server error pages to the static page /50x.html
  12.         #
  13.         error_page   500 502 503 504  /50x.html;
  14.                  location = /50x.html {
  15.             root   html;
  16.         }

  18.         # deny access to .htaccess files, if Apache's document root
  19.         # concurs with nginx's one
  20.         #
  21.         location ~ /WEB-INF/ {
  22.             deny  all;
  23.         }
  24.     }
复制代码

重点理解这些：
gridfs  xxoo   field=filename   type=string;  
gridfs  [数据库]  field=[以那个字段进行查询]  type=[字段的类型]。  通常咱们都是以  存储在mongodb 里的文件名为条件去查询，进而来打开要显示的文件。

mongo 192.168.1.203:27017;
要链接的 mongos 路由服务器和端口。

那么咱们如今能够经过地址：

[php]http://192.168.1.203:8088/demo.jpg[/php]    就能够显示咱们要的图片了。
最后为这个教程写了个方便部署的 脚本~~。不是很完善~凑合着用。。
  1. #!/usr/bin/python
  2. #coding:utf-8
  3. import os
  4. from sys import argv

  6. def runShell(command):
  7.     content = ''
  8.     out = os.popen(command)
  9.     while True:
  10.         line = out.readline()
  11.         content += line
  12.         if not line:
  13.             break
  14.     return content

  16. if __name__ == '__main__':
  17.     '''
  18.     
  19.     '''
  20.     if len(argv) > 1:
  21.         para = argv[1]
  22.         if para == 'config_mongod':
  23.             
  24.             config_mongod = {'path':'/data/config','logpath':'/data/config/config.log','port':27019}
  25.             print runShell("/usr/local/bin/mongod --configsvr --dbpath=%s --logpath=%s --port %d --logappend --fork" % (config_mongod['path'],config_mongod['logpath'],config_mongod['port']))
  26.             
  27.         elif para == 'config_mongos':
  28.             
  29.             config_mongos = {'host':'192.168.1.202:27019','logpath':'/data/config/configdb.log','port':27017}
  30.             print runShell("/usr/local/bin/mongos --configdb %s --logpath=%s --port %d --logappend --fork" % (config_mongos['host'],config_mongos['logpath'],config_mongos['port']))

  32.         elif para == 'shard':

  34.             mongodb = {'port':27017,'dbpath':'/data/mongodb','logpath':'/data/mongodb/mongodb.log'}
  35.             print runShell("/usr/local/bin/mongod --shardsvr --dbpath=%s --logpath=%s --port %d --logappend --fork" % (mongodb['dbpath'],mongodb['logpath'],mongodb['port']))

  37.         elif para == 'enable':
  38.             import pymongo
  39.             conn = pymongo.Connection('192.168.1.203',27017)
  40.             db = conn.admin

  42.             shardHOST = ["192.168.1.204:27017","192.168.1.205:27017"]
  43.             for ip in range(len(shardHOST)):
  44.                 db.runCommand({'addshard':shardHOST[ip]})


  47.             db.runCommand({'enableSharding':'test'})
  48.             db.runCommand({'shardcollection':"test.users",'key':{'_id':1}})
  49.             
  50.     else:
  51.         print "no argv!"
复制代码

转载自：http://bbs.phpchina.com/forum.php?mod=viewthread&tid=226415
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程