Mongodb通过shell脚本增量备份到HDFS

用Mongodb自带的Mongoexport，通过shell脚本的方式进行增量备份到HDFS上 1.思路介绍： Mongodb安装目录下bin目录里有两个工具：mongoexport和mongodump这两个工具可以实现备份mongodb的数据。用法也类似，区别这里不做说明，自行搜索。mongoexport可以导出数据到外部文件中，mongoexport通过指定参数的方式来索要备份的mongodb数据库、集合、以及备份的条件、和导出到外部文件的路径。如： mongoexport -o /home/result.csv 就是通过-o指定导出的路径。 其中有一个参数：-q 它的作用是指定备份的条件，通过这个参数，就可以对mongodb里的数据做一个筛选，通过筛选出增量数据，然后把它们备份导出。从而实现增量数据备份。 2.需求： 我的需求如下：网页产生的数据一直在往Mongodb里存储，我需要每小时从Mongodb里拉取一次数据，存储到hdfs上。 其中：hdfs的三个节点：node1，node2，node3 Mongodb在另一台机器上。不在集群节点上。 Mongodb存储的数据是Bson类型如下： { "_id" : "ad22be19473548248c84feceaf8334f0"  "_class" : "com.cdv.nsite.authc.model.Session"  "userId" : "admin"  "userName" : "admin"  "logonTime" : ISODate("2017-05-10T09:44:34.881Z")  "logonHost" : "11.9.234.85"  "logonIp" : "11.9.234.85"  "lastBang" : NumberLong("1494409485264")  "extraData" : {  }  "appName" : "web console"  "userState" : "On"  "state" : "Off"  "sessionGroup" : "default"  "stationId" : "cdv.com"  "inner" : false  "logoffTime" : ISODate("2017-05-10T09:56:08.189Z") } 最终存储在hdfs上的形式如下，通过竖线分隔。 00482b6e238940f9845693dbd0d7b0a1|lf|吕峰|2017-07-07T08:39:06.850Z|22.72.19.2|bs unknown|web console|editsphere_v1|CV|Off|2017-07-07T08:39:28.955Z 3.实现： ☆只要在任意一台node1-3节点上存在mongoexport工具就能备份远程mongodb数据库的数据到本地。 pullMongoData.sh: #!/bin/bash mypath=/home/MongoBackup/`date +%Y%m` if [ ! -d "$mypath" ]; then   mkdir -p $mypath fi #得到前一个小时的时间精确到小时，格式为：2017071013 start=`date +%Y%m%d%H -d '-1 hours'` year=`echo ${start:0:4}` month=`echo ${start:4:2}` day=`echo ${start:6:2}` hour=`echo ${start:8:2}` #拉取数据的起始时间确定为：2017-07-10 13:00:00 #Mongoexport的条件备份：-q 特定的格式的时间格式，才能进行时间的大小判断。时间要进行如下转换： #2017-07-10 13:00:00 --> 1499662800 --> 1499662800000 --> 1499691600000  其中最后一步转换是因为Mongodb的时间和标准时间差8小时。 #然后进行时间范围限定的时候采用固定格式：logonTime:{\$gte:Date($timestamp) startTime=$year-$month-$day' '$hour':'00':'00 timestamp=`date -d "$startTime" +%s`000 timestamp=`expr $timestamp + 28800000` end=`expr $timestamp + 3600000` #-h是mongodb的ip --port是端口  -d是数据库 -c是集合  -q是条件 --type=csv是指定输出文件类型  -o是指定输出路径 #具体参数的意义可以自行搜索。 /home/mongodb/bin/mongoexport -h 114.115.147.192  --port 30000 -d nsitedb -c nSite.authc.sessions -q "{logonTime:{\$gte:Date($timestamp),\$lte:Date($end)}}" -f _id,userId,userName,logonTime,logonIp,logonHost,appName,"editsphere_v1","CDV",state,logoffTime --type=csv -o  $mypath/$year$month$day$hour.csv sed -i s/","/"|"/g "$mypath/$year$month$day$hour.csv" sed -i '1d' "$mypath/$year$month$day$hour.csv" if [ -s "$mypath/$year$month$day$hour.csv"  ]; then         hdfs dfs -put $mypath/$year$month$day$hour.csv /data/mongo/ fi 写一个定时任务： crontab -e * */1 * * * sh /home/shell/pullMongoData.sh 每一个小时执行一次pullMongoData.sh脚本即可。