当前位置: 首页 > 编程笔记 >

mongodb 集群重构和释放磁盘空间实例详解

姚淳
2023-03-14
本文向大家介绍mongodb 集群重构和释放磁盘空间实例详解,包括了mongodb 集群重构和释放磁盘空间实例详解的使用技巧和注意事项,需要的朋友参考一下

MongoDB集群重构,释放磁盘空间

由于mongodb删除了一部分数据后,不会回收相应的磁盘空间,所以这里通过重建数据目录的方式释放磁盘空间。

一 实验环境

配置了一个副本集,该副本集由以下三个节点组成:

10.192.203.201:27017 PRIMARY

10.192.203.202:27017 SECONDARY

10.192.203.202:10001  ARBITER

二 实验步骤

2.1 模拟环境


use dba; 
for(var i=0;i<1000000;i++)db.c.insert({uid:i,uname:'osqlfan'+i}); 
db.c.find().count();#1000000 
 db.stats(); 
{ 
  "db" : "dba", 
  "collections" : 5, 
  "objects" : 1000111, 
  "avgObjSize" : 111.9994880568257, 
  "dataSize" : 112011920, 
  "storageSize" : 174796800, 
  "numExtents" : 17, 
  "indexes" : 3, 
  "indexSize" : 32475072, 
  "fileSize" : 469762048, 
  "nsSizeMB" : 16, 
  "extentFreeList" : { 
    "num" : 0, 
    "totalSize" : 0 
  }, 
  "dataFileVersion" : { 
    "major" : 4, 
    "minor" : 22 
  }, 
  "ok" : 1 
} 

磁盘空间增加了400M数据:

-rw-------. 1 root root  134217728 Nov 7 13:38 dba.1

-rw-------. 1 root root  268435456 Nov 7 13:38 dba.2

[root@slave2 ~]# du -sh /data/mongo/data

4.7G /data/mongo/data



#删除dba.c表数据: 
MyReplset:PRIMARY> db.c.drop(); 
true 
MyReplset:PRIMARY> db.c.find().count(); 
0 
MyReplset:PRIMARY> db.stats(); 
{ 
"db" : "dba", 
"collections" : 4, 
"objects" : 108, 
"avgObjSize" : 108.44444444444444, 
"dataSize" : 11712, 
"storageSize" : 61440, 
"numExtents" : 5, 
"indexes" : 2, 
"indexSize" : 16352, 
"fileSize" : 469762048, 
"nsSizeMB" : 16, 
"extentFreeList" : { 
"num" : 18, 
"totalSize" : 212492288 
}, 
"dataFileVersion" : { 
"major" : 4, 
"minor" : 22 
}, 
"ok" : 1 
} 

看到dataSize,indexSize,storageSize都变小了,但是fileSize没有变化,而且mongo data目录仍然占用4.7G。

 2.2 确保先在从库10.192.203.202:27017上进行重构 

#查看主从关系



MyReplset:PRIMARY>rs.status(); 
{ 
"set" : "MyReplset", 
"date" :ISODate("2016-11-07T07:10:50.717Z"), 
"myState" : 1, 
"members" : [ 
      { 
          "_id" : 0, 
          "name" :"10.192.203.201:27017", 
          "health" : 1, 
          "state" : 1, 
          "stateStr" :"PRIMARY", 
          "uptime" : 964, 
          "optime" :Timestamp(1478239977, 594), 
          "optimeDate" :ISODate("2016-11-04T06:12:57Z"), 
          "electionTime" :Timestamp(1478502021, 1), 
          "electionDate" :ISODate("2016-11-07T07:00:21Z"), 
          "configVersion" :2, 
          "self" : true 
      }, 
      { 
          "_id" : 1, 
          "name" :"10.192.203.202:27017", 
          "health" : 1, 
          "state" : 2, 
          "stateStr" :"SECONDARY", 
          "uptime" : 628, 
          "optime" :Timestamp(1478239977, 594), 
          "optimeDate" :ISODate("2016-11-04T06:12:57Z"), 
          "lastHeartbeat" :ISODate("2016-11-07T07:10:49.257Z"), 
          "lastHeartbeatRecv": ISODate("2016-11-07T07:10:50.143Z"), 
          "pingMs" : 2, 
          "configVersion" :2 
      }, 
      { 
          "_id" : 2, 
          "name" :"10.192.203.202:10001", 
          "health" : 1, 
          "state": 7, 
          "stateStr" :"ARBITER", 
          "uptime" : 618, 
          "lastHeartbeat" :ISODate("2016-11-07T07:10:49.416Z"), 
          "lastHeartbeatRecv": ISODate("2016-11-07T07:10:49.847Z"), 
          "pingMs" : 2, 
          "configVersion" :2 
      } 
], 
"ok" : 1 
} 
 

2.2.1 关闭数据库

MyReplset:SECONDARY> use admin; 
switched to db admin 
MyReplset:SECONDARY> db.shutdownServer(); 
2016-11-07T15:14:42.548+0800 I NETWORK DBClientCursor::init call() failed 
server should be down... 
2016-11-07T15:14:42.571+0800 I NETWORK trying reconnect to 127.0.0.1:27017(127.0.0.1) failed 
2016-11-07T15:14:42.575+0800 W NETWORK Failed to connect to 127.0.0.1:27017, reason:errno:111 Connection refused 
2016-11-07T15:14:42.575+0800 I NETWORK reconnect 127.0.0.1:27017 (127.0.0.1) failedfailed couldn't connect to server 127.0.0.1:27017 (127.0.0.1), connectionattempt failed 
2016-11-07T15:14:42.634+0800 I NETWORK trying reconnect to 127.0.0.1:27017(127.0.0.1) failed 
2016-11-07T15:14:42.637+0800 W NETWORK Failed to connect to 127.0.0.1:27017, reason:errno:111 Connection refused 
2016-11-07T15:14:42.638+0800I NETWORK reconnect 127.0.0.1:27017(127.0.0.1) failed failed couldn't connect to server 127.0.0.1:27017(127.0.0.1), connection attempt failed 

2.2.2 备份,删除,重建数据目录

备份10.192.203.202:27017的数据目录,这里省略

备份完成后,删除,重建该目录。

rm-rf /data/mongo/data

mkdir/data/mongo/data

2.2.3 启动数据

启动10.192.203.202:27017进程:

/usr/local/mongodb/bin/mongod--config /usr/local/mongodb/mongod.cnf --replSet MyReplset -rest

2.2.4 检查

检查数据库是否正常,之前的数据库是否都存在。

检查下磁盘空间是否缩小。

经检查,空间缩小为4.3G,收缩了400MB。

2.3 重构主库

2.3.1 切换主从关系

因201是主,所以需要把201和202:27017之间的主从关系切换一下。本实验除了仲裁节点外,只有一个从节点。假如有多个节点的话,需要在其余从节点上

执行:rs.freeze(300);(锁定从,使其不会转变成主库)

在10.192.203.201:27017执行:rs.stepDown(30);(对其进行降级)

--freeze()和stepDown单位都是秒。

rs.status()查看主从关系是否切换完毕。

2.3.2 关闭数据库

停止10.192.203.201:27017进程:

MyReplset:SECONDARY>use admin;

switched to db admin

MyReplset:SECONDARY> db.shutdownServer();

2.3.3 备份删除,重建其数据目录

备份略。

rm-rf /data/mongo/data

mkdir/data/mongo/data

2.3.4 启动数据库

启动10.192.203.201:27017进程:

/usr/local/mongodb/bin/mongod--config /usr/local/mongodb/mongod.cnf --replSet MyReplset -rest

2.3.4 检查

检查数据库是否正常,之前的数据库是否都存在。

检查下磁盘空间是否缩小。

经检查,空间缩小为4.3G,收缩了400MB。

--仲裁节点不需要重构。

重构完成后可以再切换回原来的主从状态。

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

 类似资料:
  • 所以,当我尝试删除节点时,它不会从磁盘中删除文件。仅删除节点。下面是我所做的代码示例: 我读到必须调用垃圾收集器才能从磁盘中删除文件。我不知道该怎么做。

  • 我有一个docker正在运行,它会给我磁盘空间警告。如何增加docker空间并重新开始?(同一容器) 假设我想给15gb。

  • 主要内容:一、表空间的文件类型,二、表空间文件格式,三、应用流程,四、总结一、表空间的文件类型 表空间的文件类型其实就文件的具体类型,在前面谈到过表空间的上层逻辑分层,最下面一层是通过Page来实现的,也就是说,文件的底层就是通过链表来控制这个页数据。而这些页数据的具体保存到硬盘中,主要为为两类,即: FSP_HDR/XDES Page和fseg inodes Page。 page的默认大小为16K,在InnoDB中extent是分配页的基本单位,每个extent包含6

  • 问题内容: 我有一个使用InnoDB存储引擎的MySQL表;它包含大约2M数据行。当我从表中删除数据行时,它没有释放分配的磁盘空间。运行该命令后,ibdata1文件的大小也没有减小。 有什么办法可以从MySQL回收磁盘空间? 我处境很糟;该应用程序在大约50个不同的位置运行,现在几乎所有位置都出现磁盘空间不足的问题。 问题答案: MySQL不会减小ibdata1的大小。曾经 即使您用来从已删除的记

  • 在 i386 架构上,基本的 sarge 安装需要 178MB 的磁盘空间,这其中以包含了 所有的标准软件包。 下面的表格一一列出了 tasksel 所列出的每个软件集所需的磁盘空间大小。该报表是使用 aptitude 生成的。请注意,有些软件集之间会有相重叠的部分,所以两个软件集一同 安装后所占的空间,可能会小于这两个软件集分别安装所占空间的和。 任务

  • 在 i386 架构上,基本的 sarge 安装需要 178MB 的磁盘空间,这其中以包含了 所有的标准软件包。 下面的表格一一列出了 tasksel 中每个软件集所需的磁盘空间大小。该报表是使用 aptitude 生成的。请注意,有些软件集之间会有相重叠的部分,所以两个软件集一同 安装后所占的空间,可能会小于这两个软件集分别安装所占的空间。 任务 安装尺寸 (MB) 下载尺寸 (MB) 用于安装所