分片是mongoDB扩展的一种方式。分片分割一个collection并将不同的部分存储在不同的机器上。当一个数据库的collections相对于当前空间过大时,你需要增加一个新的机器。分片会自动的将collection数据分发到新的服务器上。
1. 连接到mongos可查看系统相关信息
configsvr> show dbs configsvr> use config configsvr> show collections onfigsvr> db.mongos.find() { "_id" :"racdb:28885", "ping" :ISODate("2016-03-21T09:23:05.106Z"), "up" :NumberLong(1436), "waiting" : true, "mongoVersion" :"3.2.3" } { "_id" :"host8.localdomain:28885", "ping" :ISODate("2016-03-21T09:23:07.960Z"), "up" :NumberLong(1427), "waiting" : true, "mongoVersion" :"3.2.3" } { "_id" :"host9.localdomain:28885", "ping" :ISODate("2016-03-21T09:23:03.521Z"), "up" :NumberLong(1407), "waiting" : true, "mongoVersion" :"3.2.3" } configsvr> db.shards.find() { "_id" : "shard1","host" : "shard1/host8:28017,racdb:28017" } { "_id" : "shard2","host" : "shard2/host8:28018,racdb:28018" } configsvr> db.databases.find() { "_id" :"im_offline_msg", "primary" : "shard1","partitioned" : true } { "_id" : "testdb","primary" : "shard2", "partitioned" : true } { "_id" : "test","primary" : "shard1", "partitioned" : true } { "_id" : "blogdb","primary" : "shard2", "partitioned" : false }
2. 对数据库启用分片
2.1 当前可连接到 mongos 查看数据库或者集合的分片情况(没有分片):
mongos> db.stats() mongos> db.tab.stats()
2.2 对数据库激活分片功能:
# mongo racdb:28885 mongos>sh.enableSharding("test") #或者 # mongo racdb:28885 mongos> use admin mongos> db.runCommand( { enableSharding:"blogdb"} )
2.3 此时查看数据库分区情况,partitioned变为 “true”。
configsvr> use config switched to db config configsvr> db.databases.find() { "_id" :"im_offline_msg", "primary" : "shard1","partitioned" : true } { "_id" : "testdb","primary" : "shard2", "partitioned" : true } { "_id" : "test","primary" : "shard1", "partitioned" : true } { "_id" : "blogdb","primary" : "shard2", "partitioned" : true }
启用数据库分片并没有将数据进行分开,还需要对 collection 进行分片。
3. 对集合启用分片
启用前,有几个问题需要考虑的:
选择哪个键列作为shard key 。(更多参考:Considerations for Selecting Shard Keys)
如果集合中已经存在数据,在选定作为shard key 的键列必须创建索引;如果集合为空,mongodb 将在激活集合分片(sh.shardCollection)时创建索引。
集合分片函数sh.shardCollection ,
sh.shardCollection(".",shard-key-pattern)
mongos>sh.shardCollection("test.tab", { "_id": "hashed"})
测试插入数据:
--使用python命令 #创建python文件 $ vi batch_insert.py #-*- coding: UTF-8 -*- import pymongo client = pymongo.MongoClient("racdb", 28885) db = client.testdb #查看testdb数据库中集合信息 print (db.collection_names()) #连接到my_collection集合 print (db.my_collection) #清空my_collection集合文档信息 db.my_collection.remove() #显示my_collection集合中文档数目 print (db.my_collection.find().count()) #插入10000条文档信息 for i in range(10000): db.my_collection.insert({"id":i,"name":"Licz"}) #显示my_collection集合中文档数目 print ('插入完毕,当前文档数目:') print (db.my_collection.find().count()) #执行插入 [mongod@racdb ~]$ python2.7.3batch_insert.py [u'system.indexes', u'table1',u'my_collection'] Collection(Database(MongoClient(host=['racdb:28885'],document_class=dict, tz_aware=False, connect=True), u'testdb'), u'my_collection') 0
插入完毕,当前文档数目:
10000 #或是用mongo shell插入测试数据 for (var i=1; i<=100000; i++) { db.cc.insert({"id": i,"myName" : "cc"+i, "myDate" : new Date()}); }
启用集合分片
mongos> show collections mongos> db.cc.find() mongos> db.cc.createIndex({"id": "hashed" }) mongos> db.cc.getIndexes() mongos>sh.shardCollection("testdb.cc", { "id": "hashed"}) mongos> db.stats() mongos> db.cc.stats() --查看sharding 状态 mongos> db.printShardingStatus();
以上内容是小编给大家介绍的MongoDB分片测试,希望对大家有所帮助!
主要内容:MongoDB 中的分片,分片实例分片是跨多台机器存储数据的过程,它是 MongoDB 满足数据增长需求的方法。随着数据的不断增加,单台机器可能不足以存储全部数据,也无法提供足够的读写吞吐量。通过分片,您可以添加更多计算机来满足数据增长和读/写操作的需求。 为什么要分片? 在复制中,所有写操作都将转到主节点; 对延迟敏感的查询仍会转到主查询; 单个副本集限制为 12 个节点; 当活动数据集很大时,会出现内存不足; 本地磁盘不够大;
我已经在kuberenetes中使用散列分片设置了分片的MongoDB集群。我首先创建了配置服务器副本集,然后创建了2个分片副本集。最终创建了mongos来连接分片集群。 我按照下面的链接设置分片MongoDB点击https://docs . MongoDB . com/manual/tutorial/deploy-sharded-cluster-hashed-sharding/ 在创建mongo
我正在建立Shared集群的过程中。 我还想在集群中配置读副本。 假设有一个3,1个主要和2个次要的碎片。写将转到碎片的主成员,但我可以将所有读发送到次成员吗?
我已经在一台具有三个不同端口(例如27018[master]、27019、27020)的机器中进行了复制。我还在一台机器上用两个不同的端口(比如27021、27022)进行了分片。 现在我必须为分片的计算机端口实现复制。我需要为27021和27022实现复制。我怎么能这么做?请帮我解决这个问题。 null
我在localhost上设置了一个分片的mongo db环境,有3个配置服务器、2个分片的mongo实例和一个mongos。 集群启动后,我运行以下命令序列: 我启用数据库进行分片,并创建一个索引等。 以上所有操作的结果都是成功的。 但是一旦我做到了:db.foo.stats() 我看到所有的数据都在一个分片中结束,而没有被分发。和运行 生产: 然而,有趣的是,如果我从一个空白集合开始,并在向其中
我们有一个相对简单的分片MongoDB设置:4个分片,每个分片是一个副本集,至少有3个成员。每个集合都由从大量文件加载的数据组成;每个文件都被赋予一个单调递增的ID,并且根据ID的哈希完成分片。 我们的大部分产品都在按预期工作。然而,我有一个集合似乎没有正确地将块分布到各个碎片上。在创建索引之前,集合加载了大约30GB的数据,并且进行了分片,但是据我所知,这并不重要。以下是该集合的统计数据: 这个