HI!，你好，我是zane，zanePerfor是一款最近我开发的一个前端性能监控平台，现在支持web浏览器端和微信小程序段。
我定义为一款完整，高性能，高可用的前端性能监控系统，这是未来会达到的目的，现今的架构也基本支持了高可用，高性能的部署。实际上还不够，在很多地方还有优化的空间，我会持续的优化和升级。
开源不易，如果你也热爱技术，拥抱开源，希望能小小的支持给个star。
项目的github地址：
项目开发文档说明：
分片的概念：
在MongoDB中，分片集群（sharded cluster）是一种水平扩展数据库系统性能的方法，能够将数据集分布式存储在不同的分片（shard）上，每个分片只保存数据集的一部分，MongoDB保证各个分片之间不会有重复的数据，所有分片保存的数据之和就是完整的数据集。分片集群将数据集分布式存储，能够将负载分摊到多个分片上，每个分片只负责读写一部分数据，充分利用了各个shard的系统资源，提高数据库系统的吞吐量。
为什么要分片：
- 解决高并发时系统吞吐量
- 解决垂直扩展的价格昂贵成本，降低成本
- 提高系统的稳定，高可用性
- 提供大数据量时的分布式计算能力
- 解决单机或副本集的磁盘不足
- 解决请求量巨大时的内存不足等
MongoDB分片集群结构分布：
Shard:
用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个replica set承担，防止主机单点故障
Config Server:
mongod配置服务器，存储了整个 ClusterMetadata，其中包括 chunk信息（配置服务器3.4起需要是副本集）。
Query Routers:
mongos路由器，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。
分片实例
- 三个Shard分片 端口：27020，27021，27022
- 三个Config服务 端口：27100，27101，27102
- 一个Mongos路由服务 端口：30000
创建Shard分片目录
// 创建分片数据和日志存储目录
mkdir -p /data/mongod/s0
mkdir -p /data/mongod/s1
mkdir -p /data/mongod/s2
mkdir -p /data/mongod/log复制代码启动Shard Server
mongod --dbpath /data/mongod/s0 --logpath /data/mongod/log/s0.log --fork --smallfiles --port 27020 --shardsvr
mongod --dbpath /data/mongod/s1 --logpath /data/mongod/log/s1.log --fork --smallfiles --port 27021 --shardsvr
mongod --dbpath /data/mongod/s2 --logpath /data/mongod/log/s2.log --fork --smallfiles --port 27022 --shardsvr复制代码--dbpath：存储数据目录
--logpath：存储日志目录
--smallfiles：是否使用较小的默认文件。默认为false
--shardsvr：是表示以sharding模式启动Mongodb服务器
创建Config Server目录
mkdir -p /data/mongod/c0
mkdir -p /data/mongod/c1
mkdir -p /data/mongod/c2复制代码启动Config Server
mongod --dbpath /data/mongod/c0 --logpath /data/mongod/log/c0.log --fork --smallfiles --port 27100 --replSet rs1 --configsvr
mongod --dbpath /data/mongod/c1 --logpath /data/mongod/log/c1.log --fork --smallfiles --port 27101 --replSet rs1 --configsvr
mongod --dbpath /data/mongod/c2 --logpath /data/mongod/log/c2.log --fork --smallfiles --port 27102 --replSet rs1 --configsvr复制代码--replSet：副本集名称，副本集名称必须一致
--configsvr：是表示以config配置服务启动Mongodb服务器
配置副本集：
// shell 命令进入mongodb
mongo --port 27100
// 使用admin账户
use admin;
// 初始化副本集
rs.initiate({_id:"rs1",members:[{_id:0,host:"127.0.0.1:27100"},{_id:1,host:"127.0.0.1:27101"},{_id:2,host:"127.0.0.1:27102"}]})
// 查看副本集状态
rs.status();复制代码rs.add("127.0.0.1:27103") 删除使用：rs.remove("127.0.0.1:27103")
启动Route Process
mongos --logpath /data/mongod/log/mongo.log --port 30000 --fork --configdb rs1/127.0.0.1:27100,127.0.0.1:27101,127.0.0.1:27102复制代码- mongos服务不存储数据，因此不需要dbpath
--configdb是核心配置，表示设定config server的地址列表，格式： 副本集名称/host:prot,host:prot,host:prot 格式。
配置Sharding分片
// 进入路由服务器
mongo --port 30000
// 添加分片
sh.addShard("127.0.0.1:27020")
sh.addShard("127.0.0.1:27021")
sh.addShard("127.0.0.1:27022")
// 查看分片信息
sh.status();复制代码设置分片数据库与片键
指定需要分片的数据库
sh.enableSharding("performance")复制代码设置分片的片键
Mongodb如何分片是一门学问，分的好对数据均衡存储，查询效率有很高的提升，分的不好导致分片不均匀，有的chunk太大，有的太小，查询效率低下，需要好好的实践和琢磨。
Sharding架构下，如果不手动分片，Mongodb不会自动分片，所有数据会存储到一个片中，所以我们希望分片的表必须手动分片。
分片选择的片键首先需要建立索引。
例如：下面对performance数据库的 pagelist 集合进行分片，选择url为片键。
1、创建索引
db.pagelist.ensureIndex({"url":1})复制代码2、设置分片
sh.shardCollection("performance.pagelist",{url:1})复制代码至此分片完毕。
Mongodb一个chunk默认大小为64M，当数据量大于64M时会重新创建新的chunk储存数据。
在zanePerfor (前端性能监控平台)生产环境中使用Mongodb集群分片。
在zanePerfor使用集群分片非常简单，跟单机配置模式是一样的，只需要更改下端口号即可。
一：找到项目的 config/config.prod.js文件
更改如下Mongodb配置即可：
// mongodb 服务
// 此处替换 url 参数为链接副本集方式即可
const dbclients = {
db3: {
// 单路由方式
url: 'mongodb://127.0.0.1:30000/performance',
// 路由副本集方式
url: 'mongodb://127.0.0.1:30000,127.0.0.1:30001,127.0.0.1:30002/performance?replicaSet=mongos',
options: {
poolSize: 100,
keepAlive: 10000,
connectTimeoutMS: 10000,
autoReconnect: true,
reconnectTries: 100,
reconnectInterval: 1000,
},
},
};复制代码二：分片规则
sh.shardCollection("performance.webpages", { "url": "hashed"})复制代码详细的分配规则和性能还在总结和实践中，调优之后我会放到github中。