阿里云提供的云数据库RDS(ApsaraDB for RDS,简称RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于飞天分布式系统和全SSD盘高性能存储,支持MySQL、SQL Server、PostgreSQL和PPAS(高度兼容Oracle)引擎,默认部署主备架构且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。
云数据库RDS支持四种数据库引擎,分别为MySQL、SQL Server、PostgreSQL和PPAS。
对于目前我所用的dataworks搭配的RDS,是MySQL类型
DRDS 是一款基于 MySQL 存储、采用分库分表技术进行水平扩展的分布式 OLTP 数据库服务产品,支持 RDS for MySQL 以及 POLARDB for MySQL,产品目标旨在提升数据存储容量、并发吞吐、复杂计算效率三个方面的扩展性需求。
一个RDS,8个分库(之后不能改变)一个分库有8个分表。(8个分库是可以选择的,同时也说明了RDS是弹性的)
一个RDS数据量在500万的时候,是性能各方面最好的时候。
1.DRDS最少由32个RDS组成,每次增加都是倍数增加,可以是32,64,128。
2. 而一个RDS里面有8个分库(确定之后不能改变),一个分库有8个分表,这就导致一个RDS至少是64个分表。
3.如果在RDS里面进行建表的时候,没有进行分库分表的操作,那么所有的表与数据都会默认存在于0号库(默认第一个库,单表,非分表。储存压力最大)当中,当数据量很大的时候,就会导致报警。
脚本:
{
“type”: “job”,
“version”: “2.0”,
“steps”: [
{
“stepType”: “mysql”,
“parameter”: {
“datasource”: “用实例配置好后,自己起的数据库名字”,
“connection”: [
{
“querySql”: [
“sql语句 ;”
],
“datasource”: “用实例配置好后,自己起的数据库名字”
}
],
“where”: “”,
“splitPk”: “”,
“encoding”: “UTF-8”
},
“name”: “Reader”,
“category”: “reader”
},
{
“stepType”: “stream”,
“parameter”: {
“print”: true,
“fieldDelimiter”: “,”
},
“name”: “Writer”,
“category”: “writer”
}
],
“setting”: {
“errorLimit”: {
“record”: “”
},
“speed”: {
“throttle”: false,
“concurrent”: 2
}
},
“order”: {
“hops”: [
{
“from”: “Reader”,
“to”: “Writer”
}
]
}
}