当前位置: 首页 > 知识库问答 >
问题:

MySQL从机上的大量复制写入负载

党博超
2023-03-14

我们在Debian8上使用Percona MySQL5.6作为电子商务聚合器。为此,有一个主后端服务器执行整个ETL(处理来自合作伙伴的产品提要),还有一个由前端web服务器使用的从MySQL服务器。它是一个包含约600GB数据的单一产品数据库。

这两台机器都带有RAID10和datacenter系列固态硬盘。主MySQL是128GB内存的双至强E5,从MySQL是64GB内存的单至强E5。我们的问题是,ETL的I/O太重(有数千个IOP),以至于主服务器能够处理I/O负载,但从服务器跟不上复制。大多数工作都是在ramdisk中完成的,只有真正必要的数据才会写入数据库。

从机的读数多于写数,但复制无法赶上。在从机上缩放复制写(即I/O负载)有哪些选项?

编辑2016-11-18:关于“选项”,我不仅要求优化MySQL,而且要求完全其他技术或软件可以更好地处理这种情况。

共有1个答案

牟波
2023-03-14

升级到5.7应该会解决您当前的问题:http://mysqlhighavailability.com/multi-threaded-replication-performance-in-mysql-5-7/。

这通常是主机写容量耗尽的前兆。你应该很快就开始考虑分片了。你可以看看YouTube的vitess.io项目,我也是其中的一员。

 类似资料:
  • 2天前,我开始设置y MySQL主从复制。我从主人那里做了输出,然后把它输入到奴隶身上,还有所有这些东西。一切都很顺利。但我在建立从服务器到主机的连接时遇到了一些麻烦。所以我晚上就不做了。现在,大约1.5天后,我修复了这个问题,我的复制正在运行。主人一直在跑。但现在当我运行时,我比master落后了125,000秒。我以为从机会自动从主机下载所有记录的东西,并运行这些东西,使它们同步。但是的值会非

  • 原因是: 这是在主服务器上设置的,由于最大内存不可用,它会中断新从服务器的复制。我看到这个问题Redis复制和客户机输出缓冲区限制,类似的问题正在讨论,但我有一个更广泛的问题范围。 我们不能用很多内存。那么,在这种情况下,有什么可能的方法来进行复制,以防止主服务器上的任何失败(WRT.内存和延迟影响)

  • 给定以下代码: GHC在使用优化进行编译时生成此核心(重命名以便于阅读): 请注意GHC如何总共生成4个不同的代码路径。通常,代码路径的数量随着条件的数量呈指数增长。 什么样的GHC优化导致了这种行为?是否有控制此优化的标志?在我的例子中,这会产生巨大的代码膨胀,并且由于深度嵌套的case表达式,使得核心转储非常难以读取。

  • 本文向大家介绍深入分析MySQL 的备份和恢复机制,包括了深入分析MySQL 的备份和恢复机制的使用技巧和注意事项,需要的朋友参考一下 本文讨论 MySQL 的备份和恢复机制,以及如何维护数据表,包括最主要的两种表类型: MyISAM 和 Innodb ,文中设计的 MySQL 版本为 5.0.22。 目前 MySQL 支持的免费备份工具有: mysqldump、mysqlhotcopy ,还可以

  • 问题 主Redis DB设置信息 我有一个在10.1.1.1上运行的主程序。配置设置为“保存”到磁盘。下面是配置文件的一个片段: 当我对所讨论的散列运行扫描命令时,以下是结果(正确): 下面是我在slave 1中的数据:(缺少一条记录) 当我在这个从属程序上运行“info”命令时,我得到的结果是:(只选择了我认为可能与此问题有关的特定项) 从机2设置 这是我使用REDIS的第一次尝试,所以我肯定我

  • 问题内容: 这个问题已经在这里有了答案 : 7年前关闭。 可能重复: Mysql区分大小写 Mysql对于其LIKE比较忽略大小写。 您如何强制它执行区分大小写的LIKE比较? 问题答案: 用途: