UBackup

游族异地备份系统
授权协议 GPL
开发语言 Python
所属分类 游戏/娱乐、 游戏模拟器/工具/引擎
软件类型 开源软件
地区 国产
投 递 者 田鹤轩
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

此系统解决游族2w+个数据库实例(包括mysql,redis,ssdb)的异地灾备

每天大概40w+个备份文件(99%的数据库实例进行每小时备份策略)

每天40TB+数据量进行异地传输

支持任意备份

  • 此系统只负责备份异地传输,不负责如何备份 具体备份脚本用户自行编写,只要按照要求把备份信息写入对应日志文件即可

备份脚本规范

1.每次都是全备的方式 (例如redis通过RDB每次都是全备)

2.全备+增量 的方式(例如Mysql通过Xtrabackup)

脚本日志生成规范:

    备份成功:back_log 第一行为ok,第二行为文件名

    备份失败:back_log 第一行为wrong,第二行为错误信息

如果是第2种方式,则在生成back_log的时候,同时生成一份相同的日志信息在last_all_log 日志中
  • 备份队列优先级控制,重要的备份优先拉取到异地

支持以下报警类型

  • 正常备份脚本出错(脚本退出码非0)

  • 超过规定时间未备份

  • 非法备份

针对报警做了一个chrome插件提醒的功能

支持后端集群线性扩展

  • 集群支持拉取数据调整,权重调整,集群容量可以通过简单的增加节点进行增加

  • 节点根据配置预留空间,超过预留空间自动暂停,暂停后只要集群中还尚有正常工作的节点,整个集群就能继续工作

支持多纬度数据分析

  • 元数据存储在ES,根据需要进行数据分析

一键恢复

  • 配合恢复脚本可以实现查询备份位置,下载,恢复一气呵成

架构介绍

架构图

架构图

统计数据页面

static1static2

报警页面

alert

集群管理页面

alert

 相关资料
  • 1. 自我介绍 2. 实习时间,周期 3. 介绍一下你的实习 4. 看到你实习的时候遇到一个bug,导出时间不一致是什么原因,是什么导致的。 5. 怎么创建使用线程池 6. 核心线程数和最大线程数的一个区别 7. 阻塞队列的任务什么时候会执行 8. 要实现阻塞队列该怎么实现 9. 阻塞队列的线程安全的并发性怎么保证 10. JVM类加载机制 11. 讲一下垃圾回收机制 12. 你在实习期间使用的垃

  • 本篇教程将详细介绍使用微PE安装原版安装版以外Ghost&Wim格式系统的具体方法流程、注意事项等。 本方法支持的格式:.gho .wim .esd 系统备份恢复的特别提示 备份恢复保存的镜像文件支持.gho .wim .esd。 我们推荐使用wim格式的备份,特别是GPT分区表。 在做系统备份操作之前,请多次确认恢复、备份的分区是否正确,以免数据丢失。 系统备份恢复的具体流程 系统备份 进入PE

  • 主要内容:rsync -a 选项,rsync --delete选项在 Linux 系统下,数据备份的工具很多,除了前面介绍了 tar、cpio、dd 命令之外,本节再介绍一个用来备份数据的命令,就是 rsync。 从字面意思上,rsync 可以理解为 remote sync(远程同步),但它不仅可以远程同步数据(类似于 scp 命令),还可以本地同步数据(类似于 cp 命令)。不同于 cp 或 scp 的一点是,使用 rsync 命令备份数据时,不会直接覆盖以前

  • #非技术2024笔面经# 本人今年春招还是挂麻了,几乎是投几个挂几个,最后感谢游族给我发了实习offer,让我不至于颗粒无收。在这里分享一下面筋吧,希望能帮到人。 3.13 一面,业务面 介绍一下自己:讲一下自己的游戏经历,项目经历,实习经历 聊其中一个项目设计: 这个就没啥好说的了,就是用电梯演讲的方式 我看你项目经历中有一个是轻度休闲策略游戏,你当时是怎么设计策略的呢: 游戏角色有多个属性需要

  • 本文向大家介绍Python 实现文件的全备份和差异备份详解,包括了Python 实现文件的全备份和差异备份详解的使用技巧和注意事项,需要的朋友参考一下 Python实现文件的全备份和差异备份 之前有写利用md5方式来做差异备份,但是这种md5方式来写存在以下问题: md5sum获取有些软连接的MD5值存在问题 不支持对空目录进行备份,因为md5sum无法获取空目录的md5值 权限的修改md5sum

  • 今天这个面试时间太长了一个半小时,只挑了一些有参考价值的问题,因为问项目问的特别多,很多问题都是结合着项目去问的 问项目 UDP和TCP区别,应用场景 TCP为什么是可靠的 状态同步和帧同步 渲染管线 光照模型 GC优化 Drawcall Overdrall 用过哪些unity的组件 显示一个模式该挂什么组件 List Dictionary 玩什么游戏 有什么兴趣爱好 未来几年的规划 到岗时间实习