模型分区(Model Partitioner) 为了支持超大模型,无论是宽模型还是深模型,Angel都需要将模型切分为多个部分,存储在不同的PSServer节点上,并提供方便的访问服务,这是参数服务器的本质,也是最基本的功能之一。 模型的划分方式是一个参数服务器设计中,非常值得关注的通用性工程问题,不同的划分方式可能导致计算性能上的差异。一个好的模型划分,应该考虑如下的方面: 保证PS负载均衡 降
使用Python虚拟环境 Mac中使用virtualenv和virtualenvwrapper
ShardingSphereTransactionManager SPI 名称 详细说明 ShardingSphereTransactionManager 分布式事务管理器 已知实现类 详细说明 XAShardingSphereTransactionManager 基于 XA 的分布式事务管理器 SeataATShardingSphereTransactionManager 基于 Seata 的分
ShardingSphere-Proxy 接入的分布式事务 API 同 ShardingSphere-JDBC 保持一致,支持 LOCAL,XA,BASE 类型的事务。 XA 事务 ShardingSphere-Proxy 原生支持 XA 事务,默认的事务管理器为 Atomikos。 可以通过在 ShardingSphere-Proxy 的 conf 目录中添加 jta.properties 来定
ShardingSphere-Proxy 支持使用 SPI 方式接入分布式治理,实现配置和元数据统一管理以及实例熔断和从库禁用等功能。 Zookeeper ShardingSphere-Proxy 默认提供了 Zookeeper 解决方案,实现了注册中心功能。 配置规则同 ShardingSphere-JDBC YAML 保持一致。 其他第三方组件 详情请参考支持的第三方组件。 使用 SPI 方式
使用治理功能需要指定配置中心和注册中心。 配置将全部存入配置中心,可以在每次启动时使用本地配置覆盖配置中心配置,也可以只通过配置中心读取配置。
通过 Apache ShardingSphere 使用分布式事务,与本地事务并无区别。 除了透明化分布式事务的使用之外,Apache ShardingSphere 还能够在每次数据库访问时切换分布式事务类型。 支持的事务类型包括 本地事务、XA事务 和 柔性事务。可在创建数据库连接之前设置,缺省为 Apache ShardingSphere 启动时的默认事务类型。
背景 随着数据规模的不断膨胀,使用多节点集群的分布式方式逐渐成为趋势。在这种情况下,如何高效、自动化管理集群节点,实现不同节点的协同工作,配置一致性,状态一致性,高可用性,可观测性等,就成为一个重要的挑战。 本部分包括三个模块:治理、可观测性、集群管理(计划中)。 挑战 分布式治理的挑战,主要在于集群管理的复杂性,以及如何以统一和标准的方式对接各种第三方集成组件。 集成管理的复杂性体现在,一方面我
背景 数据库事务需要满足 ACID(原子性、一致性、隔离性、持久性)四个特性。 原子性(Atomicity)指事务作为整体来执行,要么全部执行,要么全不执行。 一致性(Consistency)指事务应确保数据从一个一致的状态转变为另一个一致的状态。 隔离性(Isolation)指多个事务并发执行时,一个事务的执行不应影响其他事务的执行。 持久性(Durability)指已提交的事务修改数据会被持久
实现动机 传统数据库软件开发中,主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持,比如 MySQL 的自增键,Oracle 的自增序列等。 数据分片后,不同数据节点生成全局唯一主键是非常棘手的问题。同一个逻辑表内的不同实际表之间的自增键由于无法互相感知而产生重复主键。 虽然可通过约束自增主键初始值和步长的方式避免碰撞,但需引入额外的运维规则,使解决方案缺乏完整性和可扩展性。 目
在“分析”菜单栏中点击“分析设置”,弹出对话框,设置可视域分析和雷达分析的基准点高程值分析的基准点高程值。
在“分析”菜单栏中点击“清除分析”,把“通视分析”、“可视域分析”、“雷达分析”、“填挖方分析”、“淹没模拟”的结果从地图上清除,一键清除所有分析结果。 缓冲区的清除操作在左侧的栏中操作。
在“分析”菜单栏中点击“剖面分析”,有绘制线和选择线两个选项,这里讲绘制线。分析的精度由地形数据的精度决定。 在三维地形上绘制一条想要进行剖面的线路,绘制完成后自动弹出默认采样间距(默认计算的合理值)的分析剖面示意图如下,重新设置采样点采样间距后,再点击“分析”,可重新生成剖面示意图。 点击“分析”键右侧的收放按键可显示出各个采样点数的经度纬度和高程值信息
在“分析”菜单栏中点击“雷达分析”,在地面上点击一点作为地基雷达放置点,鼠标拖动画圆,最后以地基雷达放置点为中心的半球进行可视分析,分析结果中红色部分是雷达的盲区,绿色部分是可达空域。
在“分析”菜单栏中点击“通视分析”,在地面或者建筑物表面选择一点,然后鼠标移动到另一个位置点击结束,即可判断出两点间是否有障碍物,是否可见。通视分析结果显示空间距离、垂直距离、水平距离、起点海拔及两点之间是否可视。