ConfigKeeper 是由随行付架构部基于Spring Cloud研发的分布式配置中心。
在微服务架构中,配置中心是个必不可少的基础服务。应用部署到生产环境后,由于各种原因,需要调整一些配置。如果每次修改配置都需要经过修改代码、重新打包、重新部署等过程,为了避免重新部署造成请求错误,还需要将应用从负载均衡中下线,部署成功后再重新上线,当部署的实例比较多的情况下,那就会严重影响投产效率,如果是为了解决生产上的问题而调整配置,那么这个过程耗时越多,带来的风险也就越大。所以我们需要在不停机、不重新打包、不重新部署的情况下,可以动态修改配置(比如:功能开关、性能参数等)。为了方便动态更新应用配置,需要把配置放到应用执行包之外的配置中心。配置文件不需要打进应用执行包中后,可以带来以下几个好处:一个可执行包就可以在不同的环境下运行,可以降低包的版本管理成本,也可以降低docker镜像的版本管理成本。
Spring cloud 虽然已经为我们提供了基于git或mongodb等实现的配置中心,但是这些方案实现都过于简单,没有达到实际可用的标准,比如:没有提供统一的管理页面,不便于操作和使用;没有权限管理功能;没有数据验证功能等等。但Spring cloud config的核心技术还是可以为我们所有,没有必要重新造轮子。
ConfigKeeper 是由随行付架构部基于Spring Cloud研发的分布式配置中心。基于Spring Cloud开发。与Spring Boot、Spring Cloud应用无缝兼容。下面我们将详细介绍ConfigKeeper配置中心(有图有真像):
下图为用户管理及权限设置界面的截图:
角色设计比较简单,只有管理员和普通用户两种,管理员拥有最高权限,而普通用户只能查看和操作为其分配的配置,以保证数据的安全。
企业可以根据自身的情况设置不同的环境,比如:测试、rc以及生产环境。可以多环境共用一个配置中心,也可以每个环境单独使用一个配置中心,根据企业需求灵活部署。
为了避免配置内容耦合问题,我们只设计了全局配置(global config)和应用配置(application config)两种类型的配置,并没有设计"组配置"。全局配置是指某一环境下所有应用都能生效的配置,但它的优先及低于应用配置,一个运行环境下有且只有一个全局配置。如果应用可执行包已经有相同的配置,那么会被配置中心的配置所覆盖。
全局配置列表:
应用配置列表:
配置内容每修改一次,版本号会自动增加1,同时会将原来配置内容备份到历史表中,以便于查看变更记录和回退。
点击“对比”可以当前版本与最新版本进行比较,非常容易看出版本之间的差异部分,就好像使用git等版本管理工具一样:
通过替换历史版本功能,进行回退。
为了更好管理配置内容,我们使用YAML格式管理配置内容。
使用Yml在线编辑器,可以非常方便编辑,比如:复制粘贴内容,就像在修改配置文件一样。当用户编辑内容时,会实时检查格式是否符合yaml格式时,如果格式是正确的,右则会正确显示其对应的json内容,如果格式不正确则,右则会提示相应的错误信息,能及时发现错误。
在保存修改内容之前会弹出此对比界面,方便确认核对此次变更的内容是否正确,确认无误后再点击“确定”按钮保存。
配置中心提供http接口拉取配置,所以只要支持http协议的应用都是可以使用的。我们已经实现了Spring Boot和Spring Cloud应用的客户端,接下来说明其一些特性及使用方法。
suixingpay-config-client 是基于spring-cloud开发的,所以使用方法与spring-cloud-config完全一样。支持xml、Spring boot @Value、@ConfigurationProperties 注入配置,支持通过Environment获取配置。支持 spring-cloud 的 @RefreshScope 注解刷新配置。
只需要在项目是加入suixingpay-config-client依赖,并在bootstrap.yml文件中增加如下配置:
spring: application: name: config-demo # 设置应用名称,这是必填项 profiles: active: ${profile:dev} #多环境区分配置 --- spring: profiles: test suixingpay: config: enabled: true # 是否启用配置中心,默认值为:true;为了方便开发,建议开发环境设置为false profile: test # 环境名称,默认值为spring.profiles.active的第1个值 uris: - http://127.0.0.1:8080/ # 配置中心服务地址,必须配置 username: admin # 调用接口用户名(非配置中心登录的用户名和密码) password: 123456 # 调用接口密码 cachePath: ./config # 配置缓存路径,默认值为:./config cacheTimeOut: 0 # 本地缓存过期时间(单位:秒),如果小于等于0时,一直有效 failFast: false # 是否快速失败,如果为true时,当访问配置中心时立即抛异常;如果为false时,会尝试加载3次,并会尝试获取本地缓存,最终还没有配置,才会抛异常。默认值:false
下面举个Spring xml文件中获取读取配置值的例子:
<?xml version="1.0" encoding="UTF-8"?> <beans> <dubbo:application name="${spring.application.name}" /> <dubbo:registry protocol="${dubbo.registryProtocol}" address="${dubbo.zookeeperAddress}" /> <dubbo:protocol name="${dubbo.protocolName}" port="${dubbo.protocolPort}" /> ... ... </beans>
关于@Value、@ConfigurationProperties及@RefreshScope的使用就不再一一举例子,更多内容可以参考Spring 官方文档。
为了支持灰度发布,suixingpay-config-client并实现没有自动刷新配置的功能,而是通过使用Spring cloud提供的refresh endpoint进行手动刷新,因为当配置变更后,没有经过验证就将最新配置推送给所有应用,风险是非常之大的。正确的做法是,修改配置内容后,先将最新配置内容刷新到一个应用实例进行验证,验证无误后,再刷新剩余的应用。
现有版本还没有方便刷新配置的相关工具,需要借助curl或postmain等工具来完成,我们正在开发相应的功能来提升这块的用户体验,大家可以关注github中的更新。
客户端从配置中心获取最新配置后,会缓存到本地磁盘中,应用启动时,先获取本地缓存中的配置版本号,发送给配置中心,如果客户端版本号与服务端的不一致时,才会拉取最新配置,否则返回304状态,并使用本地缓存,通过这个机制可以节约网络带宽,从而也提升一点性能;同时我们还提供 configversion endpoint 用于查看当前应用配置的本地缓存版本信息,通过它也很容易检查客户端的配置的版本与服务端的版本是否一致,能方便发现配置是否更新成功。
我们还可以使用spring boot提供的env及configprops endpoint 查看配置内容,检查配置是否生效、是否正确。
Spring 生态功能非常丰富,为我们解决了非常多棘手问题,但很多东西要进行本地化开发后才能更好的使用。此配置中心使用了不少开源技术,给我们带来了不少便利,希望通过此开源项目回馈社区,为开源社区贡献绵薄之力。希望了解随行付更多开源项目请查看:
1.仅支持springboot 1.5x ,2.0版本还处于alpha并未完全开放 2.只能用mysql数据库(虽然用的是mybatis理论上是和数据库无关,但是代码中很多sql是写死的,我们在集成pgsql的时候发现这个问题) 3.官方提供的服务端需要自己打包(eureka提供了服务端注解,直接使用即可),本地调试需要绕开@Test不然会install会出错(官方很多测试数据没有删除)
Zookeeper提供了一个分层命名空间,允许客户端存储任意数据,如配置数据。Spring Cloud Zookeeper Config是Config Server和Client的替代方案。在特殊的“引导”阶段,配置被加载到Spring环境中。默认情况下,配置存储在/config命名空间中。根据应用程序的名称和模拟解析属性的Spring Cloud Config顺序的活动配置文件,创建多个Prop
在分布式系统中,常困扰我们的还有上线问题。虽然目前有一些优雅重启方案,但实际应用中可能受限于我们系统内部的运行情况而没有办法做到真正的“优雅”。比如我们为了对去下游的流量进行限制,在内存中堆积一些数据,并对堆积设定时间或总量的阈值。在任意阈值达到之后将数据统一发送给下游,以避免频繁的请求超出下游的承载能力而将下游打垮。这种情况下重启要做到优雅就比较难了。 所以我们的目标还是尽量避免采用或者绕过上线
我想在不同的 VM 上配置 Ehcache 实例,并在主机上运行 servlet,将这些缓存用作数据存储。缓存服务器必须形成一个集群,用于分布式缓存。 我搜索了任何地方(谷歌、stackoverflow、Ehachep留档)。但是,我找不到任何足够的“如何”文章。此外,我不可能使用企业产品(Terracotta BigMemory等)。 可以随意假设元素包含如上所述的客户信息。我只需要知道如何通过
Consul提供了一个用于存储配置和其他元数据的键/值存储。Spring Cloud Consul Config是Config Server和Client的替代方案。在特殊的“引导”阶段,配置被加载到Spring环境中。默认情况下,配置存储在/config文件夹中。基于应用程序的名称和模拟解析属性的Spring Cloud Config顺序的活动配置文件创建多个PropertySource实例。例
在这最后一章中,我们将回到:kv应用程序,给它添加一个路由层,使之可以根据桶的名字,在各个节点间分发请求。 路由层会接收一个如下形式的路由表: [{?a..?m, :"foo@computer-name"}, {?n..?z, :"bar@computer-name"}] 路由者(负责转发请求的角色,可能是个节点)将根据桶名字的第一个字节查这个路由表, 然后根据路由表所示将用户对桶的请求发给相应
一、安装准备 1、下载hadoop 0.20.2,地址:http://www.apache.org/dist/hadoop/core/hadoop-0.20.2/ 2、JDK版本:jdk-6u20-linux-i586.bin (必须是1.6) 3、操作系统:Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_6