如何解决OpenShift集群中多个pod中的liquibase等待变更日志锁定问题？

Question

我们正在支持使用Spring Boot以Java编写并部署在OpenShift中的几个微服务。一些微服务与数据库通信。我们经常在单个部署中在多个pod中运行单个微服务。当每个微服务启动时，它会启动liquibase，它会尝试更新数据库。问题是有时一个pod在等待变更日志锁时失败。当这种情况发生在我们的生产OpenShift集群中时，我们预计其他pod会在重新启动时失败，因为变更日志锁问题存在同样的问题。因此，在最坏的情况下，所有pod都会等待锁被解除。

我们希望liquidbase在每个pod启动时自动准备数据库模式。

在每个微服务中存储这种逻辑好吗？当出现liquidbase changelog锁问题时，我们如何自动解决该问题？我们需要将数据库准备逻辑放在单独的部署中吗？

所以也许我应该解释一下我的问题。从微服务架构的角度来看，运行数据库迁移的最佳方式是什么？也许我们不应该在每个pod中使用数据库迁移？也许最好通过单独的部署来完成，或者通过一些额外的Jenkins工作来完成，而不是在OpenShift中完成？

Answer 1

在我的公司中，我们通过遵循Liquibase建议的Init容器的相同方法来解决这个问题，但我们没有使用新的容器并通过Liquibase CLI运行Liquibase迁移，而是重用现有的Spring Boot服务设置，但只是执行Liquibase逻辑。我们创建了一个替代的主类，可以在入口点中使用它来使用Liquibase填充数据库。

InitContainerApplication类提供了启动应用程序和设置Liquibase所需的最低配置。

典型用法：

entrypoint: "java -cp /app/extras/*:/app/WEB-INF/classes:/app/WEB-INF/lib/* com.backbase.buildingblocks.auxiliaryconfig.InitContainerApplication"

给你上课

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.ApplicationArguments;
import org.springframework.boot.ApplicationRunner;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.SpringBootConfiguration;
import org.springframework.boot.autoconfigure.ImportAutoConfiguration;
import org.springframework.context.ApplicationContext;

@SpringBootConfiguration
@ImportAutoConfiguration(InitContainerAutoConfigurationSelector.class)
public class InitContainerApplication implements ApplicationRunner {

    @Autowired
    private ApplicationContext appContext;

    public static void main(String[] args) {
        SpringApplication.run(InitContainerApplication.class, args);
    }

    @Override
    public void run(ApplicationArguments args) throws Exception {
        SpringApplication.exit(appContext, () -> 0);
    }

}

以下是作为Init容器的用法：

spec:
  initContainers:
    - name: init-liquibase
      command: ['java']
      args: ['-cp', '/app/extras/*:/app/WEB-INF/classes:/app/WEB-INF/lib/*',
                 'com.backbase.buildingblocks.auxiliaryconfig.InitContainerApplication']

Answer 2

当Liquibase在spring boot应用程序部署期间启动时，它（在非常高的级别上）执行以下步骤：

1. 锁定数据库（在databasechangeloglock中创建记录）
2. 执行变更日志
3. 删除数据库锁

因此，如果在Liquibase处于步骤1和3之间时中断应用程序部署，则数据库将保持锁定。因此，当你试图重新部署应用程序时，Liquibase会失败，因为它会将你的数据库视为锁定。

因此，在再次部署应用程序之前，您必须解锁数据库。

我知道有两个选择：

1. 清除数据库天使锁表或将锁定设置为false。这是DELETE VER数据库天使锁或UPDATE数据库天使锁SET锁定=0
2. 执行liquibase释放锁命令。您可以在这里和这里找到有关它的留档。

Answer 3

我们正在Kubernetes中作为init容器运行liquibase迁移。在微服务中运行Liquibase的问题是，如果就绪探测在配置的超时之前未成功，Kubernetes将终止pod。在我们的例子中，这种情况有时发生在大型数据库迁移期间，这可能需要几分钟才能完成。Kubernetes将终止pod，使DATABASECHANGELOGLOCK处于锁定状态。使用init容器，您将不会遇到这个问题。看见https://www.liquibase.org/blog/using-liquibase-in-kubernetes详细解释。

更新请看看这个Liquibase扩展，它使用数据库锁替换了Standard LockService：https://github.com/blagerweij/liquibase-sessionlock

该扩展使用MySQL或Postgres用户锁语句，当数据库连接关闭时（例如，当容器意外停止时），会自动释放这些语句。使用扩展只需向库中添加依赖项。Liquibase将自动检测改进的LockService。

我不是图书馆的作者，但我在寻找解决方案时偶然发现了图书馆。我通过将图书馆发布给Maven central来帮助作者。目前支持MySQL和PostgreSQL，但应该很容易支持其他RDBMS。