当Spring Boot Application启动时，是否可以使用Spark将数据加载到内存中？

Question

我是Spark和Spring Boot Framework的新手。我尝试过在3个节点的火花集群中处理数据库的1亿记录，每个节点有16 Gigs的RAM和4个内核，在我将完整的1亿记录缓存在内存中之后，它的工作速度非常快，所以我的主要目标是在我的Spring Boot应用程序（我正在编写它以使一些RESTful Services在火花上下文上运行）启动时加载和缓存内存中的记录。如何在应用程序启动时准确加载和缓存1亿记录。

Answer 1

您可以监听应用程序的启动并启动线程来加载记录。

public class CacheLoadListener implements ApplicationListener {

    @Override
    public void onApplicationEvent(ApplicationEvent event) {
        if (event instanceof ContextRefreshedEvent) {
            //Start a thread/job to load your data
        }
    }
}

在配置文件中

@Bean
public CacheLoadListener cacheLoadListener() {
    return new CacheLoadListener();
}