springboot - 如何在系统中异步采集非业务数据并进行分析？

Question

在一个业务系统中，想要采集一些与业务无关的数据，例如用户点击应用的次数，喜好等数据（非结构化数据）。以便于后续进行分析。应该采用什么架构、工具呢？异步采集数据，存储数据，可视化并进行后续的分析辅助决策
技术栈：springboot elk redis tidb minio

在springboot中，采用日志异步输出，es做存储，并通过kabana可视化。但这个是用于业务日志的，辅助运维人员工作的

Answer 1

大概得架构方案可以参考一下：

+--------------------------+      +----------------------+      +--------------------------+      +--------------------+
| Spring Boot Application  |----->|  Message Queue (Redis Pub/Sub 或 Streams) |----->|  Non-Business Data Processor |----->|  Data Storage (Elasticsearch) |
| (Non-Business Data Producers) |      +----------------------+      | (Dedicated Spring Boot App) |      +--------------------+
+--------------------------+      |                      |      +--------------------------+
          ^                             |
          |                             |
+--------------------------+      +----------------------+
| User Interface (Web/App) |----->|  Frontend Event Tracker (JS) |
+--------------------------+

Answer 2

在Spring Boot系统中异步采集非业务数据（如用户点击应用的次数、喜好等非结构化数据）并进行分析，可以采用以下架构、工具和技术方案：

架构与技术方案

1. 数据采集：

   • 使用Spring Boot的异步处理能力，通过@Async注解将数据采集任务标记为异步执行。
   • 利用日志框架（如Logback或Log4j）异步输出日志，这些日志可以包含非业务数据的详细信息。
   • 考虑使用AOP（面向切面编程）来拦截特定的业务操作，并在操作完成时记录相关的非业务数据。

2. 数据存储：

   • 对于非结构化数据，可以考虑使用Elasticsearch（ES）作为存储解决方案。ES提供了强大的搜索和分析能力，适用于处理大量非结构化数据。
   • 如果需要持久化存储非结构化数据（如用户喜好等），也可以考虑使用NoSQL数据库（如MongoDB）或对象存储服务（如MinIO）。

3. 数据可视化与分析：

   • 使用Kibana或Grafana等工具来可视化存储在Elasticsearch中的数据。这些工具提供了丰富的图表和可视化选项，有助于直观地展示数据趋势和模式。
   • 对于更复杂的分析需求，可以使用Python、R等数据分析工具或编程语言来编写自定义的分析脚本，并将分析结果以图表或报告的形式展示。

4. 技术栈整合：

   • 在Spring Boot项目中，通过添加必要的依赖和配置来整合上述工具和技术。
   • 使用Redis作为缓存层，可以缓存一些常用的数据或分析结果，提高系统的响应速度和性能。
   • 如果需要处理大量结构化数据（如用户信息、订单数据等），可以考虑使用TiDB这样的分布式数据库系统。

具体实现步骤

1. 配置Spring Boot异步处理：

   • 在Spring Boot的主类或配置类上添加@EnableAsync注解来启用异步处理支持。
   • 在需要异步执行的方法上添加@Async注解。

2. 实现数据采集逻辑：

   • 编写一个服务类来负责数据采集任务，并在该类中定义异步方法。
   • 在异步方法中，使用日志框架记录非业务数据，或者通过调用其他服务将数据发送到Elasticsearch等存储系统。

3. 配置Elasticsearch和Kibana：

   • 安装并配置Elasticsearch和Kibana。
   • 在Elasticsearch中创建索引来存储非结构化数据。
   • 使用Kibana来可视化存储在Elasticsearch中的数据。

4. 实现数据可视化与分析：

   • 根据业务需求在Kibana中创建不同的图表和仪表板。
   • 编写自定义的分析脚本来处理更复杂的数据分析任务。

5. 整合技术栈：

   • 在Spring Boot项目中添加Redis、TiDB等依赖和配置。
   • 使用Redis来缓存常用数据或分析结果。
   • 使用TiDB来处理结构化数据的存储和查询需求。

综上所述，通过结合Spring Boot的异步处理能力、Elasticsearch的存储和搜索能力、Kibana的可视化能力以及其他技术栈组件（如Redis和TiDB），可以有效地实现非业务数据的异步采集、存储、可视化和分析。