以有效的方式扫描和查找 Elasticsearch 索引中的敏感数据

Question

我有什么：用于全文搜索目的的弹性搜索数据库。

我的要求是：在给定的 elasticsearch 索引中，我需要检测一些敏感数据，如 iban no、信用卡号、护照号、社会保障号、地址等，并将其报告给客户。将有复选框作为输入参数。例如，客户可以选择信用卡号和护照号，然后单击检测按钮。之后，系统将开始扫描索引，并报告包括信用卡号和护照号的文件。它的目标是拥有 200 多种敏感数据类型，客户端将能够对这些类型进行多次选择。

我做了什么：我创建了一个C#应用程序，并使用Nest库进行ES查询。为了检测每种敏感数据类型，我在 C# 应用程序中创建了正则表达式和一些特殊的验证规则，这些规则适用于手动给定的输入字符串。

在我的 C# 应用中，我创建了一个与滚动 API 匹配所有查询。当用户单击检测按钮时，我的应用程序正在迭代从滚动 API 返回的所有源记录，并且对于每条记录，应用程序正在根据客户端的选择执行敏感数据查找器代码。

这里的问题是搜索 ES 索引中的所有源记录，提取敏感数据并尽可能快地准备包含大量文档的报告。我知道 ES 是为全文搜索而设计的，而不是用于扫描整个系统并带来数据。但是，所有数据现在都在弹性搜索中，我需要使用此数据库进行检测操作。

我想知道我是否可以以不同且有效的方式做到这一点。在没有 C# 应用的情况下编写弹性搜索插件可以解决这个问题吗？还是有更好的解决方案来扫描 ES 索引中的整个源数据？

感谢您的建议。

Answer 1

>

护照号码，其他敏感信息检测算法应在索引期间运行一次，或者可能作为单独的作业异步运行，该作业将使用表示敏感信息存在的标志更新文档。根据标志可以搜索相关文件。

在这种情况下，搜索时间分析将非常昂贵，应避免使用。