正则表达式以匹配特殊字符，但与数字混合的连字符除外

Question

我们目前正在使用[^a-zA-Z0-9]在Java的replace eAll函数中从字符串中删除特殊字符。我们注意到，当连字符与数字混合时，我们需要允许连字符。

不匹配连字符的示例：

• 1-2-3
• -1-23-4562
• --1--2--3--4-
• --9-a--7
• 425-12-3456

将匹配连字符的示例：

< li> - a - b - c 沃尔玛超市

我们认为我们使用这个SO问题作为参考制定了一个正则表达式来满足后一个标准，但我们不知道如何将其与原始正则表达式[^a-zA-Z0-9]结合起来。

我们希望对Lucene搜索字符串执行此操作，因为Lucene的标准标记器在索引时的工作方式：

在连字符处拆分单词，除非令牌中有数字，在这种情况下，整个令牌被解释为产品编号，不拆分。

Answer 1

这个问题很棘手，因为Java不允许在环顾中无限递归，这基本上是你需要的。如您所见，我已经设置了 100 个字符的限制，如果您希望单词更长，您可以增加该限制。

这应该有效：

(?<![0-9]\S{0,100})[^a-zA-Z](?!\S{0,100}[0-9])|(?<=[0-9]\S{0,100})[^a-zA-Z0-9-](?=\S{0,100}[0-9])

只有一个简单的带有此表达式的replaceAll（）才能处理它。

例如，考虑以下输入:

--9-+-a--7 wal-mart

上面的表达式中，违规字符被替换为零长度字符串，将呈现以下输出:

--9--a--7 walmart

你可以在这里试试:http://fiddle.re/ynyu

请注意，此表达式取决于用空格（空格、制表符、换行符等）分隔的单词。其他字符，如逗号和分号，将导致表达式将这两个单词视为一个单词。例如'--9-a-0-， wal-mart'将被视为一个单词。

编辑我之前编辑的最后一段不正确。如果您想包含其他字符作为分隔符，我建议在第一遍中用空格替换它们（例如，将'，'替换为'）。

我主要是一个.NET程序员，否则我会给你使用这种模式的完整Java代码。

Answer 2

你试过这个吗:

[^a-zA-Z 0-9-]

Answer 3

你不能用一个正则表达式做到这一点。(嗯...也许用Perl。)

（编辑：好的，你可以用可变长度的负回溯来做到这一点，看起来Java可以（几乎是唯一的！）做到;参见Cyborgx37的答案。无论如何，imo，你不应该用一个正则表达式来做到这一点。:))

您可以做的是将字符串拆分为单词并单独处理每个单词。我的Java非常糟糕，所以这里有一些希望明智的Python：

# Precompile some regex
looks_like_product_number = re.compile(r'\A[-0-9]+\Z')
not_wordlike = re.compile(r'[^a-zA-Z0-9]')
not_wordlike_or_hyphen = re.compile(r'[^-a-zA-Z0-9]')

# Split on anything that's not a letter, number, or hyphen -- BUT dots
# must be followed by whitespace
words = re.split(r'(?:[^-.a-zA-Z0-9]|[.]\s)+', string)

stripped_words = []
for word in words:
    if '-' in word and not looks_like_product_number.match(word):
        stripped_word = not_wordlike.sub('', word)
    else:
        # Product number; allow dashes
        stripped_word = not_wordlike_or_hyphen.sub('', word)

    stripped_words.append(stripped_word)

pass_to_lucene(' '.join(stripped_words))

当我使用'wal-mart1-2-3'运行它时，我得到了'walmart1-2-3'。

但是老实说，上面的代码复制了Lucene tokenizer已经在做的大部分事情。我认为您最好将< code>StandardTokenizer复制到您自己的项目中，并根据您的需要进行修改。