Clojure中修剪不可打印字符的通用方法

Question

我遇到了一个bug，我无法将两个看似“相同”的字符串匹配在一起。例如，以下两个字符串无法匹配:“sample”和“sample”。

要复制此问题，可以在Clojure中运行以下命令。

(= "sample" "​sample") ; returns false

经过一个小时的沮丧调试，我发现第二串前面有一个零宽度的空格！通过退格键将它从这个例子中删除是微不足道的。然而，我有一个正在匹配的字符串数据库，似乎有多个字符串面临这个问题。我的问题是:Clojure中有没有修剪零宽空格的通用方法？

我试过一些方法：

(count (clojure.string/trim "​abc")) ; returns 4

(count (clojure.string/replace "​abc" #"\s" "")) ; returns 4

这个线程从JavaScript字符串中删除零宽度的空格字符确实提供了一个在这个例子中工作的正则表达式的解决方案，即

(count (clojure.string/replace "​abc" #"[\u200B-\u200D\uFEFF]" "")) ; returns 3

然而，正如帖子本身所述，还有许多其他潜在的ascii字符可能是不可见的。因此，我仍然对是否有一种更通用的方法不依赖于列出所有可能的不可见unicode符号感兴趣。

Answer 1

@Rulle的regex解决方案非常好。图佩罗。chars名称空间还有一组可能有用的字符类和谓词函数。它们在Clojure和ClojureScript中工作，还包括^nbsp 。特别是，查看可见的内容？谓语

图佩罗。字符串名称空间也有许多助手

(ns tst.demo.core
  (:use tupelo.core tupelo.test)
  (:require
    [tupelo.chars :as chars]
    [tupelo.string :as str] ))

(def sss
"Some multi-line
string." )

(dotest
  (println "result:")
  (println
    (str/join
      (filterv
        #(or (chars/visible? %) 
             (chars/whitespace? %))
        sss))))

有结果

result:
Some multi-line
string.

若要使用，请使您的< code>project.clj看起来像这样:

  :dependencies [
                 [org.clojure/clojure "1.10.2-alpha1"]
                 [prismatic/schema "1.1.12"]
                 [tupelo "20.07.01"]
                 ]

Answer 2

我相信，你所指的是所谓的不可印刷字符。基于Java中的这个答案，您可以将< code>#"\p{C}"正则表达式作为模式传递给< code>replace:

(defn remove-non-printable-characters [x]
  (clojure.string/replace x #"\p{C}" ""))

但是，这将删除换行符，例如< code>\n。所以为了保留那些字符，我们需要一个更复杂的正则表达式:

(defn remove-non-printable-characters [x]
  (clojure.string/replace x #"[\p{C}&&^(\S)]" ""))

此功能将删除不可打印的字符。让我们来测试一下：

(= "sample" "​sample")
;; => false

(= (remove-non-printable-characters "sample")
   (remove-non-printable-characters "​sample"))
;; => true

(remove-non-printable-characters "sam\nple")
;; => "sam\nple"

这里讨论的是< code>\p{C}模式。