使用Perl从字符串中删除BOM

Question

我有以下问题：我正在从一个UTF-8文本文件中读取（我告诉Perl，我是通过“：编码（utf-8）”）。

该文件在十六进制查看器中看起来像这样：EF BB BF 43 6F 6E 66 65 72 65 6E 63 65

印刷时翻译成“∩会议”。我知道我被警告的“宽字符”是物料清单。我想摆脱它（不是因为警告，而是因为它搞砸了我稍后进行的字符串比较）。

因此，我尝试使用以下代码删除它，但失败惨重：

$line=~s/^\xEF\xBB\xBF/；

有人能告诉我如何从我通过阅读UTF-8文件的第一行获得的字符串中删除UTF-8 BOM吗？

谢谢

Answer 1

如果使用file:：BOM打开文件，它将为您删除BOM表。

use File::BOM;

open_bom(my $fh, $path, ':utf8')

Answer 2

要拆除BOM，你必须知道它不是3个字符，而是1个UTF（U FEFF）：

s/^\x{FEFF}//;

Answer 3

EF BB BF是BOM的UTF-8编码，但是你解码了它，所以你必须寻找它的解码形式。BOM是在文件开始时使用的零宽度无中断空间（U FEFF），因此以下任何操作都可以完成：

s/^\x{FEFF}//;
s/^\N{U+FEFF}//;
s/^\N{ZERO WIDTH NO-BREAK SPACE}//;
s/^\N{BOM}//;   # Convenient alias

我知道我被警告的“宽字符”是物料清单。我想摆脱它

因为忘记在输出文件句柄上添加：编码层，所以字符变宽了。下面添加了：编码（UTF-8）到STDIN，STDOUT，STDERR，并使其成为open（）的默认值。

use open ':std', ':encoding(UTF-8)';