utf-8中的php正则表达式单词边界匹配

Posted 2023-02-24

【中文标题】utf-8中的php正则表达式单词边界匹配

【英文标题】：php regex word boundary matching in utf-8

【发布时间】：2011-01-26 20:00:35

【问题描述】：

我在 utf-8 php 文件中有以下 php 代码：

var_dump(setlocale(LC_CTYPE, 'de_DE.utf8', 'German_Germany.utf-8', 'de_DE', 'german'));
var_dump(mb_internal_encoding());
var_dump(mb_internal_encoding('utf-8'));
var_dump(mb_internal_encoding());
var_dump(mb_regex_encoding());
var_dump(mb_regex_encoding('utf-8'));
var_dump(mb_regex_encoding());
var_dump(preg_replace('/\bweiß\b/iu', 'weiss', 'weißbier'));

我希望最后一个正则表达式仅替换完整的单词而不是部分单词。

在我的 windows 电脑上，它返回：

string 'German_Germany.1252' (length=19)
string 'ISO-8859-1' (length=10)
boolean true
string 'UTF-8' (length=5)
string 'EUC-JP' (length=6)
boolean true
string 'UTF-8' (length=5)
string 'weißbier' (length=9)

在网络服务器 (linux) 上，我得到：

string(10) "de_DE.utf8"
string(10) "ISO-8859-1"
bool(true)
string(5) "UTF-8"
string(10) "ISO-8859-1"
bool(true)
string(5) "UTF-8"
string(9) "weissbier"

因此，正则表达式在 Windows 上可以正常工作，但在 linux 上却不行。

所以主要问题是，我应该如何编写我的正则表达式以仅匹配单词边界？

第二个问题是如何让 windows 知道我想在我的 php 应用程序中使用 utf-8。

【参考方案1】：

即使在 UTF-8 模式下，\w 和 \b 等标准类速记也无法识别 Unicode。你只需要使用 Unicode 速记，就像你制定的那样，但你可以通过使用环视而不是交替来使它不那么难看：

/(?<!\pL)weiß(?!\pL)/u

还要注意我是如何将花括号从 Unicode 类简写中去掉的；当类名由单个字母组成时，您可以这样做。

【讨论】：

+1 - \w 和 \b 在最近的 PHP 版本中似乎可以正常工作，但它们绝对不是您可以依赖的东西，因为它们可能会在您部署应用程序时中断。

还要注意这里接受的答案：***.com/questions/4781898/… 如果你想使用 unicode 速记！

【参考方案2】：

猜这与 Bug #52971

有关

像\b \w 这样的PCRE-Meta-Characters 不适用于unicode 字符串。

和fixed in PHP 5.3.4

PCRE 扩展：修复了错误 #52971（PCRE-Meta-Characters 不适用于 utf-8）。

【参考方案3】：

这是我目前发现的。通过像这样重写搜索和替换模式：

$before = '(^|[^\pL])';
$after = '([^\pL]|$)';
var_dump(preg_replace('/'.$before.'weiß'.$after.'/iu', '$1weiss$2', 'weißbier'));
// Test some other cases:
var_dump(preg_replace('/'.$before.'weiß'.$after.'/iu', '$1weiss$2', 'weiß'));
var_dump(preg_replace('/'.$before.'weiß'.$after.'/iu', '$1weiss$2', 'weiß bier'));
var_dump(preg_replace('/'.$before.'weiß'.$after.'/iu', '$1weiss$2', ' weiß'));

我得到了想要的结果：

string 'weißbier' (length=9)
string 'weiss' (length=5)
string 'weiss bier' (length=10)
string ' weiss' (length=6)

在我的运行 apache 的 Windows 计算机和运行 apache 的托管 linux 网络服务器上。

我认为有更好的方法来做到这一点。

另外，我仍然想将我的 windows 计算机设置为 utf-8。

【参考方案4】：

根据this comment，这是PHP 中的一个错误。使用\W 代替\b 有什么好处吗？

【讨论】：

是的，10 年前。

是的。现在好点了吗？