使用 UTF-8 在非 ASCII 字符上运行 Ascii 正则表达式
Posted
技术标签:
【中文标题】使用 UTF-8 在非 ASCII 字符上运行 Ascii 正则表达式【英文标题】:Running Ascii regex over non-ASCII characters with UTF-8 【发布时间】:2016-10-02 15:24:18 【问题描述】:#include <boost/regex.hpp>
#include <string>
#include <vector>
#include <iostream>
int main(int argc, char* argv[])
std::string text = argv[1];
std::string patterns = argv[2];
boost::regex regex = boost::regex(patterns);
boost::smatch match;
std::cout << boost::regex_search(text, match, regex) << std::endl;
如果我在输入 hello¿ ¿
(包含一个非 ASCII 字符和 UTF-8 编码)上运行程序,它会返回 0
即未找到,但如果我在输入上运行它 hel√ √(再次包含非ASCII)它返回1,即找到。
我的问题:boost::regex
(即 ascii 版本)在运行 utf 字符时的预期行为是什么?
编辑:感谢所有 cmets,我仍然对为什么输出 1 很感兴趣,因为文本和正则表达式都包含非 ascii 字符。我的猜测是字节被解释为 ascii,因此它们匹配。
【问题讨论】:
你的patterns
是什么?
@Wiktor Stribiżew 第二个参数,即¿ √
这两个都在我的系统上打印 1,这当然是我所期望的。 (我使用 UTF-8 语言环境,因此字符应该逐字传递给程序。)
感谢所有 cmets,我仍然对为什么输出 1 很感兴趣,因为文本和正则表达式都包含非 ascii 字符。我的猜测是字节被解释为 ascii,因此它们匹配......
@user695652 你猜对了。例如√
的UTF8编码为E2 88 9A
,在Latin-1中被解释为√
。这里有趣的问题是为什么你得到一个¿
的0
,因为它是C2 BF
,解释为¿
。你能分享一些关于你的系统的细节,以及你是如何调用命令的(即你是如何准确传递参数的)?
【参考方案1】:
在 ASCII 字符串上使用正则表达式,是关于使用“字节”在其中查找模式。 在 UTF-8 字符串上使用正则表达式是关于在“多字节”序列上使用正则表达式,其中一个序列表示一个 Unicode 代码点。 因此,正则表达式适用于 Unicode 字符串,其编码具有每个字符的可变字节数。 UTF-8 字符串包含 1 到 4 个字节的多字节序列,代表一个 Unicode“字符”。 在 UTF-8 中,只有 ASCII 7 位字符是 1 个字节的“宽”。 所以 - 在 UTF-8 编码字符串上使用 ASCII 正则表达式引擎,忽略 UTF-8 编码字符串中的多字节序列,并导致模式匹配字节字节。此 ASCII 正则表达式引擎对 UTF-8 编码字符串的使用结果无效。 请看http://utfcpp.sourceforge.net。 要使正则表达式适用于 UTF-8 编码的字符串,您必须……
具有可用于正则表达式的 UTF-8 字符串迭代器,或者 使用std::codecvt_utf8
结合临时设置全局语言环境以使正则表达式正常工作,或者
必须将 UTF-8 编码字符串转换为 UTF-16 编码字符串,以便与 Unicode 正则表达式引擎一起使用 - 基于 std::wstring。
regex_search 函数在匹配时返回布尔值和 true
。
在您的情况下,ASCII 正则表达式模式匹配 UTF-8 编码字符串的一部分,该字符串被无效地解析为 ASCII 字符串 - 正如您所假设的那样!
如果 UTF-8 编码字符串中有英文文本,则可以安全地使用 ASCII 正则表达式引擎。离开 ASCII 7 位范围,会使 ASCII 正则表达式引擎的结果不可靠。
【讨论】:
【参考方案2】:这是一个错误而不是一个功能: 我在一个更好的系统上尝试了你的例子(Windows MinGW 上的 g++ 4.9.2),一切都很好:
#include <iostream>
#include <string>
#include <regex>
int main()
std::string text ="hello¿"; // or "hello√"
std::string patterns ="¿"; // or "√"
std::regex regex = std::regex(patterns);
std::smatch match;
std::cout << std::regex_search(text, match, regex) << std::endl;
有输出:
1
【讨论】:
问题:您的源代码是否编译为 UTF-8 编码的源代码?由于我没有看到标记为 UTF-8 (u8"...") 的“文本”的内容。如果是这样,ASCI RE 引擎将模式中的两个字节(0xC2 0xBF)与变量“text”中的“倒置问号”BYTES 匹配。如果不是,则 ASCII RE 引擎匹配变量“text”内容中的 ASCII 字符 0xBF。两种变体都不会在变量“text”的内容中使用 Unicode 代码点 \u00BF!是的 - ASCII RE 引擎声称成功地搜索了模式,但没有搜索到正确的东西! @Martin:是的,我用的是eclipse,源码是UTF-8编码的。以上是关于使用 UTF-8 在非 ASCII 字符上运行 Ascii 正则表达式的主要内容,如果未能解决你的问题,请参考以下文章
字符编码简介:ASCII,Unicode,UTF-8,GB2312及Unicode和UTF-8如何转化