带有 char16_t 或 char32_t 的 Visual Studio C++ 2015 std::codecvt

Posted

技术标签:

【中文标题】带有 char16_t 或 char32_t 的 Visual Studio C++ 2015 std::codecvt【英文标题】:Visual Studio C++ 2015 std::codecvt with char16_t or char32_t 【发布时间】:2015-08-17 16:29:29 【问题描述】:

这段代码在VS2013下编译OK:

std::string Unicode::utf16_to_utf8(std::u16string utf16_string)

    std::wstring_convert<std::codecvt_utf8_utf16<char16_t>, char16_t> convert;
    return convert.to_bytes(utf16_string);

现在有了 VS2015,我得到:

1>unicode.obj : error LNK2001: unresolved external symbol "__declspec(dllimport) public: static class std::locale::id std::codecvt<char16_t,char,struct _Mbstatet>::id" (__imp_?id@?$codecvt@_SDU_Mbstatet@@@std@@2V0locale@2@A)

【问题讨论】:

connect.microsoft.com/VisualStudio/feedback/details/1403302/… 是的,我已经用谷歌搜索过了,有什么解决方案吗? 您找到解决方案或变通方法了吗? 【参考方案1】:

老问题,但供将来参考:这是 Visual Studio 2015 中的一个已知错误,如 MSDN Social 的 this thread 的最新帖子(2016 年 1 月 7 日)中所述。

您的示例的解决方法如下所示(为简单起见,我将您的方法实现为免费函数):

#include <codecvt>
#include <locale>
#include <string>
#include <iostream>

#if _MSC_VER >= 1900

std::string utf16_to_utf8(std::u16string utf16_string)

    std::wstring_convert<std::codecvt_utf8_utf16<int16_t>, int16_t> convert;
    auto p = reinterpret_cast<const int16_t *>(utf16_string.data());
    return convert.to_bytes(p, p + utf16_string.size());


#else

std::string utf16_to_utf8(std::u16string utf16_string)

    std::wstring_convert<std::codecvt_utf8_utf16<char16_t>, char16_t> convert;
    return convert.to_bytes(utf16_string);


#endif

int main()

    std::cout << utf16_to_utf8(u"Élémentaire, mon cher Watson!") << std::endl;

    return 0;

希望这个问题会在未来的版本中得到解决,否则#if 条件将需要改进。 更新:不,在 VS 2017 中未修复。因此,我已将预处理器条件更新为 &gt;= 1900(最初是 == 1900)。

【讨论】:

嗯,M$ 开发人员的这种方法令人沮丧...想象一下,您有大量代码需要以这种方式重写... 这对我有用。反方向呢?如果我执行 auto p = reinterpret_cast(utf8_string.data());和 convert.from_bytes(p) 相反,我得到“没有合适的用户定义转换从“std::basic_string,std::allocator>”到“std:: u16string"存在" 找到了一个类似的解决方案,但在 antlr 修复中却相反。但由于两次转换不是最佳的:github.com/antlr/antlr4/commit/… 在 VS 2019 Preview 中仍未修复。【参考方案2】:

在 cpp 文件中定义缺少的符号。

// Apparently Microsoft forgot to define a symbol for codecvt.
// Works with /MT only
#include <locale>

#if (!_DLL) && (_MSC_VER >= 1900 /* VS 2015*/) && (_MSC_VER <= 1911 /* VS 2017 */)
std::locale::id std::codecvt<char16_t, char, _Mbstatet>::id;
#endif

【讨论】:

VS2017: 错误 C2491: 'std::codecvt::id': 不允许定义 dllimport 静态数据成员 确实它不能用 /MD 编译,因为外部 DLL 无法知道/使用我们的定义。它确实适用于 /MT。所以这只是解决方法的一半:-)【参考方案3】:

这在 VS2017 中对我有用:

std::wstring utf8_to_utf16(std::string utf8_string)

   return std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>, wchar_t>.from_bytes(utf8_string);


std::string utf16_to_utf8(std::wstring utf16_string)

    return std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>, wchar_t>.to_bytes(utf16_string);

【讨论】:

【参考方案4】:

另一个可能的解决方法是为 wstring_convert 使用默认的第二个模板参数 (wchar_t)。它适用于“MS Visual Studio 2015 update 3”。请注意,它不是独立于平台的解决方案。仅限 Windows。

std::string utf16_to_utf8(std::u16string u16_string)

    std::wstring wide_string(u16_string.begin(), u16_string.end());
    std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>> convert;
    return convert.to_bytes(wide_string);

【讨论】:

以上是关于带有 char16_t 或 char32_t 的 Visual Studio C++ 2015 std::codecvt的主要内容,如果未能解决你的问题,请参考以下文章

PInvoke 使用 wchar16_t 参数调用函数

C ++ 0x中char和Unicode的签名

C++0x 中 char 和 Unicode 的签名

wchar_t 和 char16_t 在 Windows 上是一样的吗?

从 c++ 中用 cppyy 读取 char16_t* 字符串

如何将 uint32_t 数字移动到 char[]?