如何对包含数字和特殊字符的字符串进行词法化？

Posted 2023-01-16

我需要对包含数字和字母数字字符的字符串进行词法修饰。示例：

'strawberries1234!@ apples123@'

我还需要保留那些特殊字符和数字。因此，上述示例的输出为，

'strawberry1234!@ apple123@'

我需要在大型数据集上执行此操作，因此代码需要尽可能高效。

谢谢。

答案

严重的是，这似乎很简单，不需要进一步详细说明任务。使用正则表达式可以删除所有基于字符的特殊字符序列，这意味着您不仅可以简单地sub（）它们，还可以找到索引。使用索引提取剩余的字符串，这将是残留的英语单词。对此进行词形化（词形化是删除英语后缀的过程，这意味着要删除字符串右端的字符串元素。（在其他语言中，您可能会使用encouter中缀（xx-y-xx）和环词修饰（y1- xx-y2），这可能需要更复杂的字符串操作）。此后，只需再次将子字符串与特殊字符连接在一起，结果就得到了词法定理。