mysql 正则表达式查询匹配某个词

Posted 2023-05-13

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了mysql 正则表达式查询匹配某个词相关的知识，希望对你有一定的参考价值。

Regex “[\w?]*word[\w?]*”

\w是匹配[a-zA-Z0-9] . ? 匹配一个或者0个前面的字符，* 匹配前面0个或者多个字符。

所以这个正则表达式匹配前面具有数字或者字母开头的，中间为word，后面为数字或者字母结尾的字符串。开头和结尾不能同时出现字母和数字。

以下几个例子可匹配：
11111111111wordcccccccccccccccccc
aaaaaaaaaaawordxxxxxxxxxxxxxxxxxx 参考技术A

mysql 一直以来都支持正则匹配，不过对于正则替换则一直到MySQL 8.0 才支持。对于这类场景，以前要么在MySQL端处理，要么把数据拿出来在应用端处理。

比如我想把表y1的列str1的出现第3个action的子串替换成dble，怎么实现？

1. 自己写SQL层的存储函数。代码如下写死了3个，没有优化，仅仅作为演示，MySQL 里非常不建议写这样的函数。

mysql

DELIMITER $$

USE `ytt`$$

DROP FUNCTION IF EXISTS `func_instr_simple_ytt`$$

CREATE DEFINER=`root`@`localhost` FUNCTION `func_instr_simple_ytt`(

f_str VARCHAR(1000), -- Parameter 1

f_substr VARCHAR(100), -- Parameter 2

f_replace_str varchar(100),

f_times int -- times counter.only support 3.

) RETURNS varchar(1000)

BEGIN

declare v_result varchar(1000) default 'ytt'; -- result.

declare v_substr_len int default 0; -- search string length.

set f_times = 3; -- only support 3.

set v_substr_len = length(f_substr);

select instr(f_str,f_substr) into @p1; -- First real position .

select instr(substr(f_str,@p1+v_substr_len),f_substr) into @p2; Secondary virtual position.

select instr(substr(f_str,@p2+ @p1 +2*v_substr_len - 1),f_substr) into @p3; -- Third virtual position.

if @p1 > 0 && @p2 > 0 && @p3 > 0 then -- Fine.

select

concat(substr(f_str,1,@p1 + @p2 + @p3 + (f_times - 1) * v_substr_len - f_times)

,f_replace_str,

substr(f_str,@p1 + @p2 + @p3 + f_times * v_substr_len-2)) into v_result;

else

set v_result = f_str; -- Never changed.

end if;

-- Purge all session variables.

set @p1 = null;

set @p2 = null;

set @p3 = null;

return v_result;

end;

DELIMITER ;

-- 调用函数来更新：

mysql> update y1 set str1 = func_instr_simple_ytt(str1,'action','dble',3);

Query OK, 20 rows affected (0.12 sec)

Rows matched: 20 Changed: 20 Warnings: 0

2. 导出来用sed之类的工具替换掉在导入，步骤如下：（推荐使用）

1）导出表y1的记录。

mysqlmysql> select * from y1 into outfile '/var/lib/mysql-files/y1.csv';Query OK, 20 rows affected (0.00 sec)

2）用sed替换导出来的数据。

shellroot@ytt-Aspire-V5-471G:/var/lib/mysql-files# sed -i 's/action/dble/3' y1.csv

3）再次导入处理好的数据，完成。

mysql

mysql> truncate y1;

Query OK, 0 rows affected (0.99 sec)

mysql> load data infile '/var/lib/mysql-files/y1.csv' into table y1;

Query OK, 20 rows affected (0.14 sec)

Records: 20 Deleted: 0 Skipped: 0 Warnings: 0

以上两种还是推荐导出来处理好了再重新导入，性能来的高些，而且还不用自己费劲写函数代码。

那MySQL 8.0 对于以上的场景实现就非常简单了，一个函数就搞定了。

mysqlmysql> update y1 set str1 = regexp_replace(str1,'action','dble',1,3) ;Query OK, 20 rows affected (0.13 sec)Rows matched: 20 Changed: 20 Warnings: 0

还有一个regexp_instr 也非常有用，特别是这种特指出现第几次的场景。比如定义 SESSION 变量@a。

mysqlmysql> set @a = 'aa bb cc ee fi lucy 1 1 1 b s 2 3 4 5 2 3 5 561 19 10 10 20 30 10 40';Query OK, 0 rows affected (0.04 sec)

拿到至少两次的数字出现的第二次子串的位置。

mysqlmysql> select regexp_instr(@a,'[:digit:]2,',1,2);+--------------------------------------+| regexp_instr(@a,'[:digit:]2,',1,2) |+--------------------------------------+| 50 |+--------------------------------------+1 row in set (0.00 sec)

那我们在看看对多字节字符支持如何。

mysql

mysql> set @a = '中国美国俄罗斯日本中国北京上海深圳广州北京上海武汉东莞北京青岛北京';

Query OK, 0 rows affected (0.00 sec)

mysql> select regexp_instr(@a,'北京',1,1);

+-------------------------------+

| regexp_instr(@a,'北京',1,1) |

+-------------------------------+

| 17 |

+-------------------------------+

1 row in set (0.00 sec)

mysql> select regexp_instr(@a,'北京',1,2);

+-------------------------------+

| regexp_instr(@a,'北京',1,2) |

+-------------------------------+

| 29 |

+-------------------------------+

1 row in set (0.00 sec)

mysql> select regexp_instr(@a,'北京',1,3);

+-------------------------------+

| regexp_instr(@a,'北京',1,3) |

+-------------------------------+

| 41 |

+-------------------------------+

1 row in set (0.00 sec)

那总结下，这里我提到了 MySQL 8.0 的两个最有用的正则匹配函数 regexp_replace 和 regexp_instr。针对以前类似的场景算是有一个完美的解决方案。

正则表达式匹配 MySQL 注释

【中文标题】正则表达式匹配 MySQL 注释【英文标题】：Regex to match MySQL comments 【发布时间】：2011-10-29 07:57:36 【问题描述】：

我需要从 MySQL 查询中查找并删除所有 cmets。我遇到的问题是避免使用引号或反引号内的注释标记（--、#、/* ... */）。

【问题讨论】：

查找很容易。对删除进行手动编辑。其他任何内容都可能会破坏您的查询字符串。 regex 的语法略有不同，具体取决于您使用它的用途。您在 javascript、php、asp 中执行此操作？你能举个例子吗？ 【参考方案1】：

此代码适用于我：

function strip_sqlcomment ($string = '') 
    $RXSQLComments = '@('(''|[^'])*')|(--[^\r\n]*)|(\#[^\r\n]*)|(/\*[\w\W]*?(?=\*/)\*/)@ms';
    return (($string == '') ?  '' : preg_replace( $RXSQLComments, '', $string ));

只要稍微调整一下正则表达式，它就可以用来剥离任何语言的 cmets

【讨论】：

【参考方案2】：

不幸的是，您只能使用正则表达式进行非常有限的 SQL 格式化。主要原因是有例如您不想删除的 cmets 或不能小写/大写的标记，因为它们是文字的一部分，并且由于不同的 SQL 方言使用不同的封闭字符，有时甚至使用不同的 SQL 方言，因此并不总是容易找到文字的开头和结尾几个字符来包围文字。有时人们会将 SQL 片段放在注释中以供以后重用。您不想重新格式化这些 SQL。当您使用正则表达式更改 SQL 语句时，在您的 DB 工具中再次运行更改后的 SQL，以确保您没有对逻辑进行任何更改。我听说有人在不检查结果的情况下对数百个 SQL 文件运行正则表达式。我认为这是非常危险的一步。永远不要更改正在运行的 SQL ;-)

【讨论】：

【参考方案3】：

在 PHP 中，我使用此代码取消注释 SQL：

$sqlComments = '@(([\'"`]).*?[^\\\]\2)|((?:\#|--).*?$|/\*(?:[^/*]|/(?!\*)|\*(?!/)|(?R))*\*\/)\s*|(?<=;)\s+@ms';
/* Commented version
$sqlComments = '@
    (([\'"`]).*?[^\\\]\2) # $1 : Skip single & double quoted + backticked expressions
    |(                   # $3 : Match comments
        (?:\#|--).*?$    # - Single line comments
        |                # - Multi line (nested) comments
         /\*             #   . comment open marker
            (?: [^/*]    #   . non comment-marker characters
                |/(?!\*) #   . ! not a comment open
                |\*(?!/) #   . ! not a comment close
                |(?R)    #   . recursive case
            )*           #   . repeat eventually
        \*\/             #   . comment close marker
    )\s*                 # Trim after comments
    |(?<=;)\s+           # Trim after semi-colon
    @msx';
*/
$uncommentedSQL = trim( preg_replace( $sqlComments, '$1', $sql ) );
preg_match_all( $sqlComments, $sql, $comments );
$extractedComments = array_filter( $comments[ 3 ] );
var_dump( $uncommentedSQL, $extractedComments );

【讨论】：

【参考方案4】：

不幸的是，您要执行的操作需要上下文无关的语法，而不能使用正则表达式来完成。这是因为嵌套，在计算机科学理论中，我们需要一个堆栈来跟踪您何时嵌套在引号或其他内容中。（从技术上讲，这需要下推自动机而不是常规语言。等等等等学术界等等......）这并不难实现，但必须通过程序来完成，老实说，它可能需要比你想要的更多的努力花费。

如果你不介意剪切和粘贴，可以使用SQLInform。在线模式免费，支持评论删除。

更新

考虑到我在下面收到的评论，我使用了 MySQL 编辑器。我错了——他们实际上禁止嵌套任何比一层更深的东西。您不能再在评论中嵌套评论（如果可以的话）。无论如何，我将只为 SQLInform 链接留下我的答案。

【讨论】：

考虑：' /* hello world */ ' 或 ' --i; '。这些 cmets（或第二种情况下的一元运算符）嵌套在引号内，很可能不是用户想要剥离的东西。【参考方案5】：

有人为你写的。转换为您需要的任何语言。

Use Regular Expressions to Clean SQL Statements

这是答案中包含的 C# 翻译，以防原始链接消失。我还没有测试过，但它看起来不错。

public static string ToRaw(string commandText)

    RegexOptions regExOptions = (RegexOptions.IgnoreCase | RegexOptions.Multiline);
    string rawText=commandText;
    string regExText = @”(‘(”|[^'])*’)|([\r|\n][\s| ]*[\r|\n])|(–[^\r\n]*)|(/\*[\w\W]*?(?=\*/)\*/)”;
    //string regExText = @”(‘(”|[^'])*’)|[\t\r\n]|(–[^\r\n]*)|(/\*[\w\W]*?(?=\*/)\*/)”;
    //’Replace Tab, Carriage Return, Line Feed, Single-row Comments and
    //’Multi-row Comments with a space when not included inside a text block.

    MatchCollection patternMatchList = Regex.Matches(rawText, regExText, regExOptions);
    int iSkipLength = 0;
    for (int patternIndex = 0; patternIndex < patternMatchList.Count; patternIndex++)
    
        if (!patternMatchList[patternIndex].Value.StartsWith("'") && !patternMatchList[patternIndex].Value.EndsWith("'"))
        
            rawText = rawText.Substring(0, patternMatchList[patternIndex].Index – iSkipLength) + " " + rawText.Substring(patternMatchList[patternIndex].Index – iSkipLength + patternMatchList[patternIndex].Length);
            iSkipLength += (patternMatchList[patternIndex].Length – " ".Length);
        
    
    //'Remove extra spacing that is not contained inside text qualifers.
    patternMatchList = Regex.Matches(rawText, "'([^']|'')*'|[ ]2,", regExOptions);
    iSkipLength = 0;
    for (int patternIndex = 0; patternIndex < patternMatchList.Count; patternIndex++)
    
        if (!patternMatchList[patternIndex].Value.StartsWith("'") && !patternMatchList[patternIndex].Value.EndsWith("'"))
        
            rawText = rawText.Substring(0, patternMatchList[patternIndex].Index – iSkipLength)+" " + rawText.Substring(patternMatchList[patternIndex].Index – iSkipLength + patternMatchList[patternIndex].Length);
            iSkipLength += (patternMatchList[patternIndex].Length – " ".Length);
        
    
    //'Return value without leading and trailing spaces.
    return rawText.Trim();

【讨论】：

以上是关于mysql 正则表达式查询匹配某个词的主要内容，如果未能解决你的问题，请参考以下文章

elasticsearch通配符和正则表达式查询

mysql 正则表达式 查询匹配 某个词

正则表达式匹配 MySQL 注释

mysql 正则表达式查询匹配某个词