用python编写一个高效搜索代码工具

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了用python编写一个高效搜索代码工具相关的知识,希望对你有一定的参考价值。

用python编写一个高效搜索代码工具
大多码农在linux环境下使用grep+关键词的命令搜索自己想要的代码或者log文件。今天介绍用python如何编写一个更强大的搜索工具,windows下也适用。
我们的需求:
1, 可以同时指定多个关键词。比如某个文件某一行中有”error: aa bb cc”,如果检索关键词error和cc则可以显示该行,避免单一关键词冗余信息太多
2, 可以排除某些关键词。对于”error: aa bb cc” ,如果设定排除bb,则不予显示该行
3, 可以指定某些文件名或者文件名后缀,如只搜索 .cpp和 .h 的文件
4, 可以排除某些文件名或者后缀,比如排除 .log 和 .bak
5, 最重要一点,和grep一样,必须能够递归查找,只要指定一个目录,则自动逐层搜索该目录下所有的子文件夹,文件
6, 最后能打印出吻合的文件完整路径,能显示搜索到的行号

为了实现以上功能,我们需要用到python自带的os库函数,功能强大,先把用到的几个先做简单说明:
os.path.exists ( xxx ) 判断路径xxx是否存在
os.listdir ( xxx ) 把xxx路径下所有文件和文件夹名字转换成一个list列表
os.path.join ( aaa, bbb ) 把字符串aaa和bbb拼接成一个完整的文件绝对路径
os.path.isfile (xxx) 判断xxx是不是一个文件
os.path.isdir (xxx) 判断xxx是不是一个文件夹

以下是代码正文

-- coding: cp936 --

#代码准备工作
#由于需要获得文件的路径,所以要加载 os和system库
import os
import sys

#设定两个检索关键词keyword error和cc
keyword1 = ‘error‘
keyword2 = ‘cc‘

#设定一个排除的exclude_word bb
exclude_word = ‘bb‘

#设定一组指定的文件名,使用list结构以便动态扩展
file_name_list = [ ‘.sv‘, ‘.v‘, ‘.cpp‘, ‘.h‘]

#设定不参与检索的文件名,也使用list结构
exclude_file_name_list = [ ‘.bak ‘ ]

#指定一个search_path路径,把字符串留空,只初始化,为了实现在konsole界面实时捕捉当前路径
search_path = ‘ ‘

#准备工作完毕

#下面创建一个my_search函数,目的是为了实现递归查找子文件夹
#如果只需要查找当前目录层次的文件,则可以不使用函数
#传入参数为当前路径,为了实现递归查找子文件夹
def my_search ( search_path ):

#防错机制,判断当前路径是否存在
if  os.path.exists( search_path ) :

    #获得路径下所有文件文件夹的名字,并for循环遍历
    for  my_filename  in  os.listdir ( search_path ):

        #把当前路径和文件名拼接成完整绝对路径
        full_filepath = os.path.join ( search_path,  my_filename )

        #判断拼接出的完整路径是文件还是文件夹
        if os.path.isfile (full_filepath):

            #如果是文件,则对file_name_list中期望的文件名进行遍历
            for my_extend in file_name_list :

                #判断.cpp .sv等在文件名中
                if my_extend in my_filename : 
                    flag = True

                    #对exclude_file_name_list中不希望的文件名进行遍历
                    for my_exclude in exclude_file_name_list :
                        #若文件名有.bak就剔除
                        if my_exclude in my_filename: 
                            flag =  False

                    if flag: #文件名匹配已经命中
                        i = 0 #i作为文件行号

                        #逐行读取文件,碰到特大文件就不会卡死程序
                        for line in open ( full_filepath ) : 
                            i=i+1 #每次读一行,i+1

                            #判断关键字1和2(error, cc)在该行中,并且exclude_word(bb)不在该行
                            if (keyword1 in line) and (keyword2 in line) and (exclude_word not in line):

                                #满足检索条件,打印文件完整路径,行号
                                print full_filepath , ‘line‘,i,‘:‘ 
                                print line #打印该行

        #当前完整路径不是文件,而是文件夹
        if os.path.isdir (full_filepath) :

            #执行函数递归,继续到下一层文件夹目录查找,直到底层文件
            my_search(full_filepath)  

else : #防错机制,当前路径不存在,则报错
    print search_path, ‘path not exist!‘

#这里相当于C语言主函数,程序从这里开始执行

search_path = os.getcwd () #从konsole获得当前路径,设为搜索路径
print search_path
my_search (search_path) #调用函数开始搜索

以上是关于用python编写一个高效搜索代码工具的主要内容,如果未能解决你的问题,请参考以下文章

Qt编写Onvif搜索及云台控制工具

无需编写代码,用接口管理工具 eoLinker 高效完成API测试流程相关业务

使用 Python 代码片段编写 LaTeX 文档

Python之利用Whoosh搭建轻量级搜索

python代码补全工具Kite

PHP必用代码片段