python cookbook第三版学习笔记四：文本以及字符串令牌解析

Posted 2020-09-26

文本处理：

假设你存在一个目录，下面存在各种形式的文件，有txt,csv等等。如果你只想找到其中一种或多种格式的文件并打开该如何办呢。首先肯定是要找到满足条件的文件，然后进行路径合并在一一打开。

path=r‘D:\\test_source‘

filenames=os.listdir(path)

print filenames

ret=[name for name in filenames if name.endswith(‘.txt‘)]

print ret

direct_path=[os.path.join(path,r) for r in ret]

print direct_path[0]

运行结果如下：

[‘1.csv‘, ‘info.txt‘, ‘pycharm2.jpg‘]

[‘info.txt‘]

D:\\test_source\\info.txt

这个代码中listdir是列出该目录下的所有文件名称。可以看到其中有txt,csv,jpg的文件

[name for name in filenames if name.endswith(‘.txt‘)] 这个是找出其中所有txt文件。其中使用到了name.endswith，endswith的功能就是找到所有满足后缀条件的文件。

找到满足的条件后最后用[os.path.join(path,r) for r in ret] 进行路径归并。最后得到完整的满足条件的文件路径。

那么既然有判断结尾的，有没有可以判断开头的呢。Startswith这个就是判断开头的。

[name for name in filenames if name.startswith(‘1‘)]

这样就把以1开头的文件找出来了。

那么继续发散一下，假如我有如下的文件：假如我只是想以数字开头的txt文件找出来。该如何找呢

这种情况下需要用到正则表达式来进行匹配，但是endswith和startswith中并不能匹配正则表达式。下面介绍一种功能更强大的功能fnmatch.

方法如下：

可以看到fnmatch中我们用到了正则表达式的方法将以数字开头的txt文件给找出来

ret=[name for name in filenames if fnmatch(name,‘[0-9].txt‘)]

再看下面的方法：这个是匹配所有py开头的文件

ret=[name for name in filenames if fnmatch(name,‘py*‘)]

得到的结果如下：

[‘py_log.txt‘, ‘py_result.jpg‘]

如果我们有一段文本内容，在输出格式上希望改变一下。比如第一行开始空格两行，或者每行显示的字符个数。可以用textwrap来达到

如下面的例子：

textwrap.fill(s,110)是设置每行的字符个数为110个

textwrap.fill(s,80,initial_indent=‘   ‘)是设置每行个数为80个，其中首行以3个空格开头

textwrap.fill(s,80,subsequent_indent=‘ ‘) 是设置每行个数为80个，其中从第二行开始以一个空格开头

def text_wrap_try():

    s = "Look into my eyes, look into my eyes, the eyes, the eyes, \\

the eyes, not around the eyes, don‘t look around the eyes, \\

look into my eyes, you‘re under."

    print textwrap.fill(s,110)

    print ‘\\n‘

    print textwrap.fill(s,80,initial_indent=‘   ‘)

    print ‘\\n‘

    print textwrap.fill(s,80,subsequent_indent=‘ ‘)

结果如下：

字符串令牌解析：

在讲这个功能以前，首先介绍2个正则表达式的功能。第一是分组，第二个是带命名的组用法

首先看分组。下面是前面正则表达式中对于分组的定义。括号起来的表达式被一个个的分组

?

看下面的代码，字符串是<h1 class="h1user">crifan</h1>。然后(\\S+)和(.+?)是其中2个分组匹配

def re_group():

    s=‘<h1 class="h1user">crifan</h1>‘

    pattern=re.compile(r‘<(\\S+) class="h1user">(.+?)<\\/h1>‘)

    print pattern.search(s).group(0)

    print pattern.search(s).group(1)

    print pattern.search(s).group(2)

运行结果如下：可以看到group(0)输出的是整个匹配的字符串。group(1)输出的是h1也就是对应的(\\S+)，group(2)输出的是crifan，也就是对应的(.+?)

Group1其实对应的是网页代码的tag，group2其实对应的是网页代码的内容。通过索引值来查找对应的值不是很直观。我们能给每个分组起一个名字吗？这样通过名字来找到对应值，就好比字典的功能一样。有的，我们用如下的正则表达式。

代码改成如下：

def re_group():

    s=‘<h1 class="h1user">crifan</h1>‘

    pattern=re.compile(r‘<(?P<tag>\\S+) class="h1user">(?P<text>.+?)<\\/h1>‘)

    print pattern.search(s).group(0)

    print pattern.search(s).group(‘tag‘)

    print pattern.search(s).group(‘text‘)

(\\S+)和(.+?)被改成了(?P<tag>\\S+)以及(?P<text>.+?)。这里解释下?P<tagname>的意义，其实意义上面的说明一目了然，就是给这个分组起了个别名，那么在查找这个分组的时候可以不用索引，直接用这个别名就可以了。上面2个分组分别用了tag和text作为别名。那么在打印分组内容就可以直接使用别名，而不是索引，这样就方便多了。这里引申一下，我们再来看一个这类的高级用法。看下面的字符串，其中我们如果想匹配python study的话，后面内容中也有python study的字段。我们是否可以直接引用前面的匹配分组呢

s1=‘<a href="/tag/python study/">python study</a>‘

代码如下：可以使用(?P=tagname) 就直接使用了之前的tag

pattern1=re.compile(r‘<a href="/tag/(?P<tagname>.+?)/">(?P=tagname)<\\/a>‘)

介绍完这2个功能后，我们在来看令牌的功能：

假设我们有一个如下字符串：

text = ‘foo = 23 + 42 * 10‘

我们想得到如下的结果，也就是将各个表达式分解出来，比如等号，加号以及数值

tokens = [(‘NAME‘, ‘foo‘), (‘EQ‘,‘=‘), (‘NUM‘, ‘23‘), (‘PLUS‘,‘+‘),

(‘NUM‘, ‘42‘), (‘TIMES‘, ‘*‘), (‘NUM‘, 10‘)]

我们尝试的代码如下

def pattern_try():

/*首先定义各个匹配模式*/

    NAME = r‘(?P<NAME>[a-zA-Z_][a-zA-Z_0-9]*)‘

    NUM = r‘(?P<NUM>\\d+)‘

    PLUS = r‘(?P<PLUS>\\+)‘

    TIMES = r‘(?P<TIMES>\\*)‘

    EQ = r‘(?P<EQ>=)‘

    WS = r‘(?P<WS>\\s+)‘

/*然后汇总所有的正则表达式*/

    master_pat = re.compile(‘|‘.join([NAME, NUM, PLUS, TIMES, EQ, WS]))

/*使用scanner进行字符串扫描*/

    scanner = master_pat.scanner(‘foo = 23 + 42 * 10‘)

    first=scanner.match()

    print first.lastgroup,first.group()

    first=scanner.match()

    print first.lastgroup,first.group()

    first=scanner.match()

    print first.lastgroup,first.group()

    first=scanner.match()

    print first.lastgroup,first.group()

得到结果如下：可以看到每次match执行后，都能找到对应的匹配。Lastgroup输出了匹配到的字符别名，group()则是匹配到的具体字符。从上面可以看到scanner是一个可迭代的对象

E:\\python2.7.11\\python.exe E:/py_prj/python_cookbook.py

NAME foo

WS  

EQ =

WS  

可以优化下代码：

for m in iter(scanner.match,None):

    print m.lastgroup,m.group()

得到的输出如下：

E:\\python2.7.11\\python.exe E:/py_prj/python_cookbook.py

NAME foo

WS  

EQ =

WS  

NUM 23

WS  

PLUS +

WS  

NUM 42

WS  

TIMES *

WS  

NUM 10