python中常用模块详解二

Posted 2020-10-28 zjcode

log模块的讲解

 

 1 Python 使用logging模块记录日志涉及四个主要类，使用官方文档中的概括最为合适：
 2 
 3 logger提供了应用程序可以直接使用的接口API；
 4 handler将(logger创建的)日志记录发送到合适的目的输出；
 5 formatter决定日志记录的最终输出格式
 6 filter提供了细度设备来决定输出哪条日志记录；
 7 
 8 logger
 9 每个程序在输出信息之前都要获得一个Logger。Logger通常对应了程序的模块名，
10 比如聊天工具的图形界面模块可以这样获得它的Logger：LOG=logging.getLogger(”chat.gui”)
11 
12 还可以绑定handler和filters
13 Logger.setLevel(lel):指定最低的日志级别，低于lel的级别将被忽略。debug是最低的内置级别，critical为最高
14 Logger.addFilter(filt)、Logger.removeFilter(filt):添加或删除指定的filter
15 Logger.addHandler(hdlr)、Logger.removeHandler(hdlr)：增加或删除指定的handler
16 每个Logger可以附加多个Handler。接下来我们就来介绍一些常用的Handler：
17 logging.StreamHandler 使用这个Handler可以向类似与sys.stdout或者sys.stderr的任何文件对象(file object)输出信息。
18 logging.FileHandler 和StreamHandler 类似，用于向一个文件输出日志信息。不过FileHandler会帮你打开这个文件
19 logging.handlers.RotatingFileHandler
20 这个Handler类似于上面的FileHandler，但是它可以管理文件大小。
21 当文件达到一定大小之后，它会自动将当前日志文件改名，然后创建 一个新的同名日志文件继续输出。
22 比如日志文件是chat.log。当chat.log达到指定的大小之后，
23 RotatingFileHandler自动把 文件改名为chat.log.1。
24 不过，如果chat.log.1已经存在，会先把chat.log.1重命名为chat.log.2。。。
25 最后重新创建 chat.log，继续输出日志信息。
26 函数格式： RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])  maxBytes最大长度 backupCount保留的文件个数
27 logging.handlers.TimedRotatingFileHandler
28 这个Handler和RotatingFileHandler类似，不过，它没有通过判断文件大小来决定何时重新创建日志文件，
29 而是间隔一定时间就 自动创建新的日志文件。重命名的过程与RotatingFileHandler类似，
30 不过新的文件不是附加数字，而是当前时间。
31 它的函数是：TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
32                                         when=“S” 秒计算 interveal间隔 backupCount保留的文件个数
33 S 秒   M 分   H 小时   D天   W  每星期（interval==0时代表星期一）midnight 每天凌晨
34 formatter 组件
35 日志的formatter是个独立的组件，可以跟handler组合
36 fh = logging.FileHandler("access.log")
37 formatter = logging.Formatter(‘%(asctime)s - %(name)s - %(levelname)s - %(message)s‘)
38 fh.setFormatter(formatter) #把formmater绑定到fh上
39 如果你想对日志内容进行过滤，就可自定义一个filter
40 class IgnoreBackupLogFilter(logging.Filter):
41     """忽略带db backup 的日志"""
42     def filter(self, record): #固定写法
43         return   "db backup" not in record.getMessage()
44 
45 # 注意filter函数会返加True or False，logger根据此值决定是否输出此日志
46 
47 # 然后把这个filter添加到logger中
48 # logger.addFilter(IgnoreBackupLogFilter())

说明解析 

　

import logging
from logging import handlers

# 设置一个输出到屏幕上的handler
log_p_handler = logging.StreamHandler()
# 定义一个输入文件的handler
log_f_handler = logging.FileHandler("xx.log", encoding="utf8")
# 这个是那日志截断的例子，按照长度截断
log_f_handler_1 = handlers.RotatingFileHandler("xxx.log", maxBytes=10, backupCount=2, encoding="utf8")
log_f_handler_1.setLevel(logging.WARNING)
log_f_handler.setLevel(logging.WARNING)  # 给出入到文件的handler定义一个日志级别
log_p_handler.setLevel(logging.INFO)  # 给出入到屏幕的handler定义一个日志级别
fm_p = logging.Formatter("%(asctime)s-%(levelname)s->%(message)s", datefmt="%Y-%m-%d %I:%M:%S")  # 定义两个格式
fm_f = logging.Formatter("%(asctime)s-%(filename)s-%(levelname)s->%(message)s", datefmt="%Y-%m-%d %I:%M:%S")
# 把格式分别加到 对用的handler中
log_f_handler.setFormatter(fm_f)
log_f_handler_1.setFormatter(fm_f)
log_p_handler.setFormatter(fm_p)
log = logging.getLogger("test")  # 生成一个log接口
# 将自己定义的handler 加到log中
log.addHandler(log_p_handler)
log.addHandler(log_f_handler)
log.addHandler(log_f_handler_1)
# 设置log全局的日志级别  如果不设置  则默认WARNING级别
log.setLevel(logging.INFO)
log.info("info log")
log.warning("warn log")
log.debug("debug log")

　　

subproess模块提供统一的模块来实现对系统命令或脚本的调用

# 三种执行命令的方法
# subprocess.run(*popenargs, input=None, timeout=None, check=False, **kwargs) #官方推荐
# subprocess.call(*popenargs, timeout=None, **kwargs) #跟上面实现的内容差不多，另一种写法
# #subprocess.Popen() #上面各种方法的底层封装
# run的标准写法
import subprocess

subprocess.run([‘df‘, ‘-h‘], stderr=subprocess.PIPE, stdout=subprocess.PIPE, check=True)
# 参数解析：[‘df‘,‘-h‘] 列表 执行命令 subprocess 会拼接起来  stdout 标准输出=PIPE管道符 check  检查TRUE则报错
# 此外还可以跟shell=TRUE  这样就可以直接写命令 ：
subprocess.run(‘df -h|grep disk1‘, shell=True)  # shell=True的意思是这条命令直接交给系统去执行，不需要python负责解析
# 执行命令，返回命令执行状态 ， 0 or 非0
retcode = subprocess.call(["ls", "-l"])
# 执行命令，如果命令结果为0，就正常返回，否则抛异常
subprocess.check_call(["ls", "-l"])
# 0
# 接收字符串格式命令，返回元组形式，第1个元素是执行状态，第2个是命令结果
subprocess.getstatusoutput(‘ls /bin/ls‘)
# (0, ‘/bin/ls‘)
# 接收字符串格式命令，并返回结果
subprocess.getoutput(‘ls /bin/ls‘)
# ‘/bin/ls‘
# 执行命令，并返回结果，注意是返回结果，不是打印，下例结果返回给res
res = subprocess.check_output([‘ls‘, ‘-l‘])
# res= b‘total 0\ndrwxr-xr-x 12 alex staff 408 Nov 2 11:05 OldBoyCRM\n‘

# Popen   不会等待命令执行返回结果 而是返回一个句柄 a调用poll()方法可以检测a的指定状态
a = subprocess.Popen(‘sleep 10‘, shell=True, stdout=subprocess.PIPE)
#这里还有其他方法  就不一一赘述了
# a.wait()  a.kill()  a.pid()
# a.send_signal()  a.terminate()

hashlib：用于加密相关的操作，代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法

import hashlib
# 用于加密相关的操作，3.x里代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法


m=hashlib.md5()
m.update(bytes("我", encoding="utf8"))
m.update(b‘it is me ‘)
print("二进制", m.digest())
print("十六进制", m.hexdigest())
#以上加密算法虽然依然非常厉害，但时候存在缺陷，即：通过撞库可以反解。所以，有必要对加密算法中添加自定义key再来做加密。
print("".center(50,"*"))
m1=hashlib.md5(bytes("生成时加密",encoding="utf8"))
m1.update(bytes("我", encoding="utf8"))
m1.update(b‘it is me ‘)
print("二进制", m.digest())
print("十六进制", m.hexdigest())

 re模块：正则表达式就是字符串的匹配规则，在多数编程语言里都有相应的支持，python里对应的模块是re

 

‘.‘     默认匹配除\n之外的任意一个字符，若指定flag DOTALL,则匹配任意字符，包括换行
# ‘^‘     匹配字符开头，若指定flags MULTILINE,这种也可以匹配上(r"^a","\nabc\neee",flags=re.MULTILINE)
# ‘$‘     匹配字符结尾， 若指定flags MULTILINE ,re.search(‘foo.$‘,‘foo1\nfoo2\n‘,re.MULTILINE).group() 会匹配到foo1
# ‘*‘     匹配*号前的字符0次或多次， re.search(‘a*‘,‘aaaabac‘)  结果‘aaaa‘
# ‘+‘     匹配前一个字符1次或多次，re.findall("ab+","ab+cd+abb+bba") 结果[‘ab‘, ‘abb‘]
# ‘?‘     匹配前一个字符1次或0次 ,re.search(‘b?‘,‘alex‘).group() 匹配b 0次
# ‘{m}‘   匹配前一个字符m次 ,re.search(‘b{3}‘,‘alexbbbs‘).group()  匹配到‘bbb‘
# ‘{n,m}‘ 匹配前一个字符n到m次，re.findall("ab{1,3}","abb abc abbcbbb") 结果‘abb‘, ‘ab‘, ‘abb‘]
# ‘|‘     匹配|左或|右的字符，re.search("abc|ABC","ABCBabcCD").group() 结果‘ABC‘
# ‘(...)‘ 分组匹配， re.search("(abc){2}a(123|45)", "abcabca456c").group() 结果为‘abcabca45‘
# 
# 
# ‘\A‘    只从字符开头匹配，re.search("\Aabc","alexabc") 是匹配不到的，相当于re.match(‘abc‘,"alexabc") 或^
# ‘\Z‘    匹配字符结尾，同$ 
# ‘\d‘    匹配数字0-9
# ‘\D‘    匹配非数字
# ‘\w‘    匹配[A-Za-z0-9]
# ‘\W‘    匹配非[A-Za-z0-9]
# ‘s‘     匹配空白字符、\t、\n、\r , re.search("\s+","ab\tc1\n3").group() 结果 ‘\t‘
# 
# ‘(?P<name>...)‘ 分组匹配 re.search("(?P<province>[0-9]{4})(?P<city>[0-9]{2})(?P<birthday>[0-9]{4})","371481199306143242").groupdict("city")
#  结果{‘province‘: ‘3714‘, ‘city‘: ‘81‘, ‘birthday‘: ‘1993‘}

模式详解

 

 

 

import re

s = ‘ab23cd121rf‘

res=re.match("[0-9]",s) #从头开始匹配  匹配一个就结束
print(res)
res = re.search("[0-9]{2}", s)  # 从全部的字符匹配  匹配一个就结束
print(res)  # 对象 取里面的值则为group  没有则报错，那结果之前需要判断
if res:
    print(res.group())
else:
    print("none!")
print(re.findall("[0-9]", s))  # 匹配所有 符合 就 把它放在列表
print(re.search(".", "aaa"))  # 从开头一直找 找到 任意字符返回
print(re.search("^a", "aaa"))  # 相当于match(‘a‘)
print(re.search("^ab", "abaab"))  # 相当于match(‘a‘)
print(re.search("ab+$", "abaabb"))  # 从最后开始找。以abb(多个b)结尾的
print(re.search("[a|A]lex","alexAlex"))   #自己的理解就是拿着alex
 #或 Alex在字符里面找  找到一个满足就可以
print(re.search("[a|A]lex","aaAlex"))
s = ‘120980199612098769‘
#必须是字符匹配
print(re.search("(\d{6})(\d{4})(\d{4})",s).groups())
#分组匹配的装逼
print(re.search("(?P<province>\d{6})(?P<year>\d{4})(?P<mothon>\d{4})", s).groupdict())
f = open("联系方式.txt", encoding="gbk")
data = f.read()
print(data)
f.close()

res = re.findall("(1\d{10})", data)  # 手机号码
print(res)
s = "alex22jack22rain33"
print(re.split("\d", s))  # 按照一种格式分割
print(re.split("\d+", s))
s1 = "alex22jack22rain33#mock-oldboy"
print(re.split("\d+|#|-", s1))

# 所给字符全部匹配成功则返回字符否则为0
# print(re.fullmatch(‘\[email protected]\w+\.(com|cn|edu)‘,"[email protected]"))
# 模糊找到需要匹配的字符替换
print(re.sub("[\d+|#|-]", "_", s1))

s = ‘9-2*5/3+7/3*99/4*2998+10*568/14‘
# print(re.split(‘[\*\-/+]‘,s))   #转义需要\ 来表达
print(re.split(‘[\*\-/+]‘, s, maxsplit=2))  # 转义需要\ 来表达 maxsplit 匹配前几个之后停止匹配
# [‘9‘, ‘2‘, ‘5‘, ‘3‘, ‘7‘, ‘3‘, ‘99‘, ‘4‘, ‘2998‘, ‘10‘, ‘568‘, ‘14‘]