分享一个提高运维效率的 Python 脚本

Posted 2023-05-09 edisonfish

哈喽大家好我是咸鱼，今天给大家分享一个能够提升运维效率的 python 脚本

咸鱼平常在工作当中通常会接触到下面类似的场景：

1. 容灾切换的时候批量对机器上的配置文件内容进行修改替换
2. 对机器批量替换某个文件中的字段

对于 Linux 机器，咸鱼可以写个 shell 脚本或者直接批量使用 sed 命令就能很好的解决

但对于 Windows 机器，上面的方法就不管用了，我们就需要想其他的办法

这里咸鱼给大家分享一个由 python 编写的脚本，这个脚本能够去替换指定文本文件中的指定内容，而且还能一次替换多个内容

我们先看效果，目标文件：name.txt

• 修改一个内容

python sed.py c:\\name.txt Kanye Edison 

• 修改多个内容

python sed.py c:\\name.txt Kanye,male  Edison,female 

源码在文末哦

首先我们导入模块

import sys
import os
import time
from shutil import copy

然后我们来看一下脚本中的第一个函数——data_preprocess()

def data_preprocess():
    file_name, old_str, new_str = sys.argv[1:4] #接收输入的参数：目标文件名，旧内容、新内容、字符编码
    try: # 传入字符编码参数
        encoding = sys.argv[4] 
    except IndexError: # 没有传入字符编码参数的话就默认使用 \'utf-8\' 字符编码
        encoding = \'utf-8\' 

    old_str_list = [i.encode(encoding) for i in old_str.split(\',\')] # 将旧内容转换成列表形式
    new_str_list = [i.encode(encoding) for i in new_str.split(\',\')] # 将新内容转换成列表形式

    assert len(old_str_list) == len(new_str_list) # 判断用户输入的 old_str 和 new_str 是不是一一对应
    trans_tabs = list(zip(old_str_list, new_str_list)) # 将要旧内容列表(old_str_list)和新内容列表( new_str_list)中的元素一一对应

    return file_name, trans_tabs # 返回目标文件名，以及一个旧内容元素和新内容元素一一对应的列表

这个函数实现的功能是接收输入的参数（目标文件名、要替换的内容，替换的内容、字符编码格式），然后将要替换的内容与替换的内容分别转换成列表形式

注意：替换多个内容时在多个内容之间用逗号隔开

例如我们敲如下命令替换一个内容：

python sed.py c:\\test.txt Edison Kanye

这个函数就会返回下面内容（由于命令里没有传入字符编码参数，采取默认的 UTF-8）

file_name = c:\\test.txt
trans_tabs = [(Edsion, Kanye)]

如果我们需要替换多个内容（例如将首字母改成大写）

python sed.py c:\\test.txt edsion,kanye,fish Edsion,Kanye,Fish utf-8

这个函数就会返回下面内容（命令传入了字符编码参数）

file_name = c:\\test.txt
trans_tabs = [(edsion, Edsion), (kanye,Kanye), (fish,Fish)]

接下来我们来看第二个函数—— backup()

def backup(file_name):
    time_mark = time.strftime(\'%Y%m%d_%H%M%S\') #时间戳
    bak_dir = r\'C:\\Users\\Administrator\\Desktop\' #备份路径
    basename = os.path.basename(file_name)
    os.makedirs(bak_dir) if not os.path.isdir(bak_dir) else True
    copy(file_name, os.path.join(bak_dir, basename + \'_\' + time_mark))
    print("备份 %s 成功" %file_name)

这个函数的功能就是在修改文件之前先把文件备份，防止后期我们需要回滚复原

最后我们来看最后一个函数—— sed()

这个函数便是整个脚本的核心，它负责去执行修改替换文件内容的操作

def sed(file_name, trans_tabs):
    with open(file_name + \'.swap\', \'wb\') as swap_fs, open(file_name, \'rb\') as file_names: #打开一个临时文件和目标文件
        for line in file_names: # 逐行读取
            for tab in trans_tabs:
                line = line.replace(tab[0], tab[1]) if tab[0] in line else line # 修改替换操作
            swap_fs.write(line) # 将修改后的内容写入到临时文件当中
    os.remove(file_name) # 删除旧目标文件
    os.rename(file_name + \'.swap\', file_name) # 将临时文件重命名，就变成了新的目标文件

首先先打开一个临时文件（file_name.swap）和目标文件（file_name）

然后对目标文件（file_name）进行逐行读取到内存上，再去对内容进行修改，最后将修改后的内容写入到这个临时文件（file_name.swap）中

修改完毕之后，把临时文件重命名一下、把旧目标文件删掉，这个临时文件就变成了修改内容后的目标文件了

import sys
import os
import time
from shutil import copy


def data_preprocess():
    file_name, old_str, new_str = sys.argv[1:4]
    try:
        encoding = sys.argv[4]
    except IndexError:
        encoding = \'utf-8\'

    old_str_list = [i.encode(encoding) for i in old_str.split(\',\')]
    new_str_list = [i.encode(encoding) for i in new_str.split(\',\')]

    assert len(old_str_list) == len(new_str_list)
    trans_tabs = list(zip(old_str_list, new_str_list))

    return file_name, trans_tabs


def backup(file_name):
    time_mark = time.strftime(\'%Y%m%d_%H%M%S\')
    bak_dir = r\'C:\\Users\\Administrator\\Desktop\'
    basename = os.path.basename(file_name)
    os.makedirs(bak_dir) if not os.path.isdir(bak_dir) else True
    copy(file_name, os.path.join(bak_dir, basename + \'_\' + time_mark))
    print("备份 %s" %file_name)


def sed(file_name, trans_tabs):
    with open(file_name + \'.swap\', \'wb\') as swap_fs, open(file_name, \'rb\') as file_names:
        for line in file_names:
            for tab in trans_tabs:
                line = line.replace(tab[0], tab[1]) if tab[0] in line else line
            swap_fs.write(line)
    os.remove(file_name)
    os.rename(file_name + \'.swap\', file_name)


file_name, trans_tabs = data_preprocess()
backup(file_name)
sed(file_name, trans_tabs)

分享10个超级实用的Python自动化脚本

在日常的工作学习当中，我们总会遇到各式各样的问题，其中不少的问题都是一遍又一遍简单重复的操作，不妨直接用Python脚本来自动化处理。

今天我就给大家分享10个Python高级脚本，帮助我们减少无谓的时间浪费，提高工作学习中的效率。 喜欢记得收藏、关注、点赞。

注：完整版代码、数据、技术交流文末获取

给照片添加水印

给照片添加水印的代码多种多样，下面这种的或许是最为简单的形式，

from PIL import Image
from PIL import ImageFont
from PIL import ImageDraw

def watermark_Image(img_path,output_path, text, pos):
    img = Image.open(img_path)
    drawing = ImageDraw.Draw(img)
    black = (10, 5, 12)
    drawing.text(pos, text, fill=black)
    img.show()
    img.save(output_path)

img = '2.png'
watermark_Image(img, 'watermarked_2.jpg','Python', pos=(10, 10))

检测文本文件的相似性

很多时候我们需要来检查两文件的相似性，到底存在着多少的雷同，或许以下的这个脚本文件可以派得上用场

from difflib import SequenceMatcher

def file_similarity_checker(f1, f2):
    with open(f1, errors="ignore") as file1, open(f2, errors="ignore") as file2:
        f1_data = file1.read()
        f2_data = file2.read()
        checking = SequenceMatcher(None, f1_data, f2_data).ratio()
        print(f"These files are checking*100 % similar")
        
file_1 = "路径1"
file_2 = "路径2"
file_similarity_checker(file_1, file_2)

对文件内容进行加密

有时候我们手中文件的内容十分的重要、十分地机密，我们可以选择对此进行加密，代码如下

from cryptography.fernet import Fernet

def encrypt(filename, key):
    fernet = Fernet(key)
    with open(filename, 'rb') as file:
        original = file.read()
    encrypted = fernet.encrypt(original)
    with open(filename, 'wb') as enc_file:
        enc_file.write(encrypted)
        
key = Fernet.generate_key()
filename = "file.txt"
encrypt(filename, key)

我们生成密钥，然后对文件内容进行加密，当然这个密钥后面在对文件进行解密的时候会派上用场，因此密钥一定要保存完好，解密的代码如下

def decrypt(filename, key):
    fernet = Fernet(key)
    with open(filename, 'rb') as enc_file:
        encrypted = enc_file.read()
    decrypted = fernet.decrypt(encrypted)
    with open(filename, 'wb') as dec_file:
        dec_file.write(decrypted)

decrypt(filename, key)

上面的脚本，其中的密钥是一个随机生成的随机数，当然密钥也可以是我们自己指定的，代码如下

import pyAesCrypt

def Encryption(input_file_path, output_file_path, key):
    pyAesCrypt.encryptFile(input_file_path, output_file_path, key)
    print("File has been decrypted")

def Decryption(input_file_path, output_file_path, key):
    pyAesCrypt.decryptFile(input_file_path, output_file_path, key)
    print("File has been decrypted")

将照片转换为PDF

有时候我们需要将照片转换成PDF格式，或者将照片依次添加到PDF文件当中去，代码如下

import os
import img2pdf

with open("Output.pdf", "wb") as file:
    file.write(img2pdf.convert([i for i in os.listdir('文件路径') if i.endswith(".jpg")]))

修改照片的长与宽

我们要是想要修改照片的长度和宽度的话，下面的这个代码可以帮得上忙，代码如下

from PIL import Image
import os
def img_resize(file, h, w):
  img = Image.open(file)
    Resize = img.resize((h,w), Image.ANTIALIAS)
    Resize.save('resized.jpg', 'JPEG', quality=90)
    
img_resize("文件路径", 400, 200)

对于照片的其他操作

除了上面修改照片的长度与宽度之外，针对照片我们还有其他的操作，例如模糊化照片的内容

img = Image.open('1.jpg')
blur = img.filter(ImageFilter.BLUR)
blur.save('output.jpg')

照片翻转90度

img = Image.open('1.jpg')
rotate = img.rotate(90)
rotate.save('output.jpg')

照片进行锐化的处理

img = Image.open('1.jpg')
sharp = img.filter(ImageFilter.SHARPEN)
sharp.save('output.jpg')

照片左右对称翻转，代码如下

img = Image.open('1.jpg')
transpose = img.transpose(Image.FLIP_LEFT_RIGHT)
transpose.save('output.jpg')

照片进行灰度处理

img = Image.open('1.jpg')
convert = img.convert('L')
convert.save('output.jpg')

测试网速

当然我们在开始测网速之前需要提前下载好依赖的模块

pip install speedtest-cli

然后我们开始尝试测试一下网速

from speedtest import Speedtest

def Testing_Speed(net):
    download = net.download()
    upload = net.upload()
    print(f'下载速度: download/(1024*1024) Mbps')
    print(f'上传速度: upload/(1024*1024) Mbps')
    print("开始网速的测试 ...")

net = Speedtest()
Testing_Speed(net)

货币汇率的转换

例如我们想要看一下美元与英镑之间的汇率转换，100美元可以换成多少的英镑，代码如下

# 导入模块
from currency_converter import CurrencyConverter
from datetime import date
# 案例一
conv = CurrencyConverter()
c = conv.convert(100, 'USD', 'GBP')
print(round(c, 2)) # 保留两位小数

或者我们想要看一下美元与欧元之间的汇率转换，100美元可以换成多少的欧元，

# 案例二
c = conv.convert(100, 'USD', 'EUR', date=date(2022, 3, 30))
print(round(c, 2)) # 44.1

生成二维码

其中包括了二维码的生成以及二维码的解析，代码如下

import qrcode
from PIL import Image
from pyzbar.pyzbar import decode

def Generate_qrcode(data):
    qr = qrcode.QRCode(
        version=1,
        error_correction=qrcode.constants.ERROR_CORRECT_L,
        box_size=10,
        border=4,)
    qr.add_data(data)
    qr.make(fit=True)
    image = qr.make_image(fill_color="black", back_color="white")
    image.save("qrcode.png")

Generate_qrcode("Python")

我们再来看一下二维码的解析，代码如下

def Decode_Qrcode(file_name):
    result = decode(Image.open(file_name))
    print("Data:", result[0][0].decode())

Decode_Qrcode("文件名")

制作一个简单的网页应用

调用的是Python当中的flask模块来制作网页应用，代码如下

from flask import Flask
app = Flask(__name__)

@app.route("/")
def home():
    return "Hello World!"
    
@app.route("/python")
def test():
    return "欢迎来到Python"
    
if __name__ == "__main__":
    app.run(debug=True)

推荐文章

• 李宏毅《机器学习》国语课程(2022)来了

• 有人把吴恩达老师的机器学习和深度学习做成了中文版

• 上瘾了，最近又给公司撸了一个可视化大屏(附源码)

• 如此优雅，4款 Python 自动数据分析神器真香啊

• 梳理半月有余，精心准备了17张知识思维导图，这次要讲清统计学

• 年终汇总：20份可视化大屏模板，直接套用真香(文末附源码)

技术交流

欢迎转载、收藏、有所收获点赞支持一下！数据、代码可以找我获取

目前开通了技术交流群，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友

• 方式①、发送如下图片至微信，长按识别，后台回复：加群；
• 方式②、添加微信号：dkl88191，备注：来自CSDN
• 方式③、微信搜索公众号：Python学习与数据挖掘，后台回复：加群