python之路九

Posted 2020-08-09

paramiko

paramiko模块是用python语言写的一个模块，遵循SSH2协议，支持以加密和认证的方式，进行远程服务器的连接

ssh执行命令：

import paramiko
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect(hostname=‘192.168.155.8‘,port=22,username=‘root‘,password=‘19890131‘)
stdin, stdout, stderr = ssh.exec_command(‘ls‘)
std, err = stdout.read(),stderr.read()
result = std if std else err
print(result.decode())
ssh.close()

上传，下载文件：

import paramiko

transport = paramiko.Transport(("192.168.155.9",22))
transport.connect(username= "root",password="19870924")
sftp = paramiko.SFTPClient.from_transport(transport)

sftp.put("C:/Users/hxzli/Desktop/111.txt","/tmp/111.txt")

# sftp.get("remove_path","local_path")

transport.close()

Python threading模块

Python这门解释性语言也有专门的线程模型，Python虚拟机使用GIL（Global Interpreter Lock，全局解释器锁）来互斥线程对共享资源的访问，但暂时无法利用多处理器的优势。

        在Python中我们主要是通过thread和 threading这两个模块来实现的，其中Python的threading模块是对thread做了一些包装的，可以更加方便的被使用，所以我们使用 threading模块实现多线程编程。

在语言层面，Python对多线程提供了很好的支持，可以方便地支持创建线程、互斥锁、信号量、同步等特性。下面就是官网上介绍threading模块的基本资料及功能：
实现模块

        thread：多线程的底层支持模块，一般不建议使用；

        threading：对thread进行了封装，将一些线程的操作对象化。
threading模块

        Thread 线程类，这是我们用的最多的一个类，你可以指定线程函数执行或者继承自它都可以实现子线程功能；

        Timer与Thread类似，但要等待一段时间后才开始运行；

        Lock 锁原语，这个我们可以对全局变量互斥时使用；

        RLock 可重入锁，使单线程可以再次获得已经获得的锁；

        Condition 条件变量，能让一个线程停下来，等待其他线程满足某个“条件”；

        Event 通用的条件变量。多个线程可以等待某个事件发生，在事件发生后，所有的线程都被激活；

        Semaphore为等待锁的线程提供一个类似“等候室”的结构；

        BoundedSemaphore 与semaphore类似，但不允许超过初始值；

        Queue：实现了多生产者（Producer）、多消费者（Consumer）的队列，支持锁原语，能够在多个线程之间提供很好的同步支持。
其中Thread类

        是你主要的线程类，可以创建进程实例。该类提供的函数包括：

        getName(self) 返回线程的名字

        isAlive(self) 布尔标志，表示这个线程是否还在运行中

        isDaemon(self) 返回线程的daemon标志

        join(self, timeout=None) 程序挂起，直到线程结束，如果给出timeout，则最多阻塞timeout秒

        run(self) 定义线程的功能函数

        setDaemon(self, daemonic) 把线程的daemon标志设为daemonic

        setName(self, name) 设置线程的名字

        start(self) 开始线程执行
其中Queue提供的类

        Queue队列

        LifoQueue后入先出（LIFO）队列

        PriorityQueue 优先队列

简单的多线程实例：

import threading
import time
def run(n):
    print(‘task‘,n)
    time.sleep(2)
t1 = threading.Thread(target=run,args=(‘t1‘,))
t2 = threading.Thread(target=run,args=(‘t2‘,))
t1.start()
t2.start()

queue队列

Python中，队列是线程间最常用的交换数据的形式。Queue模块是提供队列操作的模块，虽然简单易用，但是不小心的话，还是会出现一些意外。

创建一个“队列”对象
import Queue
q = Queue.Queue(maxsize = 10)
Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。

将一个值放入队列中
q.put(10)
调用队列对象的put()方法在队尾插入一个项目。put()有两个参数，第一个item为必需的，为插入项目的值；第二个block为可选参数，默认为
1。如果队列当前为空且block为1，put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0，put方法将引发Full异常。

将一个值从队列中取出
q.get()
调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block，默认为True。如果队列为空且block为True，get()就使调用线程暂停，直至有项目可用。如果队列为空且block为False，队列将引发Empty异常。

Python Queue模块有三种队列及构造函数:
1、Python Queue模块的FIFO队列先进先出。 class Queue.Queue(maxsize)
2、LIFO类似于堆，即先进后出。 class Queue.LifoQueue(maxsize)
3、还有一种是优先级队列级别越低越先出来。 class Queue.PriorityQueue(maxsize)

此包中的常用方法(q = Queue.Queue()):
q.qsize() 返回队列的大小
q.empty() 如果队列为空，返回True,反之False
q.full() 如果队列满了，返回True,反之False
q.full 与 maxsize 大小对应
q.get([block[, timeout]]) 获取队列，timeout等待时间
q.get_nowait() 相当q.get(False)
非阻塞 q.put(item) 写入队列，timeout等待时间
q.put_nowait(item) 相当q.put(item, False)
q.task_done() 在完成一项工作之后，q.task_done() 函数向任务已经完成的队列发送一个信号
q.join() 实际上意味着等到队列为空，再执行别的操作

生产者消费者模型

在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。

为什么要使用生产者和消费者模式

在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产 者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生 产者和消费者模式。

什么是生产者消费者模式

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产 完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者 的处理能力。

实例：

# -*- coding:utf-8 -*-
import threading
import queue

def producer():
     for i in range(10):
         q.put("骨头 %s" % i )
     print("开始等待所有的骨头被取走...")
     q.join()
     print("所有的骨头被取完了...")


def consumer(n):

     while q.qsize() >0:

         print("%s 取到" %n  , q.get())
         q.task_done() #告知这个任务执行完了


q = queue.Queue()



p = threading.Thread(target=producer,)
p.start()

c1 = consumer("陈荣华")