如何进行服务器的批量管理以及python 的paramiko的模块

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何进行服务器的批量管理以及python 的paramiko的模块相关的知识,希望对你有一定的参考价值。

最近对公司的通道机账号进行改造管理,全面的更加深入的理解了公司账号管理的架构。(注:基本上所有的机器上的ssh不能使用,只有部分机器能够使用。为了安全的角度考虑,安装的不是公版的ssh,而都是定制版的ssh,(限制了机器上的源IP地址即可))。

自动化管理服务器,有两种方法:

第一种方法,是我们公司自己开发的(服务器大概是3W台),基本上服务器之间不能够通过ssh互相连通,只能是一台服务器能够连到所有的服务器上,这台服务器我们称之为通道机(也叫堡垒机),当我们想登某台服务器的时候,需要先登上这台通道机,然后经过一系列的验证之后,就能自动的登上你要登到的服务器上。

并且我们自己开发了一套叫做通道机API的方式,来管理3W台服务器,比如收集各台服务器的信息等。其这个API的本质就是使用的是POST的方式将命令post到目标机上,然后返回结果进行处理即可。这是一个大概的思想。

第二种方法,就是使用ssh的协议进行管理,使用python的paramiko来进行管理,下面会进行介绍:

有一些想法,可以使用python的paramiko模块来进行管理名下服务器,前提是能够ssh到各个服务器上。

下面对这个paramiko的模块做个简单的介绍和分享:

1.简介:

paramiko是用python语言写的一个模块,遵循SSH2协议,支持以加密和认证的方式,进行远程服务器的连接。

由于使用的是python这样的能够跨平台运行的语言,所以所有python支持的平台,如Linux, Solaris, BSD, MacOS X, Windows等,paramiko都可以支持,因此,如果

需要使用SSH从一个平台连接到另外一个平台,进行一系列的操作时,paramiko是最佳工具之一。

举个常见的例子,现有这样的需求:需要使用windows客户端,远程连接到Linux服务器,查看上面的日志状态,大家通常使用的方法会是:

1:用telnet

2:用PUTTY

3:用WinSCP

4:用XManager等…

那现在如果需求又增加一条,要从服务器上下载文件,该怎么办?那常用的办法可能会是:

1:Linux上安装FTP并配置

2:Linux上安装Sambe并配置…

大家会发现,常见的解决方法都会需要对远程服务器必要的配置,如果远程服务器只有一两台还好说,如果有N台,还需要逐台进行配置,或者需要使用代码进行以上操作

时,上面的办法就不太方便了。

使用paramiko可以很好的解决以上问题,比起前面的方法,它仅需要在本地上安装相应的软件(python以及PyCrypto),对远程服务器没有配置要求,对于连接多台服

务器,进行复杂的连接操作特别有帮助。

2.使用的几个简单的案例:

下面是两种使用paramiko连接到linux服务器的代码:

方式一:    

1 ssh = paramiko.SSHClient()2 ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())3 ssh.connect("IP地址",22,"用户名","密码")

上面的第二行代码的作用是允许连接不在know_hosts文件中的主机。

方式二:

1 t = paramiko.Transport(("IP地址","端口"))2 t.connect(username = “用户名”, password = “口令”)3 如果连接远程主机需要提供密钥,上面第二行代码可改成:4 t.connect(username = “用户名”, password = “口令”, hostkey=”密钥”)

3.一些简单的例子:

如果linux服务器开放了22端口,在windows端,我们可以使用paramiko远程连接到该服务器,并执行任意命令,然后通过 print或其它方式得到该结果。

1 #!/usr/bin/python 2 import paramiko3  4 ssh = paramiko.SSHClient()5 ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())6 ssh.connect("某IP地址",22,"用户名", "口令")7 stdin, stdout, stderr = ssh.exec_command("你的命令")8 print stdout.readlines()9 ssh.close()

其中的”你的命令”可以任意linux支持的命令,如一些常用的命令:

1 df:查看磁盘使用情况2 uptime:显示系统运行时间信息3 cat:显示某文件内容4 mv/cp/mkdir/rmdir:对文件或目录进行操作5 /sbin/service/ xxxservice start/stop/restart:启动、停止、重启某服务6 netstat -ntl |grep 8080:查看8080端口的使用情况
7  或者 nc -zv localhost :查看所有端口的使用情况
8 find / -name XXX:查找某文件9 ...

这样一来,对于linux的任何操作几乎都可以通过windows端完成,如果对该功能进行引申,还可以同时管理多台服务器。

4. 从widnows端下载linux服务器上的文件

1 #!/usr/bin/python  2 import paramiko 3   4 t = paramiko.Transport((“主机”,”端口”)) 5 t.connect(username = “用户名”, password = “口令”) 6 sftp = paramiko.SFTPClient.from_transport(t) 7 remotepath=’/var/log/system.log’ 8 localpath=’/tmp/system.log’ 9 sftp.get(remotepath, localpath)10 t.close()

5.从widnows端上传文件到linux服务器

1 #!/usr/bin/python  2 import paramiko 3  4 t = paramiko.Transport((“主机”,”端口”)) 5 t.connect(username = “用户名”, password = “口令”) 6 sftp = paramiko.SFTPClient.from_transport(t) 7 remotepath=’/var/log/system.log’ 8 localpath=’/tmp/system.log’ 9 sftp.put(localpath,remotepath)10 t.close()

参考技术A   自动化管理服务器,有两种方法:

  第一种方法,是我们公司自己开发的(服务器大概是3W台),基本上服务器之间不
能够通过ssh互相连通,只能是一台服务器能够连到所有的服务器上,这台服务器我们称之为通道机(也叫堡垒机),当我们想登某台服务器的时候,需要先登上
这台通道机,然后经过一系列的验证之后,就能自动的登上你要登到的服务器上。

  并且我们自己开发了一套叫做通道机API的方式,来管理3W台服务器,比如收集各台服务器的信息等。其这个API的本质就是使用的是POST的方式将命令post到目标机上,然后返回结果进行处理即可。这是一个大概的思想。

  第二种方法,就是使用ssh的协议进行管理,使用python的paramiko来进行管理,下面会进行介绍:

  有一些想法,可以使用python的paramiko模块来进行管理名下服务器,前提是能够ssh到各个服务器上。

python 接口自动化测试使用unittest 批量用例管理

  我们日常项目中的接口测试案例肯定不止一个,当案例越来越多时我们如何管理这些批量案例?如何保证案例不重复?如果案例非常多(成百上千,甚至更多)时如何保证案例执行的效率?如何做(批量)测试数据的管理?如何做到数据与脚本分离?

  以上这些问题才是我们自动化测试中要重点考虑的问题,单个用例其实并不难。

来看一下在unittest框架中如何管理批量案例:

 

一、手工加载批量用例:

复制代码
# -*- coding:utf-8 -*-
# 批量用例执行--手工加载

import unittest

class TestOne(unittest.TestCase):
    def setUp(self):
        print \'\\ncases before\'
        pass

    def test_add(self):
        \'\'\'test add method\'\'\'
        print \'add...\'
        a = 3 + 4
        b = 7
        self.assertEqual(a, b)

    def test_sub(self):
        \'\'\'test sub method\'\'\'
        print \'sub...\'
        a = 10 - 5
        b = 5
        self.assertEqual(a, b)

    def tearDown(self):
        print \'case after\'
        pass

if __name__ == \'__main__\':
    # 1、构造用例集
    suite = unittest.TestSuite()

    # 2、执行顺序是安加载顺序:先执行test_sub,再执行test_add
    suite.addTest(TestOne("test_sub"))
    suite.addTest(TestOne("test_add"))

    # 3、实例化runner类
    runner = unittest.TextTestRunner()
# 4、执行测试 runner.run(suite)
复制代码

 

二、自动加载批量用例:

复制代码
# -*- coding:utf-8 -*-
# 批量用例执行--自动加载
import unittest
import os

class TestOne(unittest.TestCase):
    def setUp(self):
        print \'\\ncases before\'
        pass

    def test_add(self):
        \'\'\'test add method\'\'\'
        print \'add...\'
        a = 3 + 4
        b = 7
        self.assertEqual(a, b)

    def test_sub(self):
        \'\'\'test sub method\'\'\'
        print \'sub...\'
        a = 10 - 5
        b = 5
        self.assertEqual(a, b)

    def tearDown(self):
        print \'case after\'
        pass

if __name__ == \'__main__\':
    # 1、设置待执行用例的目录
    test_dir = os.path.join(os.getcwd())

    # 2、自动搜索指定目录下的cas,构造测试集,执行顺序是命名顺序:先执行test_add,再执行test_sub
    discover = unittest.defaultTestLoader.discover(test_dir, pattern=\'test_*.py\')

    # 实例化TextTestRunner类
    runner = unittest.TextTestRunner()

    # 使用run()方法运行测试套件(即运行测试套件中的所有用例)
    runner.run(discover)
复制代码

 

以上只是解决了如何管理批量案例的问题,其它的问题如何做(批量)测试数据的管理?如何做到数据与脚本分离?后续在介绍。

以上是关于如何进行服务器的批量管理以及python 的paramiko的模块的主要内容,如果未能解决你的问题,请参考以下文章

如何批量控制linux服务器++python

如何进行远程桌面连接 服务器批量管理

Ansible批量自动化管理工具

Fabric 源码学习:如何实现批量管理远程服务器?

如何通过Ansible来管理上千台服务器??

服务器批量管理软件ansible安装以及配置