运维自动化-轻量级工具
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了运维自动化-轻量级工具相关的知识，希望对你有一定的参考价值。
scp
scp命令用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，
而且scp传输是加密的。可能会稍微影响一下速度。另外，scp还非常不占资源，不会提高多少系统负荷，在这一点上，
rsync就远远不及它了。虽然 rsync比scp会快一点，但当小文件众多的情况下，rsync会导致硬盘I/O非常高，而scp基本不影响系统正常使用。选项
-1：使用ssh协议版本1；
-2：使用ssh协议版本2；
-4：使用ipv4；
-6：使用ipv6；
-B：以批处理模式运行；
-C：使用压缩；
-F：指定ssh配置文件；
-l：指定宽带限制；
-o：指定使用的ssh选项；
-P：指定远程主机的端口号；
-p：保留文件的最后修改时间，最后访问时间和权限模式；
-q：不显示复制进度；
-r：以递归方式复制。
scp在覆盖时不会提醒。
把当前目录下的authorized_keys 复制到远程主机192.168.4.101的root家目录下.ssh/
#scp authorized_keys [email protected]:~/.ssh/
把远程主机192.168.4.100 root家目录的.ssh/authorized_keys复制到当前目录
#scp [email protected]:~/.ssh/authorized_keys .
批量复制当前目录多个文件到远程主机
#scp -B anaconda-ks.cfg install.log [email protected]:/tmp
rsync
基于ssh和rsh服务实现高效率的远程系统之间复制文件。
比scp更快，只复制不同的文件
rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，
例如，定期地备份文件服务器数据到远端服务器，对本地磁盘定期进行数据镜像等。
rsync的缺点逐渐被暴露了出来。rsync做数据同步时，需要扫描所有文件后进行对比，然后进行差量传输。
如果文件很大，扫面文件是非常耗时的，而且发生变化的文件往往是很少一部分，因此rsync是非常低效的方式Centos 6 version 3.0.6 .最小化安装自带
Centos 7 version 3.0.9 .最小化安装不提供
语法：
? rsync –av /etc server1:/tmp 复制目录和目录下文件
? rsync –av /etc/ server1:/tmp 只复制目录下文件
选项：
-e ssh|rsh 指定使用rsh、ssh方式进行数据同步
-n 模拟复制过程
-v 显示详细过程
-r 递归复制目录树
-p 保留权限
-t 保留时间戳
-g 保留组信息
-o 保留所有者信息
-l 将软链接文件本身进行复制（默认）
-L 将软链接文件指向的文件复制
-z, --compress 对备份的文件在传输时进行压缩处理。
--exclude=PATTERN 指定排除不需要传输的文件模式。
--include=PATTERN 指定不排除而需要传输的文件模式。
--exclude-from=FILE 排除FILE中指定模式的文件。
--include-from=FILE 不排除FILE指定模式匹配的文件
--progress 显示传输过程
-a 存档，相当于–rlptgoD，但不保留ACL（-A）和SELinux属性（-X）
-aAX 最全的方式
默认只会复制变化的数据
使用DD来模拟几个大文件
#dd if=/dev/zero of=file3 bs=1M count=500
file1=100M file2=300M file3=500M
对比下速度与时间
#time scp file3 [email protected]:/tmp
file3 100% 500MB 18.5MB/s 00:27
real 0m27.906s
user 0m1.418s
sys 0m10.906s
#time rsync --progress -e ssh file3 [email protected]:/tmp
file3
524288000 100% 50.51MB/s 0:00:09 (xfer#1, to-check=0/1)
real 0m10.293s
user 0m3.106s
sys 0m12.211s
-----------------------------------------------------------------------
使用压缩选项后
#time scp -C file3 [email protected]:/tmp
file3 100% 500MB 50.0MB/s 00:10
real 0m10.907s
user 0m3.420s
sys 0m9.929s
#time rsync --progress -ze ssh file3 [email protected]:/tmp
file3
524288000 100% 62.24MB/s 0:00:08 (xfer#1, to-check=0/1)
real 0m8.579s
user 0m5.503s
sys 0m2.043s
特别注意的地方
#rsync -av /tmp [email protected]:/tmp 注意源/tmp 会连同/tmp这个目录和/tmp目录下的文件一起复制
#tree
.
└── tmp
├── gconfd-gdm
├── gconfd-root
├── sshd
#rsync -av /tmp/ [email protected]:/tmp 注意源/tmp/ 只复制/tmp目录下的文件，相当于/tmp/*
#tree
.
├── gconfd-gdm
├── gconfd-root
├── sshd
sftp
sftp命令是一款交互式的文件传输程序，命令的运行和使用方式与ftp命令相似，但是，sftp命令对传输的所有信息使用ssh加密，它还支持公钥认证和压缩等功能。
sftp [[email protected]]host
常用选项
-B：指定传输文件时缓冲区的大小；
-l：使用ssh协议版本1；
-b：指定批处理文件；
-C：使用压缩；
-o：指定ssh选项；
-F：指定ssh配置文件；
-R：指定一次可以容忍多少请求数；
-v：升高日志等级。
在命令前加上!,表示查看本地目录指令，如!pwd ,!ls#sftp [email protected]pssh
项目网址：https://code.google.com/p/parallel-ssh/
pssh是python写的可以并发在多台机器上批量执行命令的工具，它的用法可以媲美ansible的一些简单用法，执行起来速度比ansible快。它支持文件并行复制，远程命令执行，杀掉远程主机上的进程等等。
在使用pssh之前，必须要保证管理主机和本地主机基于密钥的认证。如果不是基于密钥认证，必须保证被管理的多台主机的密码相同。
安装源在EPEL
此组件包含了以下几个工具
pnuke 在远程多台主机上并行killall某一进程
prsync 使用rsync协议本地文件同步到远程多台主机上
pscp.pssh 把文件并行复制到多台远程主机上
pslurp 把文件从远程多台主机上复制到本地主机上
pssh 在远程多台主机上并行运行命令
pssh语法：
pssh [OPTIONS] command [...]
--version：查看版本
-h：主机文件列表，内容格式” [[email protected]]host[:port]”
-H：主机字符串，内容格式” [[email protected]]host[:port]”
-l：登录使用的用户名
-p：并发的线程数【 可选】
-o：输出的文件目录【 可选】
-e：错误输入文件【 可选】
-t：TIMEOUT 超时时间设置，0无限制【 可选】
-O：SSH的选项
-v：详细模式
-A：手动输入密码模式。当不支持ssh的key认证时
-x：额外的命令行参数使用空白符号，引号，反斜线处理
-X：额外的命令行参数，单个参数模式，同-x
-i：每个服务器内部处理信息输出.就是指令执行在本机输出效果是一样的
-P：打印出服务器返回信息
pscp.pssh语法
-v 显示复制过程
-a 复制过程中保留常规属性
-r 递归复制目录
pslurp语法
pslurp [OPTIONS] remote local
-r 递归复制目录
-L 后接本机目录
会在指琮-L目录生成对应主机的汇夹，最好不要有同名的文件占用文件夹的创建，会报错
pnuke语法
pnuke [OPTIONS] pattern
搭配实例演示
#cat ip.txt
192.168.4.101 #这一台是Centos 7
192.168.4.113 #这一台是Centos 6
返回某条指令的结果
#pssh -h ip.txt -i getenforce
[1] 11:05:06 [SUCCESS] 192.168.4.101
Disabled
[2] 11:05:07 [SUCCESS] 192.168.4.113
Enforcing
#pssh -h ip.txt -P getenforce
192.168.4.101: Disabled
[1] 11:05:11 [SUCCESS] 192.168.4.101
192.168.4.113: Enforcing
[2] 11:05:11 [SUCCESS] 192.168.4.113
支持命令中使用通配符等特殊符号，但是注意使用单引号
#pssh -h ip.txt -P ‘lscpu|grep "Model name:"‘
192.168.4.101: Model name: Intel(R) Core(TM) i5-5200U CPU @ 2.20GHz
[1] 11:20:58 [SUCCESS] 192.168.4.101
192.168.4.113: Model name: Intel(R) Core(TM) i5-5200U CPU @ 2.20GHz
[2] 11:20:58 [SUCCESS] 192.168.4.113
#pssh -h ip.txt -P ‘echo $HOSTNAME‘
把信息输出到文件
#pssh -h ip.txt -o /app ‘df -h|grep /dev/sd‘
[1] 11:31:28 [SUCCESS] 192.168.4.101
[2] 11:31:29 [SUCCESS] 192.168.4.113
#ls
192.168.4.101 192.168.4.113
#cat 192*
/dev/sda3 8.6G 1.6G 7.0G 19% /
/dev/sda1 497M 113M 385M 23% /boot
/dev/sda3 8.3G 1.8G 6.1G 23% /
/dev/sda1 477M 35M 417M 8% /boot从本机同步单个文件或多个文件到远程主机
#pscp.pssh -h ip.txt /etc/selinux/config /etc/selinux/
[1] 11:45:05 [SUCCESS] 192.168.4.101
[2] 11:45:05 [SUCCESS] 192.168.4.113
ESS] 192.168.4.113
#pssh -h ip.txt -P ‘setenforce 0;grep ^SELINUX= /etc/selinux/config‘
192.168.4.101: SELINUX=disabled
[1] 11:47:36 [SUCCESS] 192.168.4.101
192.168.4.113: SELINUX=disabled
[2] 11:47:37 [SUCCESS] 192.168.4.113
从远程主机同步单个文件或多个文件到本机
复制目录时才指定-r 。最拍一个local参数是必须指定的。复制文件时，指的是文件名，复制目录时，指的是相对于-L XXX 下的子目录
#pslurp -h ip.txt -r -L /app /var/log/ log
#tree -L 3
.
├── 192.168.4.101
│ └── log
│ ├── audit
│ ├── boot.log
│
├── 192.168.4.113
│ └── log
│ ├── anaconda.log
│ ├── audit
│ ├── boot.log
结束远程主机指定进程
查看远程主机确实打开了ssh-agent进程
#pssh -h ip.txt -i ‘pidof ssh-agent‘
[1] 15:30:08 [SUCCESS] 192.168.4.101
4093 4083 4073
[2] 15:30:08 [SUCCESS] 192.168.4.113
6487 6474 6461
#pnuke -h ip.txt ssh-agent
[1] 15:28:54 [SUCCESS] 192.168.4.101
[2] 15:28:55 [SUCCESS] 192.168.4.113以上是关于运维自动化-轻量级工具的主要内容，如果未能解决你的问题，请参考以下文章