设置Paramiko模块的sftp.get()的时间限制

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了设置Paramiko模块的sftp.get()的时间限制相关的知识,希望对你有一定的参考价值。

我使用Paramiko的SFTP客户端从远程服务器下载文件到客户端(即获取操作) 要传输的文件有点大~1GB。 所以如果时间超过10秒,我希望get操作超时。

但是为连接设置超时值不起作用,它似乎是仅创建SSH连接的超时而不是整个ssh连接的超时。

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect(host, username=username, password=password, timeout=10.0)
sftp = ssh.open_sftp()
start_time = time.time()
sftp.get(local_path,remote_path)
elapsed_time = time.time()-start_time
print elapsed_time
sftp.close()

我也尝试设置通道的超时值,但它也不起作用

sftp.get_channel.settimeout(10.0)

但是这个超时仅用于读/写操作

有一个类似的问题Timeout in paramiko (python)但它只有在创建SSH连接时超时的答案

Update 1

根据@Martin的评论,我实现了一个回调函数,它检查sftp的get操作的时间限制:

import paramiko
import time

Class TimeLimitExceeded(Exception):
    pass

timelimit = 10
start_time = time.time()

def _timer():
    elapsed_time = time.time()-start_time
    if elapsed_time > timelimit:
        raise TimeLimitExceeded

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect(host, username=username, password=password, timeout=10.0)
sftp = ssh.open_sftp()
try:
    sftp.get(local_path,remote_path,_timer)
except TimeLimitExceeded:
    print "The operation took too much time to complete"
sftp.close()

但除了异常之外的时间很多,代码在某处阻塞。我潜入Paramiko源代码,发现它背后的罪魁祸首是_close(self,async=False)sftp_file.py方法任何帮助解决这个问题?

Update 2

如果超出时间限制,尝试关闭通道本身。然后将异常刷新到控制台,因为prefetch由单独的守护程序线程实现

 File "/scratch/divjaisw/python2.7/lib/python2.7/threading.py", line 801, in __bootstrap_inner
    self.run()
  File "/scratch/divjaisw/python2.7/lib/python2.7/threading.py", line 754, in run
    self.__target(*self.__args, **self.__kwargs)
  File "/scratch/divjaisw/python_virtual/lib/python2.7/site-packages/paramiko/sftp_file.py", line 488, in _prefetch_thread
    num = self.sftp._async_request(self, CMD_READ, self.handle, long(offset), int(length))
  File "/scratch/divjaisw/python_virtual/lib/python2.7/site-packages/paramiko/sftp_client.py", line 754, in _async_request
    self._send_packet(t, msg)
  File "/scratch/divjaisw/python_virtual/lib/python2.7/site-packages/paramiko/sftp.py", line 170, in _send_packet
    self._write_all(out)
  File "/scratch/divjaisw/python_virtual/lib/python2.7/site-packages/paramiko/sftp.py", line 133, in _write_all
    n = self.sock.send(out)
  File "/scratch/divjaisw/python_virtual/lib/python2.7/site-packages/paramiko/channel.py", line 715, in send
    return self._send(s, m)
  File "/scratch/divjaisw/python_virtual/lib/python2.7/site-packages/paramiko/channel.py", line 1081, in _send
    raise socket.error('Socket is closed')
error: Socket is closed
答案

你要求什么,实际上不是暂停。术语“超时”用于等待响应的限制。

但是你的服务器并没有停止响应。通讯是活跃的。


您要求的是对操作持续时间的限制。您很难预料到这一点很容易实现。这是一个特定的要求。你必须自己实现它。

你可以使用callbackget method参数:

def get(self, remotepath, localpath, callback=None):

在回调中,检查传输的持续时间并在时间限制到期时抛出异常。

这不会立即取消转移。为了优化传输性能,Paramiko将最多100个读取请求排入服务器(请参阅condition in the sftp_file._write)。一旦您尝试取消传输,Paramiko必须等待(最多100个)响应这些请求以清除队列。

以上是关于设置Paramiko模块的sftp.get()的时间限制的主要内容,如果未能解决你的问题,请参考以下文章

python sftp.get 同步远程文件夹 实践二

堡垒机--paramiko模块

windows下python安装paramiko模块和pycrypto模块(简单三步)

python第三方模块之paramiko模块

SSH与Python模块paramiko

python paramiko模块