关于使用URLConnection下载文件时出现无限等待线程挂起的问题

Posted 一步一步往上爬的小蜗牛

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于使用URLConnection下载文件时出现无限等待线程挂起的问题相关的知识,希望对你有一定的参考价值。

前言

      清明假期前,我们需要执行一个批量操作,把腾讯云的视频下载下来,使用python脚本压缩并转码后上传到腾讯云另一个桶。写完代码后,跑起来观察了一会,一切正常。

      然而回来后发现,线程卡住了,而且没有任何的日志输出,所以完全不知道问题出在哪里。重启容器后,代码继续正常跑,可是跑了几个小时后,再次出现。

问题排查

        代码如下:

public boolean downloadNet(String videoUrl, String filePath) throws Exception 
        URL url = new URL(videoUrl);
        URLConnection conn = null;
        try 
            conn = url.openConnection();
         catch (IOException e) 
            e.printStackTrace();
            return false;
        

        try 
            InputStream inStream = conn.getInputStream();
            //下载第三方链接视频到本地
            return FileUtil.videoDownLoadToFile(inStream, filePath);
         catch (IOException e) 
            e.printStackTrace();
        

        return false;
    

        首先可以确定,基本逻辑是没有问题,因为前几个小时代码都是可以按照预期正常运作的。问题是随着运行时间变长而出现的,并且控制台没有输出任何错误信息。所以我猜想是:

        ①线程死锁;

        ②资源耗尽,如资源没有正确释放,导致网络连接没有正确释放;

        ③其他原因。

        对于原因①,从代码上看是没有涉及多线程编程和共享资源争抢的,而且通过jstack的分析也没有发现有死锁,可以排除。

        对于原因②,由于是在脚本中循环下载,并且没有显式释放连接资源,会不会是这个原因呢?然后我进入了 URLConnection 的源码中,发现里面没有声明 close或者 disconnect 之类的方法,并且有这么一段注释:

* Invoking the @code close() methods on the @code InputStream or @code OutputStream of an
* @code URLConnection after a request may free network resources associated with this
* instance, unless particular protocol specifications specify different behaviours
* for it.

        大意是调用URLConnection的输入流或者输出流的close方法之后,是可以释放相关的网络资源的。而我在下载完文件到本地后是有关闭对应的输入流的,所以这也不是问题所在。那么问题出现在哪里呢?

        我继续查看URLConnection抽象类的源码,发现了这么一段描述:

/**
 * Returns setting for connect timeout.
 * <p>
 * 0 return implies that the option is disabled
 * (i.e., timeout of infinity).
 *
 * @return an @code int that indicates the connect timeout
 *         value in milliseconds
 * @see #setConnectTimeout(int)
 * @see #connect()
 * @since 1.5
 */
public int getConnectTimeout() 
    return connectTimeout;


/**
 * Sets the read timeout to a specified timeout, in
 * milliseconds. A non-zero value specifies the timeout when
 * reading from Input stream when a connection is established to a
 * resource. If the timeout expires before there is data available
 * for read, a java.net.SocketTimeoutException is raised. A
 * timeout of zero is interpreted as an infinite timeout.
 *
 *<p> Some non-standard implementation of this method ignores the
 * specified timeout. To see the read timeout set, please call
 * getReadTimeout().
 *
 * @param timeout an @code int that specifies the timeout
 * value to be used in milliseconds
 * @throws IllegalArgumentException if the timeout parameter is negative
 *
 * @see #getReadTimeout()
 * @see InputStream#read()
 * @since 1.5
 */
public void setReadTimeout(int timeout) 
    if (timeout < 0) 
        throw new IllegalArgumentException("timeout can not be negative");
    
    readTimeout = timeout;

        大意是当connectTimeout和readTimeout不设置值,也就是默认值为0时,连接主机超时和主机读取数据超时被设置为无穷时间。

问题解决

        至此,就可以定位到问题所在——程序在某一次连接或者读取数据时网络发生了异常,导致一直阻塞。

        解决方法也很简单,为连接增加设置连接超时和读取数据超时即可。

public boolean downloadNet(String videoUrl, String filePath) throws Exception 
        URL url = new URL(videoUrl);
        if ("https".equalsIgnoreCase(url.getProtocol())) 
            SslUtils.ignoreSsl();
        
        URLConnection conn = null;
        try 
            conn = url.openConnection();
            //设置 10 s 连接超时
            conn.setConnectTimeout(10 * 1000);
            //设置 2 min 读取数据超时
            conn.setReadTimeout(120 * 1000);
         catch (IOException e) 
            e.printStackTrace();
            return false;
        

        try 
            InputStream inStream = conn.getInputStream();
            return FileUtil.videoDownLoadToFile(inStream, filePath);
         catch (IOException e) 
            e.printStackTrace();
        

        return false;
    

        为连接配置connectTimeout和readTimeout后,脚本数据顺利刷完,再也没有出现阻塞的情况了。


参考链接:

        https://www.cnblogs.com/xiohao/p/8854113.html 

        https://blog.csdn.net/qq_34953641/article/details/62037679?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&dist_request_id=1328767.72334.16177105124228189&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control

        https://www.cnblogs.com/xiohao/p/8854113.html

                URLConnection的连接、超时、关闭用法总结_kydkong的博客-CSDN博客_urlconnection关闭Java中可以使用HttpURLConnection来请求WEB资源。         1、 URL请求的类别     分为二类,GET与POST请求。二者的区别在于:        a:) get请求可以获取静态页面,也可以把参数放在URL字串后面,传递给servlet,        b:) post与get的不同之处在于post的参数不是放在URL字串里面,而https://blog.csdn.net/kydkong/article/details/46964055?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_title~default-1.no_search_link&spm=1001.2101.3001.4242        https://blog.csdn.net/kydkong/article/details/46964055?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_title~default-1.no_search_link&spm=1001.2101.3001.4242https://blog.csdn.net/kydkong/article/details/46964055?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_title~default-1.no_search_link&spm=1001.2101.3001.4242
https://www.iteye.com/blog/frejus-2077975https://www.iteye.com/blog/frejus-2077975
HttpURLConnection 设置超时与释放资源_蓝月-CSDN博客_httpurlconnection 超时设置1.连接时间 等待时间的设置方法(1)全局设置 -- JDK 1.5以前的版本,只能通过设置这两个系统属性来控制网络超时。System.setProperty("sun.net.client.defaultConnectTimeout", 超时毫秒数字符串);System.setProperty("sun.net.client.defaultReadTimeout", 超时毫秒数字符串); (2局部设置)-- JDK 1.5及之后URL newurl = new URL(url);...https://lanyue.blog.csdn.net/article/details/117786720?utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-1.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-1.no_search_link
使用HttpURLConnection时遇到的资源未释放的问题_weixin_33924220的博客-CSDN博客http://blog.sina.com.cn/s/blog_56beadc60100j9zu.html今天自己写了一个压力测试的小程序,同时启100个线程,每个线程都串行地访问应用服务器上的一个jsp页面200次。在程序运行了一会儿以后,问题来了: java.net.SocketException: No buffer space available (maximum connecti...https://blog.csdn.net/weixin_33924220/article/details/86255959

        HttpURLConnection 设置超时与释放资源_蓝月-CSDN博客_httpurlconnection 超时设置1.连接时间 等待时间的设置方法(1)全局设置 -- JDK 1.5以前的版本,只能通过设置这两个系统属性来控制网络超时。System.setProperty("sun.net.client.defaultConnectTimeout", 超时毫秒数字符串);System.setProperty("sun.net.client.defaultReadTimeout", 超时毫秒数字符串); (2局部设置)-- JDK 1.5及之后URL newurl = new URL(url);...https://blog.csdn.net/ITlanyue/article/details/117786720

        一定要为HttpUrlConnection设置connectTimeout属性以防止连接被阻塞 - aLa神灯 - 博客园需要给连接代码追加一个超时设置,即通过以下设置代码追加一个超时期限: conn.setConnectTimeout(3000); 这时,我们设置为超时时间为3秒,如果3秒内不能连接就被认为是有错误发生https://www.cnblogs.com/lxh520/p/8413665.html 

以上是关于关于使用URLConnection下载文件时出现无限等待线程挂起的问题的主要内容,如果未能解决你的问题,请参考以下文章

关于使用URLConnection下载文件时出现无限等待线程挂起的问题

关于使用URLConnection下载文件时出现无限等待线程挂起的问题

为啥在 Jupyter 笔记本中调用 cv2.imshow() 时出现无响应窗口

centOS 6.6 中安装cmake时出现无C++程序可关联

使用URLConnection下载文件或图片并保存到本地

iOS开发之网络编程--使用NSURLConnection实现大文件断点续传下载