Java实现多线程断点下载(下载过程中可以暂停)

Posted 潘侯爷

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Java实现多线程断点下载(下载过程中可以暂停)相关的知识,希望对你有一定的参考价值。

线程可以理解为下载的通道,一个线程就是一个文件的下载通道,多线程也就是同时开启好几个下载通道。当服务器提供下载服务时,使用下载者是共享带宽的,在优先级相同的情况下,总服务器会对总下载线程进行平均分配。不难理解,如果你线程多的话,那下载的越快。

现流行的下载软件都支持多线程,且支持中途暂停下载,再次开始时不会从头开始下载。

两种功能的实现步骤如下:

(1)连接到下载资源文件时,首先判断资源文件大小,同步的在本地创建一个大小相同的临时文件用于存储下载数据。

(2)根据线程数量确定每个线程所需下载的文件大小

(3)根据每个线程下载的文件大小以及线程数量,决定每个线程的开始下载位置以及结束下载位置

(4)为实现断点下载功能,需要对每个线程实时下载的位置做标记,方便下次开始时继续之前进度下载

开启3个线程下载视图(默认下载目录为java所辖项目):

整体实现代码如下(优化空间还有很大哦,大家不要只是看看就完事喽)

  1 import java.io.BufferedReader;
  2 import java.io.File;
  3 import java.io.FileInputStream;
  4 import java.io.InputStream;
  5 import java.io.InputStreamReader;
  6 import java.io.RandomAccessFile;
  7 import java.net.HttpURLConnection;
  8 import java.net.URL;
  9 public class DownLoad {
 10     // 声明下载路径“红色警戒2”
 11     public static final String PATH = "http://soft3.xzstatic.com/2015/10/hsjj2ghgzh.rar";
 12     public static int threadCount = 0;// 声明线程数量
 13     public static void main(String[] args) {
 14         try {
 15             URL url = new URL(PATH);
 16             // 获取连接
 17             HttpURLConnection conn = (HttpURLConnection) url.openConnection();
 18             // 通过获取连接定义文件名
 19             String[] str = PATH.split("/");
 20             String fileName = str[5];
 21             // 获取下载文件大小
 22             int fileLength = conn.getContentLength();
 23             System.out.println(fileName);
 24             // 在本地创建一个与服务器大小一致的可随机写入文件
 25             RandomAccessFile raf = new RandomAccessFile(fileName, "rwd");
 26             System.out.println(fileLength);// 测试用
 27             raf.setLength(fileLength);
 28             // 自定义线程数量
 29             threadCount = 3;
 30             // 计算每条线程下载数据的大小
 31             int blockSize = fileLength / threadCount;
 32             // 启动线程下载
 33             for (int threadId = 1; threadId <= threadCount; threadId++) {
 34                 // 核心代码,定义每个线程开始以及结束的下载位置
 35                 int startPos = (threadId - 1) * blockSize;// 开始下载的位置
 36                 int endPos = (threadId * blockSize) - 1;// 结束下载的位置(不包含最后一块)
 37                 if (threadCount == threadId) {
 38                     endPos = fileLength;
 39                 }
 40                 new Thread(new DownLoadThread(threadId, startPos, endPos, PATH))
 41                         .start();
 42             }
 43         } catch (Exception e) {
 44             e.printStackTrace();
 45         }
 46     }
 47 
 48     // 实现下载线程
 49     static class DownLoadThread implements Runnable {
 50         private int threadId;
 51         private int startPos;
 52         private int endPos;
 53         private String path;
 54         public DownLoadThread(int threadId, int startPos, int endPos,
 55                 String path) {
 56             super();
 57             this.threadId = threadId;
 58             this.startPos = startPos;
 59             this.endPos = endPos;
 60             this.path = path;
 61         }
 62         public void run() {
 63             try {
 64                 URL url = new URL(path);
 65                 String[] str = PATH.split("/");
 66                 String fileName = str[5];
 67                 HttpURLConnection conn = (HttpURLConnection) url
 68                         .openConnection();
 69                 // 设置URL请求的方法(具体参考API)
 70                 conn.setRequestMethod("GET");
 71                 // 设置500毫秒为超时值
 72                 conn.setReadTimeout(5000);
 73                 File file = new File(threadId + ".txt");
 74                 if (file.exists() && file.length() > 0) {
 75                     BufferedReader br = new BufferedReader(
 76                             new InputStreamReader(new FileInputStream(file)));
 77                     String saveStartPos = br.readLine();
 78                     if (saveStartPos != null && saveStartPos.length() > 0) {
 79                         startPos = Integer.parseInt(saveStartPos);
 80                     }
 81                 }
 82                 // 注意双引号内的格式,不能包含空格(等其他字符),否则报416
 83                 conn.setRequestProperty("Range", "bytes=" + startPos + "-"
 84                         + endPos);
 85                 RandomAccessFile raf = new RandomAccessFile(fileName, "rwd");// 存储下载文件的随机写入文件
 86                 raf.seek(startPos);// 设置开始下载的位置
 87                 System.out.println("线程" + threadId + ":" + startPos + "~~"
 88                         + endPos);
 89                 InputStream is = conn.getInputStream();
 90                 byte[] b = new byte[1024 * 1024 * 10];
 91                 int len = -1;
 92                 int newPos = startPos;
 93                 while ((len = is.read(b)) != -1) {
 94                     RandomAccessFile rr = new RandomAccessFile(file, "rwd");// 存储下载标记的文件
 95                     raf.write(b, 0, len);
 96                     // 将下载标记存入指定文档
 97                     String savaPoint = String.valueOf(newPos += len);
 98                     rr.write(savaPoint.getBytes());
 99                     rr.close();
100                 }
101                 is.close();
102                 raf.close();
103                 System.out.println("下载完成");
104             } catch (Exception e) {
105                 e.printStackTrace();
106             }
107         }
108     }
109 }

注意事项:

(1)理解每个线程下载的开始和结束位置的计算方法(不包含最后一个线程,从0开始)

开始位置=(线程数-1)*每个线程所要下载的文件长度(大小)

结束位置=(线程数*每个线程下载的文件大小)-1

(2)最后一个线程所分配的下载开始位置为上一个线程的结束位置,结束位置为文件长度。

所以最后一个线程所下载的文件长度一般不会与之前线程相同

(3)本次演示下载路径默认为java项目所在目录,而且目录中不能包含与下载文件同名的文件,不然程序会报416网络请求错误。

(4)我个人在实现时犯的一个错误conn.setRequestProperty("Range","bytes="+ startPos+"-"+endPos);一定要注意引号没一定不能有多余的空格以及其他字符,我就是在引号内多了个空格,但错误定位一直是inputStream错误,找错找的很痛苦大哭

以上是关于Java实现多线程断点下载(下载过程中可以暂停)的主要内容,如果未能解决你的问题,请参考以下文章

JAVA下实现多线程断点下载

Python实现下载界面(带进度条,断点续传,多线程多任务下载等)

Android多线程断点续传下载原理及实现

断点续传基本原理初了解

java多线程断点下载原理(代码实例演示)

Java之多线程断点下载的实现