Android 多线程断点续传同时下载多个大文件

Posted 星辰

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Android 多线程断点续传同时下载多个大文件相关的知识,希望对你有一定的参考价值。

最近学习在Android环境中一些网络请求方面的知识,其中有一部分是关于网络下载方面的知识。在这里解析一下自己写的demo,总结一下自己所学的知识。下图为demo的效果图,仿照一些应用下载商城在ListView中列出加载项,然后可以可以下载和停止。

技术分享

1.概述

这里有几个比较重要的类DownloadManager、DownloadService、DownloadTask、ThreadDAOImpl。主要的下载流程如下。
(1) DownloadManager 负责下载任务的调配,以及下载服务DownloadService的启动
(2) DownloadService 主获取下载文件的的一些信息,包括文件的名字、文件的长度等,并创建下载任务DownloadTask
(3) DownloadTask 是正式下载文件的类,首先查看数据库里有没保存过相应的断点,并从相应的断点开始下载,如果没有则将文件分段,并启动下载
(4) ThreadDAOImpl 数据库操作类,主要是保存线程下载的断点信息

2.多线程断点续传

当然这里最核心的部分就是多线程断点续传,原来不是很难,就是将要下载的文件分割成多个部分,每个部分使用的不同的线程同时下载。

2.1获取下载文件长度,设置本地文件

在DownloadService 设置下载文件的信息,如下一段代码:

 class InitThread extends Thread {
//        FileInfo fileInfo;
        TaskInfo taskInfo;
        public InitThread (TaskInfo taskInfo) {
            this.taskInfo = taskInfo;
        }
        @Override
        public void run() {
            super.run();
            Log.i(tag,"InitThread");
            try {
                URL url = new URL(taskInfo.getUrl());
                HttpURLConnection con = (HttpURLConnection) url.openConnection();
                con.setRequestMethod("GET");
                con.setConnectTimeout(5000);
                if(con.getResponseCode() ==  HttpURLConnection.HTTP_OK) {
                    int len = con.getContentLength(); <span style="color:#ff0000;">//文件的总长度</span>
                    taskInfo.setLenght(len);
                    if(len <= 0) {
                        return;
                    }
                  …………此处省略部分
                    //start 设置下载文件
                   <span style="color:#ff6666;"> RandomAccessFile accessFile = new RandomAccessFile(new File(taskInfo.getFilePath(),taskInfo.getFileName()),"rwd");
                    accessFile.setLength(len); //设置文件长度</span>
                    accessFile.close();
                    //end 设置下载文件
                …………此处省略部分
                   
                }
            } catch (MalformedURLException e) {
                e.printStackTrace();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

2.2 文件分段

接下的工作是分段下载
举个列子一个10M的文件,分成三份求整10/3 = 3,前面的一二份分别是3M,最后一份是4M。所以第一份从0~2.9,第二份是从3~5.9,第三份是从6~10,这里只是粗来的说明。接下来看代码,在DownloadTask中有如下有如下代码:

/**
 * 启动下载
 */
public void downlaod() {

     …………此处省略部分
    //start 数据库没有对应的线程信息,则创建相应的线程信息
    if(threadInfoList.size() <=0) {
        <span style="color:#ff6666;">int block = mTaskInfo.getLenght()/mThreadCount; //将下载文件分段,每段的长度</span>
        if(block > 0) {
            //start 根据线程数量分别建立线程信息
            for(int i = 0;i < mThreadCount;i++) {
                ThreadInfo info = new ThreadInfo(i,mTaskInfo.getUrl(),i*block,(i+1)*block-1,0);
                if(i == mThreadCount -1) {
                   <span style="color:#ff0000;"> info.setEnd(mTaskInfo.getLenght()); //分段最后一个,结束位置到文件总长度末尾</span>
                }
                threadInfoList.add(info);         //加入列表
                mThreadDao.insertThread(info);   //向数据库插入线程信息
            }
            //end 根据线程数量分别建立线程信息
        }else {
            ThreadInfo info = new ThreadInfo(0,mTaskInfo.getUrl(),0,mTaskInfo.getLenght(),0);
            threadInfoList.add(info);
            mThreadDao.insertThread(info);
        }
    }
    //end 数据库中没有对应的线程信息,则创建相应的线程信息

    …………此处省略部分
}

2.3下载线程

下面是主要的下载文件的线程

主要的是设置开始读取和结束的地方:

con.setRequestProperty("Range", "bytes=" + start + "-" + threadInfo.getEnd()); //设置读取文件的位置,和结束位置

写入本地文件的地方:

accessFile.seek(start);    //设置开始写入的位置
/**
     * 下载线程
     */
    class DownloadThread extends  Thread {
        …………此处省略部分
        @Override
        public void run() {
                …………此处省略部分
                    int start = threadInfo.getStart()+threadInfo.getFinished(); //读取文件的位置
                    //start 初始化下载链接
                    …………此处省略部分                    
con.setRequestProperty("Range", "bytes=" + start + "-" + threadInfo.getEnd()); //设置读取文件的位置,和结束位置
                    //end 初始化下载链接
                    //start 初始化下载到本地的文件
                    <span style="color:#ff0000;">accessFile  = new RandomAccessFile(new File(mTaskInfo.getFilePath(), mTaskInfo.getFileName()),"rwd");
                    accessFile.seek(start);    //设置开始写入的位置</span>
                    //end 初始化下载到本地的文件

                   …………此处省略部分                      
  while((readLen = inputStream.read(buffer))!=-1) {
                          <span style="background-color: rgb(255, 255, 255);"><span style="color:#ff0000;">  accessFile.write(buffer, 0, readLen);</span></span>
//                            Log.i(tag, "readLen = " + readLen);
                            finished += readLen;
                            threadInfo.setFinished(finished);    //设置已经下载进度
                            if(System.currentTimeMillis() - time >2000) {
//                                Log.i(tag, "readLen = " + readLen);
                                notifyProgress(threadInfo.getId(), finished); //每隔2秒通知下载进度
                                time = System.currentTimeMillis();
                            }
                            //start 停止下载,保存进度
                            if(isPause) {
                                Log.i(tag,"pause name = "+mTaskInfo.getFileName());
                                notifyProgress(threadInfo.getId(), finished);        //通知下载进度
                                mThreadDao.updateThread(threadInfo.getUrl(),threadInfo.getId(),finished);  //更新数据库对应的线程信息
                                return;
                            }
                            //end 停止下载,保存进度
                        }
                        //end 读取输入流写入文件

                 …………此处省略部分                    }
                } catch (MalformedURLException e) {
                    e.printStackTrace();
                } catch (ProtocolException e) {
                    e.printStackTrace();
                } catch (IOException e) {
                    e.printStackTrace();
                }finally {

                         …………此处省略部分
                }
            super.run();
        }
    }
 

2.4保存断点

在上面的DownloadThread下载线程中保存断点信息,是使用数据库形式保存的。

mThreadDao.updateThread(threadInfo.getUrl(),threadInfo.getId(),finished);  //更新数据库对应的线程信息

3其他辅助类

(1) 数据库操作类ThreadDAOImpl,断点信息的增、改、查、删。
(2) 回调接口OnDownload,下载进度以及下载完成
(3) 下载任务信息TaskInfo
(4) 线程信息ThreadInfo

4线程池

由于使用到多线程同时下载,这里在使用了线程池管理。在DownloadService类中创建并初始化线程池,按照CPU核心数量乘以2再加1设置线程池中线程的数量
mThreadPool = Executors.newFixedThreadPool(getNumberOfCPUCores()*2+1);  //初始化线程
在下载时使用三个线程同时下载
DownloadTask task = new DownloadTask(DownloadService.this,info,mThreadPool,3); //建立下载任务,3个线程同时下载

由于线程池内的线程数量是有限的,当启动下载之后有空闲的线程会马上执行,如果没有就只能等待下载任务完成再下载。

 

以上是关于Android 多线程断点续传同时下载多个大文件的主要内容,如果未能解决你的问题,请参考以下文章

Android 多线程下载,断点续传,线程池

android开发笔记之多线程下载及断点续传

Android 多线程断点续传下载

断点续传基本原理初了解

Android(十五)多线程下载包括断点续传

⭐Python实现多线程并发下载大文件(制作支持断点续传的下载器的绝佳参考⁉️)⭐