多线程下载的原理

Posted 2022-12-21 呼啸

假如我们把一个服务器上的文件看作是一个水缸里的水的话，那么多线程下载就相当于从水缸上打了多个小孔，然后塞进去小管道进行抽水。呵呵，也许这个比喻不够准确。多线程下载大致可分为以下几个步骤：

一、首先在本地创建一个与服务器文件大小相同的临时文件(这个很好理解，如果我想下个2G的电影，我得给先在本地占用2G的空间，不然不能下着下着没空间了是吧)。

二、计算分配几个线程去下载服务器上的资源，知道每个线程下载文件的起始位置。

  那么这个起始位置怎么计算呢？

文件长度/线程个数= 每个线程下载文件的大小。那么

线程1下载的位置：0~每个线程下载文件的大小-1.

线程2：以此类推

那么就是i线程的下载起始位置： (i-1)*每个线程下载文件的大小

三、开启多个线程，每一个线程下载对应位置的文件。

四、如果所有的线程都把自己的数据下载完毕了，服务器上的资源就被下载到本地了。

五、当文件都下载到本地了，那么还有一个文件就是把各个线程下载的文件如何串起来。那么就要利用到一个类：RandomAccessFile 随机文件访问类。

代码如下：

import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;


public class Demo 
	public static int threadCount = 3;
	/**
	 * @param args
	 */
	public static void main(String[] args) throws Exception
		//连接服务器，获取文件长度，在本地创建一个大小和服务器一样大的临时文件
		String path ="http://192.168.1.100:8080/360.exe";
		URL url = new URL(path);
		HttpURLConnection conn = (HttpURLConnection) url.openConnection();
		conn.setConnectTimeout(5000);
		conn.setRequestMethod("GET");
		int code = conn.getResponseCode();
		if(code==200)
			//服务器返回的数据的长度，实际上就是文件的长度
			int length = conn.getContentLength();
			System.out.println("文件总长度:"+length);
			RandomAccessFile raf = new RandomAccessFile("setup.exe", "rwd");
			//指定创建的文件的长度
			raf.setLength(length);
			raf.close();
			//在客户端本地 
			//假设3个线程去下载资源
			//平均每一个线程下载的文件的大小。
			int blockSize = length / threadCount;
			
			for(int threadId=1;threadId<=threadCount;++threadId)
				//第一个线程下载的开始位置
				int startIndex = (threadId-1)*blockSize;
				int endIndex = blockSize - 1;
				if(threadId==threadCount)
					//最后一个线程下载的长度稍微长一点
					endIndex = length;
				
				System.out.println("线程:"+threadId+"下载:--"+startIndex+"-->"+endIndex);
			    new DownLoadThread(threadId, startIndex, endIndex, path).start();
			
		else
			System.out.println("访问错误");
		
		
	
	
	/**
	 * 下载文件的子线程，每个线程下载对应的文件
	 *
	 */
	public static class DownLoadThread extends Thread
		private int threadId;
		private int startIndex;
		private int endIndex;
		private String path;
		/**
		 * @param threadId线程ID
		 * @param startIndex
		 * @param endIndex
		 * @param path 下载文件在服务器上的路径
		 */
		public DownLoadThread(int threadId, int startIndex, int endIndex,String path) 
			this.threadId = threadId;
			this.startIndex = startIndex;
			this.endIndex = endIndex;
			this.path = path;
		

		@Override
		public void run() 
			try
				URL url = new URL(path);
				HttpURLConnection conn = (HttpURLConnection) url.openConnection();
				conn.setRequestMethod("GET");
				//很重要：请求服务器下载部分的文件的指定的位置：
				conn.setRequestProperty("Range", "bytes="+startIndex+"-"+endIndex);
				conn.setConnectTimeout(5000);
				int code  = conn.getResponseCode();//从服务器请求全部资源 200ok ,如果请求部分资源 206 ok
				System.out.println("code="+code);
				
				InputStream is = conn.getInputStream();//返回资源
				RandomAccessFile raf = new RandomAccessFile("setup.exe", "rwd");
				//随机写文件的时候从哪个位置开始写
				raf.seek(startIndex);//定位文件
				
				int len =0;
				byte[] buffer = new byte[1024];
				while((len = is.read(buffer)) != -1)
					raf.write(buffer,0,len);
				
				is.close();
				raf.close();
				System.out.println("线程"+threadId+"下载完毕");
				
			catch(Exception e)
				e.printStackTrace();