一、在谈多线程之前,就必须要先说下http协议,才能更好的理解多线程,下面简单讲解下http的请求与响应:
1、对于HTTP协议,向服务器请求某个文件时,只要发送类似如下的请求即可:
GET /Path/FileName HTTP/1.0
Host: www.server.com:80
Accept: */*
User-Agent: GeneralDownloadApplication
Connection: close
请求行以一个方法符号开头,以空格分开,后面跟着请求的URI和协议的版本,格式如下:Method Request-URI HTTP-Version CRLF
其中 Method表示请求方法;Request-URI是一个统一资源标识符;HTTP-Version表示请求的HTTP协议版本;CRLF表示回车和换行(除了作为结尾的CRLF外,不允许出现单独的CR或LF字符)。
1.1、请求方法(所有方法全为大写)有多种,各个方法的解释如下:
GET 请求获取Request-URI所标识的资源
POST 在Request-URI所标识的资源后附加新的数据
HEAD 请求获取由Request-URI所标识的资源的响应消息报头
PUT 请求服务器存储一个资源,并用Request-URI作为其标识
DELETE 请求服务器删除Request-URI所标识的资源
TRACE 请求服务器回送收到的请求信息,主要用于测试或诊断
CONNECT 保留将来使用
OPTIONS 请求查询服务器的性能,或者查询与资源相关的选项和需求
1.2、应用举例:
GET方法:在浏览器的地址栏中输入网址的方式访问网页时,浏览器采用GET方法向服务器获取资源,eg:GET /form.html HTTP/1.1 (CRLF)
POST方法要求被请求服务器接受附在请求后面的数据,常用于提交表单。
eg:POST /reg.jsp HTTP/ (CRLF)
Accept:image/gif,image/x-xbit,… (CRLF)
…
HOST:www.guet.edu.cn (CRLF)
Content-Length:22 (CRLF)
Connection:Keep-Alive (CRLF)
Cache-Control:no-cache (CRLF)
(CRLF) //该CRLF表示消息报头已经结束,在此之前为消息报头
user=jeffrey&pwd=1234 //此行以下为提交的数据
HEAD方法与GET方法几乎是一样的,对于HEAD请求的回应部分来说,它的HTTP头部中包含的信息与通过GET请求所得到的信息是相同的。利用这个方法,不必传输整个资源内容,就可以得到Request-URI所标识的资源的信息。该方法常用于测试超链接的有效性,是否可以访问,以及最近是否更新。
2、如果服务器成功收到该请求,并且没有出现任何错误,则会返回类似下面的数据:
HTTP/1.0 200 OK
Content-Length: 13057672
Content-Type: application/octet-stream
Last-Modified: Wed, 10 Oct 2005 00:56:34 GMT
Accept-Ranges: bytes
ETag: “2f38a6cac7cec51:160c”
Server: Microsoft-IIS/6.0
X-Powered-By: ASP.NET
Date: Wed, 16 Nov 2005 01:57:54 GMT
Connection: close
状态行格式如下:HTTP-Version Status-Code Reason-Phrase CRLF
其中,HTTP-Version表示服务器HTTP协议的版本;Status-Code表示服务器发回的响应状态代码;Reason-Phrase表示状态代码的文本描述。
状态代码有三位数字组成,第一个数字定义了响应的类别,且有五种可能取值:
1xx:指示信息–表示请求已接收,继续处理
2xx:成功–表示请求已被成功接收、理解、接受
3xx:重定向–要完成请求必须进行更进一步的操作
4xx:客户端错误–请求有语法错误或请求无法实现
5xx:服务器端错误–服务器未能实现合法的请求
常见状态代码、状态描述、说明:
200 OK //客户端请求成功
400 Bad Request //客户端请求有语法错误,不能被服务器所理解
401 Unauthorized //请求未经授权,这个状态代码必须和WWW-Authenticate报头域一起使用
403 Forbidden //服务器收到请求,但是拒绝提供服务
404 Not Found //请求资源不存在,eg:输入了错误的URL
500 Internal Server Error //服务器发生不可预期的错误
503 Server Unavailable //服务器当前不能处理客户端的请求,一段时间后可能恢复正常
eg:HTTP/1.1 200 OK (CRLF)
更多关于http的协议详解,请参考这篇文章,写得十分不错:
二、多线程下载的基本逻辑:
A、首先在本地创建一个与服务器文件大小相同的临时文件()。
B、计算分配几个线程去下载服务器上的资源,知道每个线程下载文件的起始位置。
那么这个起始位置怎么计算呢?
文件长度/线程个数= 每个线程下载文件的大小。那么
线程1下载的位置:0~每个线程下载文件的大小-1.
线程2:以此类推
那么就是i线程的下载起始位置: (i-1)*每个线程下载文件的大小
C、开启多个线程,每一个线程下载对应位置的文件。
D、如果所有的线程都把自己的数据下载完毕了,服务器上的资源就被下载到本地了。
E、当文件都下载到本地了,那么还有一个文件就是把各个线程下载的文件如何串起来。那么就要利用到一个类:RandomAccessFile 随机文件访问类。
代码如下:
import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;
public class Demo {
public static int threadCount = 3;
/**
* @param args
*/
public static void main(String[] args) throws Exception {
// 连接服务器,获取文件长度,在本地创建一个大小和服务器一样大的临时文件
String path = “http://192.168.1.100:8080/360.exe”;
URL url = new URL(path);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setConnectTimeout(5000);
conn.setRequestMethod(“GET”);
int code = conn.getResponseCode();
if (code == 200) {
// 服务器返回的数据的长度,实际上就是文件的长度
int length = conn.getContentLength();
System.out.println(“文件总长度:” + length);
RandomAccessFile raf = new RandomAccessFile(“setup.exe”, “rwd”);
// 指定创建的文件的长度
raf.setLength(length);
raf.close();
// 在客户端本地
// 假设3个线程去下载资源
// 平均每一个线程下载的文件的大小。
int blockSize = length / threadCount;
for (int threadId = 1; threadId <= threadCount; ++threadId) {
// 第一个线程下载的开始位置
int startIndex = (threadId – 1) * blockSize;
int endIndex = blockSize – 1;
if (threadId == threadCount) {
// 最后一个线程下载的长度稍微长一点
endIndex = length;
}
System.out.println(“线程:” + threadId + “下载:–” + startIndex
+ “–>” + endIndex);
new DownLoadThread(threadId, startIndex, endIndex, path)
.start();
}
} else {
System.out.println(“访问错误”);
}
}
/**
* 下载文件的子线程,每个线程下载对应的文件
*
*/
public static class DownLoadThread extends Thread {
private int threadId;
private int startIndex;
private int endIndex;
private String path;
/**
* @param threadId线程ID
* @param startIndex
* @param endIndex
* @param path
* 下载文件在服务器上的路径
*/
public DownLoadThread(int threadId, int startIndex, int endIndex,
String path) {
this.threadId = threadId;
this.startIndex = startIndex;
this.endIndex = endIndex;
this.path = path;
}
@Override
public void run() {
try {
URL url = new URL(path);
HttpURLConnection conn = (HttpURLConnection) url
.openConnection();
conn.setRequestMethod(“GET”);
// 很重要:请求服务器下载部分的文件的指定的位置:
conn.setRequestProperty(“Range”, “bytes=” + startIndex + “-“
+ endIndex);
conn.setConnectTimeout(5000);
int code = conn.getResponseCode();// 从服务器请求全部资源 200ok ,如果请求部分资源
// 206 ok
System.out.println(“code=” + code);
InputStream is = conn.getInputStream();// 返回资源
RandomAccessFile raf = new RandomAccessFile(“setup.exe”, “rwd”);
// 随机写文件的时候从哪个位置开始写
raf.seek(startIndex);// 定位文件
int len = 0;
byte[] buffer = new byte[1024];
while ((len = is.read(buffer)) != -1) {
raf.write(buffer, 0, len);
}
is.close();
raf.close();
System.out.println(“线程” + threadId + “下载完毕”);
} catch (Exception e) {
e.printStackTrace();
}
}
}
}
三、以上就是通过HTTP协议实现文件下载的全过程。但还不能实现断点续传,而实际上断点续传的实现非常简单,只要在请求中加一个Range字段就可以了。
假如一个文件有1000个字节,那么其范围就是0-999,则:
Range: bytes=500- 表示读取该文件的500-999字节,共500字节。
Range: bytes=500-599 表示读取该文件的500-599字节,共100字节。
Range还有其它几种写法,但上面这两种是最常用的,对于断点续传也足矣了。如果HTTP请求中包含Range字段,那么服务器会返回206(Partial Content),同时HTTP头中也会有一个相应的Content-Range字段,类似下面的格式:
Content-Range: bytes 500-999/1000
Content-Range字段说明服务器返回了文件的某个范围及文件的总长度。这时Content-Length字段就不是整个文件的大小了,而是对应文件这个范围的字节数,这一点一定要注意。
最后附上融合多线程和断点续传的代码:
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import org.xml.sax.InputSource;
public class TestDownload {
public static final String path = “http://192.168.1.247:8080/youdao.exe”;
public static void main(String[] args) throws Exception {
URL url = new URL(path);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestMethod(“GET”);
conn.setConnectTimeout(5000);
conn.setRequestProperty(“User-Agent”,
“Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)”);
int code = conn.getResponseCode();
if (code == 200) {
int len = conn.getContentLength();
RandomAccessFile file = new RandomAccessFile(“/mnt/sdcard/”+getFilenName(path),
“rwd”);
// 1.设置本地文件大小跟服务器的文件大小一致
file.setLength(len);
// 2 .假设开启3 个线程
int threadnumber = 3;
int blocksize = len / threadnumber;
/**
* 线程1 0~ blocksize 线程2 1*bolocksize ~ 2*blocksize 线程3 2*blocksize ~
* 文件末尾
*/
for (int i = 0; i < threadnumber; i++) {
int startposition = i * blocksize;
int endpositon = (i + 1) * blocksize;
if (i == (threadnumber – 1)) {
// 最后一个线程
endpositon = len;
}
DownLoadTask task = new DownLoadTask(i, path, startposition,
endpositon);
task.start();
}
}
}
public static String getFilenName(String path) {
int start = path.lastIndexOf(“/”) + 1;
return path.substring(start, path.length());
}
}
class DownLoadTask extends Thread {
public static final String path = “http://192.168.1.247:8080/youdao.exe”;
int threadid;
String filepath;
int startposition;
int endpositon;
public DownLoadTask(int threadid, String filepath, int startposition,
int endpositon) {
this.threadid = threadid;
this.filepath = filepath;
this.startposition = startposition;
this.endpositon = endpositon;
}
@Override
public void run() {
try {
File postionfile = new File(threadid + “.txt”);
URL url = new URL(filepath);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
System.out.println(“线程” + threadid + “正在下载 ” + “开始位置 : “
+ startposition + “结束位置 ” + endpositon);
if (postionfile.exists()) {
FileInputStream fis = new FileInputStream(postionfile);
byte[] result = StreamTool.getBytes(fis);
int newstartposition = Integer.parseInt(new String(result));
if (newstartposition > startposition) {
startposition = newstartposition;
}
}
// “Range”, “bytes=2097152-4194303”)
conn.setRequestProperty(“Range”, “bytes=” + startposition + “-“
+ endpositon);
conn.setRequestMethod(“GET”);
conn.setConnectTimeout(5000);
conn.setRequestProperty(“User-Agent”,
“Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)”);
InputStream is = conn.getInputStream();
RandomAccessFile file = new RandomAccessFile(getFilenName(path),
“rwd”);
// 设置 数据从文件哪个位置开始写
file.seek(startposition);
byte[] buffer = new byte[1024];
int len = 0;
// 代表当前读到的服务器数据的位置 ,同时这个值已经存储的文件的位置
int currentPostion = startposition;
// 创建一个文件对象 ,记录当前某个文件的下载位置
while ((len = is.read(buffer)) != -1) {
file.write(buffer, 0, len);
currentPostion += len;
// 需要把currentPostion 信息给持久化到存储设备
String position = currentPostion + “”;
FileOutputStream fos = new FileOutputStream(postionfile);
fos.write(position.getBytes());
fos.flush();
fos.close();
}
file.close();
System.out.println(“线程” + threadid + “下载完毕”);
// 当线程下载完毕后 把文件删除掉
if (postionfile.exists()) {
postionfile.delete();
}
} catch (Exception e) {
e.printStackTrace();
}
super.run();
}
public static String getFilenName(String path) {
int start = path.lastIndexOf(“/”) + 1;
return path.substring(start, path.length());
}
}
欢迎加入IT怪圈。一个我们自己的圈子。