HTTP协议报文工作原理及Java中的HTTP通信技术详解

Posted jobs-lgy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HTTP协议报文工作原理及Java中的HTTP通信技术详解相关的知识,希望对你有一定的参考价值。

一、web及网络基础

      1、HTTP的历史
           1.1、HTTP的概念:
                HTTP(Hyper Text Transfer Protocol,超文本传输协议)是一种通信协议,它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器。
                它是一个应用层协议,承载于TCP之上。由请求和响应构成,是一个标准的客户端服务器模型
           1.2、HTTP的发展历史:
                作为Web文档传输协议的HTTP,它的版本更新十分缓慢,目前只更新了三个版本:
                HTTP/0.9:  1990年,并未建立标准
                HTTP/1.0:  1996年5月,
                HTTP/1.1:  1997年1月,目前主流的HTTP版本
           1.2、HTTP在Web应用中的重要性:
                HTTP协议是整个Web基础,许多应用都离不开对HTTP协议的认识:
                WebService = HTTP + XML
                Reset = HTTP + JSON
                各种API的实现:HTTP + XML/JSON
                采集、小偷站
                QQ、迅雷等桌面应用软件
      2、网络基础TCP/IP协议
            2.1、协议的概念:
                 协议是指计算机通信网络中,两台计算机进行通信,所必须遵循的规定或规则。
                 计算机网络中有各种各样的协议,比如TCP协议、IP协议、HTTP协议、FTP协议等等,像这样把与互联网相关联的协议集合起来,就成为TCP/IP协议族
                 技术分享图片
            2.2、TCP/IP的分层管理
                 应用层:负责处理特定的应用程序,如FTP、DNS、HTTP等。
                 传输层:对上层应用层提供处于网络连接中两台计算机之间的数据连接。该层有两种协议:TCP和UDP。
                 网络层:处理网络上流动的数据报。该层协议有:IP、ICMP、IGMP。
                 数据链路层:处理连接网络的硬件部分。包括操作系统、硬件设备驱动、网卡、光纤等。
            2.3、TCP/IP通信传输流程
                 技术分享图片
      3、IP、TCP、DNS与HTTP的密切关系
            3.1、IP协议的概念与作用
                 IP(Internet Protocol),网际协议,位于网络层
                 把各种数据包传送给对方。最重要的两个条件是IP地址和MAC地址(MAC地址基本不会改变,但可以通过软件改变)
                 ARP地址解析协议:根据IP地址查出MAC地址
            3.2、TCP协议的概念与作用
                 TCP(Transmission Control Protocol),传输控制协议,位于传输层。
                 提供可靠的字节流服务,通过三次握手策略
            3.3、TCP协议的三次握手过程
                 技术分享图片
            3.4、DNS的概念与作用
                 DNS(Domain Name System),域名解析系统,位于应用层。
                 提供域名到IP地址之间的解析服务
            3.5、HTTP与TCP、IP和DNS的关系
                 HTTP生成请求报文需要通过DNS解析出IP找到服务器,通过TCP传输请求。
      4、URI和URL的概念
            4.1、URI的概念:
                 URI(Uniform Resource Identifier),统一资源标识符,是一个用于标识某一互联网资源名称的字符串。
            4.2、URL的概念:
                 URL(Uniform Resource Location),统一资源定位符,它描述一台特定服务器上某特定资源的特定位置。
            4.3、URI与URL的关系:
                 URI用字符串标识某一互联网资源,而URL代表资源的地址,由此可见,URL是URI的子集。
                 URI由两个主要的子集URL和URN构成
            4.4、URI的格式,由9部分构成              
                   
                  http:协议方案名,获取资源是要指定协议类型
                user:pass:登录信息(认证),指定用户名和密码,可选。
                  www.example.com:服务器地址
                  80:端口号,可选
                  /home/index.html:文件路径
                  age=11:参数组件,为应用程序提供访问资源所需的附加信息
                  查询字符串:针对已指定的文件路径内的资源,可以使用查询字符串穿入任意参数,可选(分页case)
                  mask:片段标识符,通常可标记出已获取资源中的子资源(文档内的某一个位置),可选
 
二、细说HTTP的报文格式和工作流程
      1、HTTP请求报文和响应报文的格式
           1.1、HTTP事务和报文流的概念
                HTTP事务 = 请求命令 + 响应结果
                技术分享图片
           1.2、请求报文的格式(抓包工具,fiddler)
                请求行:   请求方式(大写)    请求URL    版本
                请求首部: 名: 值
                空行:
                报文主体:
                请求首部也叫消息头,其中字段名不区分大小写,习惯驼峰式,字段可按任意顺序排列,有些可接受多个值选项,有些字段可出现多次
                1.2.1、请求方式:GET、POST、HEAD、OPTIONS、DELETE、PUT
                                默认发GET请求,如在浏览器直接输入地址访问,点超链接访问都是get,用户如想把请求方式改为post,可通过更改表单的提交方式实现。POST与GET方式的区别:传递参数的方式;传递数据量大小
                1.2.2、常用请求头:
                       Accept: 浏览器可接受的MIME类型  */* (大类型)/(小类型)
                       Accept-Charset:告诉服务器,浏览器支持哪种字符集
                       Accept-Encoding:浏览器能够进行解码的数据编码方式,比如gzip
                       Accept-Language:浏览器所希望的语言种类
                       Host:初始URL中的主机和端口
                       Referer:包含一个URL,用户从该URL代表的页面发出访问当前请求的页面
                       Content-Type:内容类型
                       If-Modified-Since:值为一个GMT标准时间,如果在该时间到目前,请求文件没有更改,则服务器告诉浏览器可以直接从缓存中读取文件
                       User-Agent:用户的浏览器类型,操作系统等信息
                       Content-Length:表示请求消息正文的长度
                       Connection:如果值为Keep-Alive,表示需要持久连接,HTTP 1.1默认进行持久连接
                       Cookie:这是最重要的请求头信息之一,但是由于该技术存在安全隐患等原因,该功能被Session取代
                       Date:值为GMT时间,表示请求时间
           1.3、响应报文的格式 
                响应行:   协议版本      状态码     原因短语
                响应首部:
                空行:
                报文主体:
                1.3.1、状态码:用于表示服务器对请求的各种不同处理结果和状态,它是一个三位的十进制数。响应状态码分为5类:
                       技术分享图片
                1.3.2、常用状态码:
                       200:正常
                       301:永久重定向  
                       302/307:临时重定向
                       304:未修改,可以使用缓存,无需再次修改
                       404:资源找不到
                       500:服务器内部错误
                       关于更多状态码,请参考博客:http响应状态码大全
                1.3.3、常用响应头:
                       Location:http://cn.bing.com/ 指示新的资源位置
                       Server:apache tomcat 指示服务器的类型
                       Content-Encoding: gzip 服务器发送数据采用的编码类型
                       Content-Length:80 告诉浏览器正文的长度
                       Content-Language:zh-cn 服务器发送的文本的语言
                       Content-Type:text/html;charset=GB2312 服务器发送内容的MIME类型
                       Last-Modified:GMT时间 文件最后修改的时间
                       Refresh:1;url=http://www.baidu.com 指示客户端刷新频率,单位是秒
                       Content-Disposition:attachment;filename=aaa.zip 指示客户端下载文件
                       Set-Cookie:SS=Q0=5Lb_nQ;path=/search 服务器发送的Cookie
                       Expires: GMT时间  表示过期时间,其值为0或-1表示禁止缓存
                       Cache-Control:no-cache(1.1) 表示进制缓存
                       Connection:close/Keep-Alive
                       Date: GMT时间
      2、HTTP的工作流程
            2.1、整个流程步骤
                 技术分享图片
            2.2、域名解析过程
                 技术分享图片
            2.3、三次握手过程
            2.4、发起HTTP请求
            2.5、响应HTTP请求并得到HTML代码
            2.6、浏览器解析HTML代码
            2.7、浏览器对页面进行渲染呈现给用户
      3、HTTP1.0与HTTP1.1的区别
            3.1、HTTP1.0的基本运行方式:
                    一个事务分为四个过程:建立连接、浏览器发出请求信息、服务器发出响应信息、关闭连接。每次连接只处理一个请求和响应。对每一个文件的访问,浏览器与服务器都要建立一次单独的连接
            3.2、HTTP1.1的特点
                    在一个TCP连接上可以传送锁哥HTTP请求和响应
                    多个请求和响应过程可以重叠
                    增加了更多的请求头和响应头,比如Host、If-Unmodified-Since请求头等
      4、使用Telnet连接的实例
            Telnet协议是TCP/IP协议族中的一员,是Internet远程登录服务的标准协议和主要方式。为用户提供了在本地计算机上完成远程主机工作的能力。在终端电脑上使用telnet程序,用它连接到服务器
 
三、Java中的HTTP通信
      1、使用HTTP的Get方式读取网络数据
     
技术分享图片
class ReadByGet extends Thread{    @Override    public void run(){        URL url = new URL("网址");//如果有参数,在网址中携带参数        URLConnection conn = url.openConnection();        InputStream is = conn.getInputStream();        InputStreamReader isr = new InputStreamReader(is);        BufferedReader br = new BufferedReader(isr);                String line;        StringBuilder builder = new StringBuilder();        while((line=br.readLine())!=null){              builder.append(line);        }        br.close();        isr.cloae();        is.close();                System.out.println(builder.toString);    }}public static void main(String[] args){    new ReadByGet().start();} 
技术分享图片

      2、使用HTTP的Post方式与网络交互通信  

技术分享图片
Class ReadByPost extends Thread{     @override     public void run(){         URL url = new URL("网址");         HttpURLConnection conn = (HttpURLConnection)url.openConnection();         conn.addRequestProperty("encoding","UTF-8");         conn.setDoInput(true);         Conn.setDoOutput(true);         conn.setRequestMethod("POST");                  OutputStream os = conn.getOutputStream();         OutputStreamWriter osw = new OutputStreamWriter(os);         BufferedWriter bw = new BufferedWriter(osw);                   bw.write("向服务器传递的参数");         bw.flush();                  InputStream is = conn.getInputStream();         InputStreamReader isr = new InputStreamReader(is);         BufferedReader br = new BufferedReader(isr);                  String line;         StringBuilder builder = new StringBuilder();         while((line = br.readLine())!=null){              builder.append(line);         }         //关闭资源         System.out.println(builder.toString);     }}public static void main(){     new ReadByPost().start();}
技术分享图片

      
      3、使用HttpClient进行Get方式通信

            apache有一个HttpClient包
  1. 技术分享图片
    class Get extends Thread{       HttpClient client = HttpClients.createDefault();    @Override    public void run(){                HttpGet get = new HttpGet("http://www.baidu.com");                  HttpResponse response = client.execute(get);         HttpEntity entity = response.getEntity();         String result = EntityUtils.toString(entity,"UTF-8");                  System.out.println(result);             }}public static void main(String[] args){    new Get().start();}
    技术分享图片


          4、使用HttpClient进行Post方式通信

 
技术分享图片
class Post extends Thread{    HttpClient cilent = HttpClients.CreateDefault();    @Override    public void run(){        HttpPost post = new HttpPost("网址");        //设置要传的参数        List<BasicNameValuePair> parameters = new ArratList();        parameters.add(new BasicNameValuePair("key","value"));                post.setEntity(new UrlEncodeFormEntity(parameters,"UTF-8"));        HttpResponse response = client.execute(post);        HttpEntity entity = response.getEntity();        String result = EntityUtils.roString(entity,"UTF-8");                System.out.println(result);            }}main(){    new Post().start();}
技术分享图片



 









以上是关于HTTP协议报文工作原理及Java中的HTTP通信技术详解的主要内容,如果未能解决你的问题,请参考以下文章

HTTP报文结构及Cookiesession区别

关于HTTP协议及SOCKET通信

[转]HTTP报文接口及客户端和服务器端交互原理

http协议工作原理(精简)

HTTPS协议工作流程(原理)

http协议介绍及get与post请求响应状态码