HTTP相关知识汇总

基础定义

TCP/IP体系结构(4层)

应用层 (应用层,表示层,会话层)

协议:

HTTP – 提供Internet浏览服务

SMTP – 简单的电子邮件发送服务

DNS – 负责域名和IP地址的映射

POP / IMAP – 对邮箱服务器进行远程存取邮件的服务(POP-服务端传给客户端后删除、状态不同步;IMAP-服务端存、状态同步)

FTP – 应用级文件传输服务

Telnet – 远程登录服务(明文传输)

SSH – 远程登录服务(加密)

定义应用进程间通信、交互的规则。(主机中运行的程序、基于CS方式、报文)

运输层

协议:

TCP – 面向连接、可靠的报文服务

UDP – 无连接、不可靠的报文服务

为不同主机中的进程间提供通信服务。传输单位:报文段(TCP)、用户数据报文(UDP)

功能:

为端到端的连接提供传输服务。

网络层

协议:

IP – 提供网络节点之间的报文传送服务

ARP – 实现IP地址向物理地址的映射【ARP攻击】

RARP – 实现物理地址向IP地址的映射

ICMP – 探测、报告传输中产生的错误

IGMP – 管理多播组测成员关系

其余:IPX、OSPF

为不同主机提供通信服务:网络层的分组数据从源端到目的端。传输单位:数据报。

功能:

  1. 封装数据成分组/包、路由选择
  2. 流量控制、拥塞控制、差错控制、网际互联

网络接口层(链路层、物理层)

协议:STP

负责数据传输工作。传输单位:帧

功能:

  1. 组帧、差错控制、流量控制和传输管理
  2. 在广播式网络通过介质访问子层,控制共享信道的访问

TCP与UDP

TCP协议 (Transmission Control Protocol,传输控制协议)

面向连接、面向字节流、全双工通信、可靠。
属于传输层通信协议,基于TCP的应用层协议有 HTTP SMTP FTP Telnet POP3。
缺点:效率慢(建立连接、发送确认包)

传送的数据单元:报文段。

报文段 = 首部 + 数据

首部 = 20字节 + 4n个根据需要增加的选项 (最小长度 20 字节)

//共 5 行,每行4字节
源端口  目的端口
序号
确认号
数据偏移  保留  URG ACK PSH RST SYN FIN  窗口
校验和  紧急指针

序号 - 报文段序号
确认号 - (ACK)期望收到对方下一个报文的序号。ACK=N,表示序号N-1的所有数据都已正确收到
SYN - 同步位,连接建立时用于同步序号
FIN - 终止控制位,释放连接

TCP建立连接 – 三次握手

C -> S - SYN=1,seq=x
C <- S - SYN=1,ACK=1,seq=y,ack=x+1
C -> S - ACK=1,seq=x+1,ack=y+1

作用:防止接受早已失效的连接请求报文,造成死锁、浪费资源

TCP释放连接 – 四次挥手

C -> S - FIN=1,seq=u
C <- S - ACK=1,seq=v,ack=u+1
     CLOSE_WAIT //通知上层关闭
C <- S - FIN=1,ACK=1,seq=w,ack=u+1
C -> S - ACK=1,seq=u+1,ack=w+1
TIME_WAIT (2MSL)

无差错控制原理

基础:

发送窗口

任意时刻,发送方维持的一组连续的、允许发送帧的帧序号(对发送方的进行流量控制)
工作原理:1. 每收到一个确认帧,发送窗口向前滑动一个帧的距离;2. 无可发送帧时,停止发送,等待确认帧。有确认帧且窗口向前滑动时,才继续发送。

接受窗口

任意时刻,接收方维持的一组连续的、允许接受帧的帧序号(控制可接受、不可接受哪些数据帧,只有收到的帧序号在窗口内才允许收下)
工作原理:收到数据帧后,窗口向前移动一个位置,并发回确认帧。若收到窗口之外的,一律丢弃。

协议

停止-等待协议、后退N帧协议、选择重传协议只是在发送窗口大小和接收窗口大小上有所差别

停止-等待协议:发送窗口大小 = 1,接收窗口大小 = 1

后退N帧协议:发送窗口大小 > 1, 接收窗口 = 1

选择重传协议:发送窗口大小 > 1,接收窗口 > 1

实现无差错传输的解决方案

采用可靠传输协议,使得 1.出错重传,出现差错时,让发送方重传差错数据;2.速度匹配,当接收方来不及接收可通知发送方降低速率。

自动重传请求协议ARQ(Auto Repeat reQuest) (针对 出错重传)
传输出现差错时,接收方自动请求发送方重传出错的数据。
机制:1.确认机制 – 发送方收到应答才发送,接收方收到一个反馈一个,不反馈发送方一直等待;2.超时重传机制 – 发送方发送后开启计时器,一定时间内每收到确认,则重发,直到成功为止。
类型:停止等待式ARQ、后退N帧ARQ、选择重传ARQ。

流量控制 & 拥塞控制 (针对 速度匹配)
接收方根据自己接收缓存的大小,动态调整发送方的发送窗口大小。
避免发送太快,接收方来不及。

相关资料:
TCP协议攻略

UDP协议 (User Dataram Protocal, 用户数据报协议)

属于传输层通信协议
基于UDP的应用层协议有 TFTP(文件传输)、SNMP(网络管理)、NFS(远程文件服务器) 与 DNS(域名转换)

无连接的、不可靠的、面向报文、无拥塞协议

不需要建立连接,发送后不管是否会到达

以数据报文(包)的形式传输,UDP数据报文长度无限制,一次性发送,不拆分

报文段格式

UDP的报文段共有2个字段:数据字段 + 首部字段(8字节,4个字段)

UDP首部:

源端口 – 源端口号,需要 对方回信时使用

目的端口 – 终点交付报文时需使用到

长度 – UDP用户数据报的长度

检验和 – 检测在传输中是否有错,有错丢弃

HTTP (HyperText Transfer Protocol, 超文本传输协议)

属于应用层。规定了应用进程间通信的准则。

特点:
传输效率高 – 无连接、无状态、传输格式简单
传输可靠性高 – 采用TCP作为传输层协议

请求方法

不同的方法规定了不同的操作指定的资源的方式。服务端会根据不同的请求方法做不同的响应。

若服务器时 RESTful 接口,一般会用到 GET、POST、DELETE、PUT

  • GET

显示请求指定资源。只用于数据的读取。

传递参数长度受限制,只允许ASCII字符,安全性差(可见)
应用场景:小量、数据不敏感,从指定资源请求数据

  • POST

向指定资源提交数据,请求数据处理。表单数据提交、文件上传。

传递参数长度不受限制,可传递任何类型字符,安全性好
应用场景:大量、数据敏感,想指定资源提交数据

  • HEAD

向服务器发出指定资源的请求,服务器在响应是不会回传响应主体(内容)。

可以在不传输全部内容的情况下,获取服务器的响应头信息。常用于客户端查看服务端性能。【请求完整执行?】

  • PUT (以下 1.1新增)

向指定资源位置上传其最新内容,取代指定的资源(已存在)的内容。

  • PATCH

当资源不存在时会创建新资源。部分更新。

  • DELETE

请求服务器删除所请求的URI所标识的资源。

  • OPTIONS

请求服务器返回该资源所支持的所有HTTP请求方法。

JS的XMLHttpRequest对象进行 CORS(Cross-origin resource sharing, 跨域资源共享) 时,使用OPTIONS方法发送嗅探请求,以判断是否有对指定资源的访问权限。

例如:

请求:
OPTIONS /upload HTTP/1.1
Access-Control-Request-Method: POST //提醒接下来的请求会使用的方法
Access-Control-Request-Headers: accept, content-type
Origin: http://xxx.com
...

响应头中的关键字:
Access-Control-Allow-Method: POST
Access-Control-Allow-Origin: http://xxx.com //允许的域名
可设置相应状态码为 204 ,告知客户端该响应成功了,但是没有任何响应体。
  • CONNECT

预留,能将连接方式改为管道方式的代理服务器。通常用于SSL加密服务器的链接与非加密的HTTP代理服务器的通信。

  • TRACE

请求服务器回显其收到的请求信息,用于HTTP请求的测试或诊断。

HTTP报文详解

HTTP在应用层交互数据的方式:报文

HTTP的报文分为:请求报文、响应报文

请求报文:

HTTP的请求报文由 请求行、请求头、请求体 组成。

请求方法 URL 协议版本

头部字段名:值

头部字段名:值

请求数据

(换行都rn)
请求行(request line) – 声明 请求方法、主机域名、资源路径、协议版本
请求头(header) – 声明 客户端、服务器报文的部分信息
请求体 – 存放需要发送的数据信息

例如:

GET /index.php/archives/3/ HTTP/1.1
Host: liyunzhen.com   (HTTP/1.0 无host字段)
Connection: keep-alive
Pragma: no-cache
Cache-Control: no-cache

请求Header

请求和响应报文的通用header:

Content-Type – 请求体/响应体的类型,如 text/plain,application/json

Accept – 说明接收的类型,可以多个值,用逗号分开

Content-Length – 请求体/响应体的长度,单位字节

Content-Encoding – 请求体/响应体的编码格式,如gzip、deflate

Accept-Encoding – 告知对方我方接受的Content-Encoding

ETag – 给当前资源的标识,和 Last-Modified、If-None-Match、If-Modified-Since 配合,用于缓存控制

Cache-Control – 取值一般为 no-cache 或 max-age=xx(整数,该资源的缓存有效期,秒)

请求Header:

Authorization – 用于设置身份认证信息

User-Agent – 用户标识,如 OS和浏览器的类型、版本

If-Modified-Since – 值为上一次服务器返回的 Last-Modified 值,用于确认某个资源是否被更改过,没有更改过(304)就从缓存中读取

If-None-Match – 值为上一次服务器返回的 ETag 值,一般和 If-Modified-Since 一起出现

Cookie – 已有的Cookie

Referer – 表示请求引用自那个地址(来源地址)

Host – 请求的主机和端口号

请求体 – 存放需要发送给服务器的数据信息。(可选)

使用方式:

1. 数据交换
 请求体可任意格式类型,需要服务端额外解析。如json格式【protocol buffer 看看是不是】
2. 键值对
 键=值&键=值。如key1=1&key2=2
3. 分部形式
 请求体被分为多个部分,每段以 -{boundary} 、描述头、(空行)、内容,以 -{boundary}- 结束

响应报文

HTTP的响应报文包括:状态行、响应头、响应体

报文结构:

协议版本 状态码 状态描述

头部字段名:值

头部字段名:值

响应正文

状体行 – 声明 协议版本、状态码、状态码描述
响应头 – 声明 客户端、服务端报文的部分信息
响应体 – 存放需要发送的数据信息

例如:

HTTP/1.1 200 OK
Server: openresty
Date: Sun, 12 Aug 2018 02:35:31 GMT
Content-Type: text/html; charset=UTF-8

HTTP状态码

3位十进制数字组成,分为5大类:

1xx – 表示信息通知,如收到了请求正在处理

2xx – 表示成功,如接受或知道了

3xx – 表示重定向,如要完成请求还必须采取进一步行动

4xx – 表示客户端错误,请求包含语法错误或无法实现

5xx – 表示服务器错误

举例:

200 - 请求成功,请求内容与该响应一起返回
202 - 请求已被接受,但还没处理
204 - 请求执行成功,但是没有数据(浏览器不用刷新页面,也不用导向新的页面)
301 - 请求资源已被永久移动到新的位置
302 - 请求的资源被临时移动到新的位置
304 - 服务端资源未发生改变(If Modified Since和资源更新的时间),只返回HEADER
400 - 请求参数有误,当前请求无法被服务器理解
401 - 请求需要验证用户
403 - 不允许访问该地址
404 - Not Found
408 - 请求超时
500 - 服务器内部错误
502 - Bad Gateway 网关出错

协议版本(HTTP/1.0、HTTP/1.1、HTTP/2.0)

HTTP/1.1 特点:
引入持久连接,(在同一个TCP的连接中可传送多个HTTP请求、响应)
多个请求、响应可同时进行、可重叠
引入更多请求头、响应头(身份认证、状态管理、cache缓存、host)

HTTP处理长连接方式:
HTTP/1.1 默认保持长连接,数据传输完成后TCP连接不断开,继续使用该通道传输数据。

建立长连接:

HTTP头部字段:Connection

connection:close – 不使用长连接

connection:Keep-Alive & Keep-Alive:max=20 – 连接失败超过这个次数就断开

connection:Keep-Alive & Keep-Alive:time=20 – 超过该时间则断开

Keep-Alive机制:开启后,TCP层定时发送响应的探针以确定连接的可用性

结束长连接(如何判断本次传输结束)

  1. 判断传输数据是否达到了 Content-Length 指示的大小
  2. 根据 chunked 编码判断,若 chunked 编码的数据在最后有一个空 chunked 块,则表明本次传输完毕

HTTP/2.0特点
支持请求与响应的多路复用,通过压缩HTTP头字段降低开销,增加请求优先级和服务端推送的支持。

多路复用: 允许同时通过单一的HTTP/2.0连接发起多重的请求、响应消息

将HTTP协议通信的基本单位缩小为帧。在应用层和传输层之间增加了一个二进制分帧层。
在二进制分帧层中,HTTP/2.0会将所有传输的消息分割为更小的消息和帧(frame),并采用二进制格式的编码。

服务器推送:当对webServer请求数据时,服务器会顺便把一些客户端需要的资源一起推到客户端,免得客户端再次创建连接请求。适合加载静态资源。

升级配置:

Nginx从1.9版本开始支持HTTP/2.0,编译模块http_v2_module。http2.0协议需要使用https协议

HTTPS

HTTP: 应用层,不加密,80
HTTPS: 传输层,加密,443

这是一份全面& 详细 HTTP知识讲解

HTTP相关协议(一次完整的浏览器请求流程)

在浏览器输入URL回车后,流程:

  1. 域名解析

DNS解析 – 从域名解析到IP地址
搜索浏览器自身的DNS缓存 — 系统缓存 — 浏览器向本地配置的首选DNS服务器发起域名解析请求(通过UDP协议向DNS的53端口发起请求,DNS会递归请求,直到拿到IP)

  1. 发起TCP三次握手

拿到域名对应的IP后,浏览器以一个随机端口(1024 < < 65535)向服务器的web程序80端口发起TCP连接请求。

  1. TCP连接后发起http请求
  2. 服务器响应http请求,浏览器得到html代码
  3. 浏览器解析html代码,并请求html代码中的资源(js、css、图片等)
  4. 浏览器对页面进行渲染呈现给用户

加入CDN后的访问过程:

  1. 用户点击URL被cname到CDN服务器的IP(全局负载均衡设备IP)(DNS解析);
  2. 用户向该IP发起内容URL访问请求;
  3. 该全局负载均衡设备根据用户IP请求内容,选择一台用户所属区域负载均衡设备。区域负载均衡设备根据 IP地址(判断服务器距用户最近)、内容、负载等,返回一台缓存服务器的IP地址。
  4. 用户用返回的IP向缓存服务器发起请求。如果该缓存服务器上没有会向上级请求,一直追溯到源服务器。

Cookie与Session

IP地址(IPV4IPV6)

Socket 套接字

一个编程调用接口(API),属于传输层。
一个socket实例唯一代表一个主机上的一个应用程序的通信链路。
成对出现:

Socket = {(IP地址1:PORT端口号),(IP地址2:PORT端口号)}

建立Socket连接过程:
客户端:

1. 创建一个 Socket 实例
2. 操作系统将为该 Socket 实例分配一个未被使用的本地端口号
3. 操作系统创建一个含 本地、远程地址、端口号 的套接字数据结构。(系统一直保留该数据结构到连接关闭)
4. 在创建 Socket 实例的构造函数正确返回前,进行 TCP 的三次握手协议
5. TCP 握手协议完成后,Socket 实例对象将创建完成。(否则抛出 IOException 错误)

服务器:

1. 创建一个 ServerSocket 实例
2. 操作系统为 ServerSocket 实例创建一个底层数据结构。(包含指定监听的端口号、监听地址的通配符[通常是 * ,表示监听所有地址])
3. 调用 accept() 方法时,将进入阻塞状态,等待客户端请求
4. 当一个新的请求到来时,将为该连接创建一个新的套接字数据结构。(包含 请求原地址和端口,关联到 ServerSocket 实例的一个未完成的连接数据结构列表中)
5. 三次握手完成后,该服务端Socket实例才会返回,并且将该 Socket 实例对应的数据结构从未完成列表中移到已完成列表中

相关资料:
Socket使用攻略

Ping与ICMP

time_wait与close_wait

调试工具/方法

相关资源

计算机网络基础

    原文作者:HTTP
    原文地址: https://segmentfault.com/a/1190000015975747
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞