初窥IM通信协议

Posted 2020-12-25 solomon-xm

即时通讯（Instant Messenger，简称IM）软件多是基于TCP/IP和UDP进行通讯的，TCP/IP和UDP都是建立在更低层的IP协议上的两种通讯传输协议。

前者是以数据流的形式，将传输数据经分割、打包后，通过两台机器之间建立起的虚电路，进行连续的、双向的、严格保证数据正确性的文件传输协议。而后者是以数 据报的形式，对拆分后的数据的先后到达顺序不做要求的文件传输协议。

QQ就是使用UDP协议进行发送和接收消息的。当你的机器安装了OICQ以后，实际上，你既是服务端（Server），又是客户端（Client）。当你登录OICQ时，你的OICQ作为Client连接到腾讯公司的主服务器上，当你看谁在线时，你的OICQ又一次作为Client从QQ Server上读取在线网友名单。当你和你的OICQ伙伴进行聊天时，如果你和对方的连接比较稳定，你和他的聊天内容都是以UDP的形式，在计算机之间传 送。如果你和对方的连接不是很稳定，QQ服务器将为你们的聊天内容进行中转。其他的即时通信软件原理与此大同小异。

一般的步骤：

首先，用户A输入自己的用户名和密码登录即时通讯服务器，服务器通过读取用户数据库来验证用户身份，如果用户名、密码都正确，就登记用户A的IP地址、IM客户端软件的版本号及使用的TCP/UDP端口号， 然后返回用户A登录成功的标志，此时用户A在 IM系统中的状态为在线（Online Presence）。

其次，根据用户A存储在IM服务器上的好友列表 （Buddy List），服务器将用户A在线的相关信息发送到也同时在线的即时通讯好友的PC机，这些信息包括在线状态、IP地址、 IM客户端使用的TCP端口（Port）号等，即时通讯好友PC机上的即时通讯软件收到此信息后将在PC桌面上弹出一个小窗口予以提示。

第三步，即时通讯服务器把用户A存储在服务器上的好友列 表及相关信息回送到他的PC机，这些信息包括也在线状态、IP地址、IM客户端使用的TCP端口（Port）号等信息，用户A的PC机上的IM客户端收到 后将显示这些好友列表及其在线状态。

接下来，如果用户A想与他的在线好友用户B聊天，他将直接通过服务器发送过来的用户B的IP地址、TCP端口号等信息，直接向用户B的PC机发出聊天信息，用户B的IM客户端软件收到后显示在屏幕上，然后用户B再直接回复到用户A的PC机，这样双方的即时文字消息就不通过 IM服务器中转，而是通过网络进行点对点的直接通讯，这称为对等通讯方式（Peer To Peer） 。在商用即时通讯系统中，如果用户A与用户B的点对点通讯由于防火墙、网络速度等原因难以建立或者速度很慢， IM服务器还提供消息中转服务，即用户A和用户B的即时消息全部先发送到IM服务器，再由服务器转发给对方。早期的IM系统，在IM客户端和IM服务器之间通讯采用采用UDP协议，UDP协议是不可靠的传输协议，而在 IM客户端之间的直接通讯中，采用具备可靠传输能力的TCP协议。随着用户需求和技术环境的发展，目前主流的即时通讯系统倾向于在即时通讯客户端之间、即时通讯客户端和即时通讯服务器之间都采用TCP协议 。

---

S——C1
|
| C1每次想和C2通信，先向S递一个申请，然后S同意，把信息转交C2,　 以后每次通信都这样
C2

S——C1
|
| C1第一次想和C2通信，向S递一个申请，S同意，告诉C1,C2,然后 C1和 C2之间建立了一条连接，可以直接通信，无需经过S.
C2

第 一种，对服务器的性能要求比较高，要求服务器可以同时处理很高的连接数，因为所有信息都要通过服务器进行传递，同时，它可以对所传递的信息进行控制。

第二种，仅仅是用户登陆或下线时与服务器进行连接，平时进行通信时，是用户之间直接进行点对点的连接，这种实现更合理一 些。

QQ聊天信息是在两个用户间直接通信的,而MSN要经过服务器中转.
QQ当用户登陆时，用户需要首先与qq服务器进行连接进行登录，服务器会向客户返回一些信息，比如你的好有的在线情况以及ip的信息，然后客户可以与你所请求的朋友进行点对点连接，两者互相通信。

那 如果 c1和c2都在私网内，要通过路由器做NAT才能出去的话，他们之间的socket是如何建立的呢？
看一下下面的协议.
Simple Traversal of User Datagram Protocol (UDP) Through Network
Address Translators (NATs) (STUN)。
STUN，是为了实现透明的穿透NAT，而定义的一套协 议。他使本地的内网的机器，具有取得，能够得知他的NAT网关的IP，NAT类型的能力。
为什么需要STUN：
因为NAT虽然解决了IP地址稀少的问题，但是也带来了很多的问题。比如所有P2P应用，像文件SHARE，多媒体，和在线游戏等等.
为了解决这个问题，有人将 Application Layer Gateways (ALGs) 放到了NAT中，
ALGs 也有严重的问题，比如跟不上速度太块的CLIENT，每一个应用都需要单独的实现。
跟不上应用的发展。
为了克服ALGS的问题，又提出了the Middlebox Communications (MIDCOM) protocol
中间合协议。可是MIDBOX协议使 ，一些CLIENT可以控制NAT/防火墙的行为，通过这个把应用协议和NAT部分分开，把ALGS从基本NAT里面处理开。不过因为要处理MIDBOX，那么所有的NAT或者防火墙都要升级，
因为上面种种原因：
The protocol described here, Simple Traversal of UDP Through NAT(STUN), allows entities behind a NAT to first discover the presence of a NAT and the type of NAT, and then to learn the addresses bindings allocated by the NAT. STUN requires no changes to NATs, and works with an arbitrary(任意) number of NATs in tandem between the application entity and the public Internet.
要想穿透NAT，首先知道NAT的一些特性：
NAT分为4种（加上防火墙的话，多几种情况）：
1.完全透明NAT(Full Cone NAT):
从相同内部主机(IN IPX) +端口(IN PORTX)发送的数据MAPING为相同的IP(OUT IP X)和端口(OUT PORT X)发送带外网.
并且 从另一个服务器(Y)，如果直连到MAPING的IP(OUT IP X)和端口(OUT PORT X )上，数据将会被转发到内部主机上. (IN IPX), (IN PORTX).
//也就是说进内部网的数据包的SPORT，SPORT不受限制
2．受限NAT(Restricted Cone),
从相同内部主机IN IPX) +端口((IN PORTX))发送的数据MAPING为相同的IP（X）和端口发送带外网.和完全NAT不同的是，只有当为X时，外部机器的的请求就被转发到主机IN IPX) +端口((IN PORTX)。也就是说进内部网的数据包的，SPORT不受限制，SIP受限制，只能为NAT MAP数据的IP
3，端口受限NAT(Port Restricted Cone:)
和受限NAT不同的是，只有当外部主动请求的的源IP和端口，等于内部网发送的请求的目的IP和端口。
4．对称NAT(Symmetric)
如果发送的包的目的IP AND PORT，那么MAPPING IP AND PORT，将相同。内部网同一台机器，同一个端口 如果目的地址不同，那么MAPPING的端口也不同，
所以只有他主动连的服务器才可能知道他的MAPPING后端口，别的服务器如果想连他只能靠猜测端口。

总结：

前面3重NAT，MAPING PORT 和 IP，是根据发送包的的内部网的IP和端口决定的。如果数据的内网IP和端口相同，那么MAPPING后的端口和地址是固定。这个功能为我们的穿越提供了很好条件。
第4种NAT，打洞后的MAPPING 地址和端口将变地不可靠。很难穿越。
注意SERVERA，和SERVERB是两个公网地址，而不是两台机器，

STUN 的简单操作过程：

发送请求。请求分为两种
1． Binding Requests, sent over UDP,
用来发现是否NAT，用来发现NAT的公网地址，和MAPPING后的端口
2.Binding Response,
服务器产生Binding Response，并把得到的MAPPINGIP 和端口，返回到客户端， 客户端比较MAPPING地址是否 和本机地址相同，如果是说明是本机也是公网，否则判断NAT的类型(判断方法：client uses additional STUN Binding Requests)
3.Binding Error，
4.Shared Secret Requests, sent over TLS [2] over TCP.
这个请求要求服务器返回一临时用户名和密码，用来下一步的Binding Requests/ Response,用来验证信息的完整性
5.Shared Secret Response,
6 Shared Secret Error Response。
STUN 信息结构
STUN 由以后数据结构构成：STUN头+STUN有效载荷
STUN头结构如下： 存储的值都是以网络顺序存放
字段类型
STUN message type Short int 消息类型
Length Short int 有效载荷长度,不包含头长度
transaction ID octet[16] 连接的ID值，检查Request,
和Response
STUN的有效载荷
SHUN的有效载荷 是一些STUN的属性构成，属性的类型由信息的类型来决定。
STUN的属性是定义好了的，属性列表（attribute）如下：
MAPPED-ADDRESS 必选 用在Binding Response，（添入MAPING IP 和PORT）
RESPONSEADDRESS 可选 用在Binding Request,指定Response,发送到哪里
如果没有指定，Response发送到MAPING IP 和 PORT
CHANGE-REQUEST 可选 用在Binding Request。用来决定，CLIENT的NAT类型是限制NAT，还是端口限制NAT，（命令服务器从不同的源端口/IP，Response请求）
CHANGED-ADDRESS 可选 用在Binding Responses告诉Client改变的端口和IP
SOURCE-ADDRESS 必选 只用在Binding Responses，标记信息的源PORT HE IP
USERNAME 可选 Shared Secret Response/ Binding Requests
PASSWORD, 必选 SharedSecret Response
ESSAGEINTEGRITY 可选 用在Binding Responses, Binding Request记录信息的完整性
ERROR-CODE Binding Error Response and Shared Secret Error Response.
UNKNOWN-ATTRIBUTES
REFLECTED-FROM Binding Responses.用于追溯和防止DDOS
穿透的方法和过程
注意SERVER1，和SERVER2是两个公网地址，而不是两台机器.
---