IM即时通讯实现原理

Posted 2020-07-25

 

即时通讯（Instant Messenger，简称IM）软件多是基于TCP/IP和UDP进行通讯的，TCP/IP和UDP都是建立在更低层的IP协议上的两种通讯传输协议。前 者是以数据流的形式，将传输数据经分割、打包后，通过两台机器之间建立起的虚电路，进行连续的、双向的、严格保证数据正确性的文件传输协议。而后者是以数 据报的形式，对拆分后的数据的先后到达顺序不做要求的文件传输协议。

QQ就是使用UDP协议进行发送和接收消息的。当你的机器安装了OICQ以后，实际上，你既是服务端（Server），又是客户端（Client）。当你登录OICQ时，你的OICQ作为Client连接到腾讯公司的主服务器上，当你看谁在线时，你的OICQ又一次作为Client从QQ Server上读取在线网友名单。当你和你的OICQ伙伴进行聊天时，如果你和对方的连接比较稳定，你和他的聊天内容都是以UDP的形式，在计算机之间传 送。如果你和对方的连接不是很稳定，QQ服务器将为你们的聊天内容进行中转。其他的即时通信软件原理与此大同小异。

 

一般的步骤：

 

首先，用户A输入自己的用户名和密码登录即时通讯服务器，服务器通过读取用户数据库来验证用户身份，如果用户名、密码都正确，就登记用户A的IP地址、IM客户端软件的版本号及使用的TCP/UDP端口号， 然后返回用户A登录成功的标志，此时用户A在 IM系统中的状态为在线（Online Presence）。

 

其次，根据用户A存储在IM服务器上的好友列表 （Buddy List），服务器将用户A在线的相关信息发送到也同时在线的即时通讯好友的PC机，这些信息包括在线状态、IP地址、 IM客户端使用的TCP端口（Port）号等，即时通讯好友PC机上的即时通讯软件收到此信息后将在PC桌面上弹出一个小窗口予以提示。

 

第三步，即时通讯服务器把用户A存储在服务器上的好友列 表及相关信息回送到他的PC机，这些信息包括也在线状态、IP地址、IM客户端使用的TCP端口（Port）号等信息，用户A的PC机上的IM客户端收到 后将显示这些好友列表及其在线状态。

 

接下来，如果用户A想与他的在线好友用户B聊天，他将直接通过服务器发送过来的用户B的IP地址、TCP端口号等信息，直接向用户B的PC机发出聊天信息，用户B的IM客户端软件收到后显示在屏幕上，然后用户B再直接回复到用户A的PC机，这样双方的即时文字消息就不通过 IM服务器中转，而是通过网络进行点对点的直接通讯，这称为对等通讯方式（Peer To Peer） 。在商用即时通讯系统中，如果用户A与用户B的点对点通讯由于防火墙、网络速度等原因难以建立或者速度很慢， IM服务器还提供消息中转服务，即用户A和用户B的即时消息全部先发送到IM服务器，再由服务器转发给对方。早期的IM系统，在IM客户端和IM服务器之间通讯采用采用UDP协议，UDP协议是不可靠的传输协议，而在 IM客户端之间的直接通讯中，采用具备可靠传输能力的TCP协议。随着用户需求和技术环境的发展，目前主流的即时通讯系统倾向于在即时通讯客户端之间、即时通讯客户端和即时通讯服务器之间都采用TCP协议 。

 

S——C1
|
| C1每次想和C2通信，先向S递一个申请，然后S同意，把信息转交C2,　 以后每次通信都这样 
C2

 

S——C1
|
| C1第一次想和C2通信，向S递一个申请，S同意，告诉C1,C2,然后 C1和 C2之间建立了一条连接，可以直接通信，无需经过S. 
C2

 

第 一种，对服务器的性能要求比较高，要求服务器可以同时处理很高的连接数，因为所有信息都要通过服务器进行传递，同时，它可以对所传递的信息进行控制。

 

第二种，仅仅是用户登陆或下线时与服务器进行连接，平时进行通信时，是用户之间直接进行点对点的连接，这种实现更合理一 些。

 

 

QQ聊天信息是在两个用户间直接通信的,而MSN要经过服务器中转.

QQ当用户登陆时，用户需要首先与qq服务器进行连接进行登录，服务器会向客户返回一些信息，比如你的好有的在线情况以及ip的信息，然后客户可以与你所请求的朋友进行点对点连接，两者互相通信。

那 如果 c1和c2都在私网内，要通过路由器做NAT才能出去的话，他们之间的socket是如何建立的呢？
看一下下面的协议.

Simple Traversal of User Datagram Protocol (UDP) Through Network
Address Translators (NATs) (STUN)。

STUN，是为了实现透明的穿透NAT，而定义的一套协 议。他使本地的内网的机器，具有取得，能够得知他的NAT网关的IP，NAT类型的能力。

为什么需要STUN：

因为NAT虽然解决了IP地址稀少的问题，但是也带来了很多的问题。比如所有P2P应用，像文件SHARE，多媒体，和在线游戏等等.
为了解决这个问题，有人将 Application Layer Gateways (ALGs) 放到了NAT中，
ALGs 也有严重的问题，比如跟不上速度太块的CLIENT，每一个应用都需要单独的实现。
跟不上应用的发展。
为了克服ALGS的问题，又提出了the Middlebox Communications (MIDCOM) protocol
中间合协议。可是MIDBOX协议使 ，一些CLIENT可以控制NAT/防火墙的行为，通过这个
把应用协议和NAT部分分开，把ALGS从基本NAT里面处理开。不过因为要处理MIDBOX，那么
所有的NAT或者防火墙都要升级，

因为上面种种原因：
The protocol described here, Simple Traversal of UDP Through NAT
(STUN), allows entities behind a NAT to first discover the presence
of a NAT and the type of NAT, and then to learn the addresses
bindings allocated by the NAT. STUN requires no changes to NATs, and
works with an arbitrary(任意) number of NATs in tandem between the
application entity and the public Internet.

要想穿透NAT，首先知道NAT的一些特性：
NAT分为4种（加上防火墙的话，多几种情况）：
1.完全透明NAT(Full Cone NAT):
从相同内部主机(IN IPX) +端口(IN PORTX)发送的数据MAPING为相同的IP(OUT IP X)和端口(OUT PORT X)发送带外网.
并且 从另一个服务器(Y)，如果直连到MAPING的IP(OUT IP X)和端口(OUT PORT X )上，数据将会被转发到内部主机上. (IN IPX), (IN PORTX).
//也就是说进内部网的数据包的SPORT，SPORT不受限制
2．受限NAT(Restricted Cone),
从相同内部主机IN IPX) +端口((IN PORTX))发送的数据MAPING为相同的IP（X）和端口发送带外网.
和完全NAT不同的是，只有当为X时，外部机器的的请求就被转发到主机IN IPX) +端口((IN PORTX)。
也就是说进内部网的数据包的，SPORT不受限制，SIP受限制，只能为NAT MAP数据的IP
3，端口受限NAT(Port Restricted Cone:)
和受限NAT不同的是，只有当外部主动请求的的源IP和端口，等于内部网发送的请求的目的IP和端口。
4．对称NAT(Symmetric)
如果发送的包的目的IP AND PORT，那么MAPPING IP AND PORT，将相同。
内部网同一台机器，同一个端口 如果目的地址不同，那么MAPPING的端口也不同，
所以只有他主动连的服务器才可能知道他的MAPPING后端口，别的服务器如果想
连他只能靠猜测端口。
总结：
前面3重NAT，MAPING PORT 和 IP，是根据发送包的的内部网的IP和端口决定的。
如果数据的内网IP和端口相同，那么MAPPING后的端口和地址是固定。
这个功能为我们的穿越提供了很好条件。
第4种NAT，打洞后的MAPPING 地址和端口将变地不可靠。很难穿越。
注意SERVERA，和SERVERB是两个公网地址，而不是两台机器，

STUN 的简单操作过程：
发送请求。请求分为两种
1． Binding Requests, sent over UDP,
用来发现是否NAT，用来发现NAT的公网地址，和MAPPING后的端口
2.Binding Response,
服务器产生Binding Response，并把得到的MAPPINGIP 和端口，返回到客户端， 客户端比较MAPPING地址是否 和本机地址相同，如果是说明是本机也是公网，否则判断NAT的类型(判断方法：client uses additional STUN Binding Requests)
3.Binding Error，
4.Shared Secret Requests, sent over TLS [2] over TCP.
这个请求要求服务器返回一临时用户名和密码，用来下一步的Binding Requests/ Response,用来验证信息的完整性
5.Shared Secret Response,
6 Shared Secret Error Response。
STUN 信息结构
STUN 由以后数据结构构成：STUN头+STUN有效载荷
STUN头结构如下： 存储的值都是以网络顺序存放
字段类型
STUN message type Short int 消息类型
Length Short int 有效载荷长度,不包含头长度
transaction ID octet[16] 连接的ID值，检查Request,
和Response

STUN的有效载荷
SHUN的有效载荷 是一些STUN的属性构成，属性的类型由信息的类型来决定。
STUN的属性是定义好了的，属性列表（attribute）如下：
MAPPED-ADDRESS 必选 用在Binding Response，（添入MAPING IP 和PORT）
RESPONSEADDRESS 可选 用在Binding Request,指定Response,发送到哪里
如果没有指定，Response发送到MAPING IP 和 PORT
CHANGE-REQUEST 可选 用在Binding Request。用来决定，CLIENT的NAT类型是限制NAT，还是端口限制NAT，（命令服务器从不同的源端口/IP，Response请求）
CHANGED-ADDRESS 可选 用在Binding Responses告诉Client改变的端口和IP
SOURCE-ADDRESS 必选 只用在Binding Responses，标记信息的源PORT HE IP
USERNAME 可选 Shared Secret Response/ Binding Requests
PASSWORD, 必选 SharedSecret Response
ESSAGEINTEGRITY 可选 用在Binding Responses, Binding Request记录信息的完整性
ERROR-CODE Binding Error Response and Shared Secret Error Response.
UNKNOWN-ATTRIBUTES
REFLECTED-FROM Binding Responses.用于追溯和防止DDOS

穿透的方法和过程
注意SERVER1，和SERVER2是两个公网地址，而不是两台机器.

 

附录: 

一、IM技术概念

IM技术全称Instant Messaging，中文翻译“即时通讯”，它是一种使人们能在网上识别在线用户并与他们实时交换消息的技术，是电子邮件发明以来迅速崛起的在线通讯方 式。

IM的出现和互联网有着密不可分的关系，IM完全基于 TCP/IP网络协议族实现，而TCP/IP协议族则是整个互联网得以实现的技术基础。 最早出现即时通讯协议是IRC（Internet Relay Chat），但是可惜的是它仅能单纯的使用文字、符号的方式通过互联网进行交谈和沟通。随着互连网变得高度发达，即时通讯也变得远不止聊天这么简单，自 1996年第一个IM产品ICQ发明后，IM的技术和功能也开始基本成型，语音、视频、文件共享、短信发送等高级信息交换功能都可以在IM工具上实现，于 是功能强大的IM软件便足以搭建一个完整的通信交流平台。目前最具代表性的几款的IM通讯软件有MSN、Google Talk、Yahoo、Messenger 、腾讯QQ等。

 

二、IM技术原理和工作方式

典型的IM工作方式如下：登陆IM通讯中心（IM通讯服务器），获取一个自建立的历史的交流对象列表（好友列表），然后自身标志为在线状态，当好友列表中的某人在任何时候登录上线并试图通过你的计算机联系你 时，IM系统会发一个消息提醒你，然后你能与他建立一个聊天会话通道进行各种消息如键入文字、通过语音等的交流.

从技术上来说，IM的基本技术原理如下：

通过IM服务器登陆或注销
用户A通过列表找到B，用户B获得消息并与之交谈
通过IM服务器指引建立与B单独的通讯通道

 

第一步，用户A输入自己的用户名和密码登录IM服务器， 服务器通过读取用户数据库来验证用户身份，如果验证通过，登记用户A的IP地址、IM客户端软件的版本号及使用的TCP/UDP端口号，然后返回用户A登录成功的标志，此时用户A在IM系统中的状态为在线（Online Presence）。

 

第二步，根据用户A存储在IM服务器上的好友列表 （Buddy List），服务器将用户A在线的相关信息发送给也同时在线的IM好友的PC机，这些信息包括在线状态、IP地址、IM客户端使用的TCP端口 （Port）号等，IM好友的客户端收到此信息后将在予以提示。

 

第三步是IM服务器把用户A存储在服务器上的好友列表及 相关信息回送到他的客户端机，这些信息包括也在线状态、IP地址、IM客户端使用的TCP端口（Port）号等信息，用户A的IM客户端收到后将显示这些好友列表及其在线状态。

 

三、IM通讯方式

1.在线直接通讯 
如果用户A想与他的在线好友用户B聊天，他将直接通过服务器发送过来的用户B的IP地址、TCP端口号等信息，直接向用户B的PC机发出聊天信息，用户B 的IM客户端软件收到后显示在屏幕上，然后用户B再直接回复到用户A的PC机，这样双方的即时文字消息就不再IM服务器中转，而是直接通过网络进行点对点 的通讯，即对等通讯方式（Peer To Peer）。

2.在线代理通讯 
用户A与用户B的点对点通讯由于防火墙、网络速度等原因难以建立或者速度很慢，IM服务器将会主动提供消息中转服务，即用户A和用户B的即时消息全部先发 送到IM服务器，再由服务器转发给对方。

3.离线代理通讯 
用户A与用户B由于各种原因不能同时在线的时候，如此时A向B发送消息，IM服务器可以主动寄存A用户的消息，到B用户下一次登陆的时候，自动将消息转发 给B。

4.扩展方式通讯 
用户A可以通过IM服务器将信息以扩展的方式传递给B，如短信发送方式发送到B的手机，传真发送方式传递给B的电话机，以email的方式传递给B的电子邮箱等。

早期的IM系统，在IM客户端和IM服务器之间通讯采用UDP协议，UDP协议是不可靠的传输协议，而在IM客户端之间的直接通讯中，采用具备可靠传输能 力的TCP协议。随着用户需求和技术环境的发展，目前主流的IM系统倾向于在IM客户端之间、IM客户端和IM服务器之间都采用TCP协议。

即时通讯相对于其他通讯方式如电话、传真、email等的最大优势就是消息传达的即时性和精确性，只要消息传递双方均在网络上可以互通，使用即时通讯软件传递消息，传递延时仅为1秒种.

 

四、兴起的嵌入式IM工具。

传统的IM在统治了互联网即时通讯领域长达十年之久，以其日趋稳定的定能，与较强的用户黏着度，至今仍统治着这个巨大的市场。然而，软件行业的技术精英们，并不满足于此。他们厚积薄发，一直致力于开发出性能更 为优越的即时通讯工具。当然，在功能上的不断完善，自然是一个必然的发展方向，在Web2.0时代，如何大力增强用户对网站的黏着度，而不仅仅是对于IM 的拥附，已经成为他们的主攻方向了。于是，嵌入式IM工具，应运而生了。

相对以往的传统的即使沟通工具，它们需要用户下载软件包，需要用户进行安装。对于拥有IM产品的网站而言，用户在登陆网站后，不能直接使用其IM工具，对于流量与用户的黏着度，都是有一定影响的。因此在IM 与网站相互依存的今天，没有哪家网络公司，愿意将IM工具孤立开来。

于是，目前，一种新型的嵌入式IM工具就应运而生了。这种IM工具，不需要下载安装，当用户登陆网页后，该IM直接嵌套在网页中，可以直接使用。

而在功能上，则一点也不输于传统的IM，无论是传统的文字沟通的速度与效率，还是近年来越来越成为IM工具必备的音频/视频功能，这种嵌入式IM都能提供非常稳定的传输。更值得一提的是，因为嵌入式IM是嵌套 在网页上的，软件供应商，可以根据网站需求，设计出适合网站风格的IM产品。而不是像传统的IM工具，千篇一律，毫无个性可言。

目前，这类嵌入式IM在社区、交友、社团及协作等类型的 网站上，应用已经较为广泛。在Web2.0时代，将发挥越来越重要的作用。