猛干1万字,详解网络监视原理
Posted 红帽小生
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了猛干1万字,详解网络监视原理相关的知识,希望对你有一定的参考价值。
作为学生,大部分时间都在学校,往往手机流量不够用,这就免不了要使用校园网。使用校园网时,你是否注意到有的网站无法访问,或者优酷、爱奇艺等APP看不了视频、玩不了游戏等等。你可能觉得这不就是学校屏蔽了一些网站嘛,没啥大不了。但真的是这么简单吗?本期就来详谈网络监控背后的运行原理。
引言
事情还得从一个新闻说起,2021年11月16日,一则国美通报批评员工上班摸鱼的消息登上微博热搜,引发网友热议。根据国美控股集团有限公司发布的《关于违反员工行为规范的处罚通报》内容显示,在2021年8月30日-9月3日期间,国美总部针对非工作流量信息进行统计排查后,发现部分员工在工作区域内占用公司公共网络资源从事与工作无关事宜,如:玩电脑游戏、上网聊天、听音乐等。公司对11位员工进行了通报和相应处罚。具体情况如图:
可以看到,员工用的什么软件,用了多少流量,在哪个楼层哪个区,叫什么名字,一目了然。
这让我不禁回想起自身的经历,在使用校园网时,有些软件是用不了的。比如百度网盘、爱奇艺、和平精英、王者荣耀等。具体表现是百度网盘、爱奇艺这些APP打开后一直加载,就像断网一样,但是打开学习通等软件就能正常使用。和平精英可以登录、签到、领东西、也可以下载更新,就是一旦开始进入游戏后,很快就会闪退回到大厅。
校园网还设置了DNS白名单,只能是学校指定的DNS服务器,其它的就不行,我之前尝试更换DNS服务器,结果一直无法解析。这就很过分。
还有一次,我一同学和我说他电脑突然上不了网,周围人都可以上网,就他的电脑不行。然后我们把网线插到别的工位的网口上可以上网,这时我判断是该端口被封了。后来联系网络部的老师解封才可以重新上网。具体原因是检测到流量异常,老师没具体说明,但我们推测应该是长时间使用迅雷下载导致被检测异常,然后被封的。有部分人被深深困扰,如图:
既然已经知道了有网络监视,那么为什么要监视呢?侵犯隐私吗?其监控程度究竟达到什么地步,又是如何监控的,可以绕过监控吗?下面一一展开。
上网行为管理
除了学校,在公司也是一样,都会受到监视。企业管理者想要了解员工上班情况,为了提高工作效率,不想让员工在公司电脑上去做或者关注工作以外的事情。公司需要严格控制电脑的使用,上班期间禁止炒股、打游戏、看电影、QQ聊天等行为。这个在业界称之为“上网行为管理”。
当然,上网行为管理,不仅仅是防上班摸鱼这么简单。其目的包括但不限于以下几点:
- 完整记录QQ、MSN等多种即时聊天工具的聊天内容,并限制文档及图片的外发,以防止有意无意的泄密;
- 控制用户访问的网站范围,减少用户访问非法网站带来病毒或政治/法律风险;
- 及时发现网络滥用问题并合理分配带宽,防止在线视频、p2p等占用正常业务流量,造成网络拥堵甚至瘫痪;
- 规范网络行为,避免"摸鱼"。对上网行为进行行之有效的控制和规范,避免"摸鱼"给企业带来的隐形损失,全面而细致的审计和分析,为企业人事考评提供参考;
- 过滤网站访问,降低安全及法律风险。预先对高风险的网站以及色情、反动网站等进行封堵,减少病毒、间谍软件和黑客的侵扰和攻击。同时避免了利用公司资源浏览色情、反动网站等带来的法律风险。
这么来看,企业对计算机进行管理是十分有必要的。其主要目的是保障信息安全,其次就是提高工作效率。根据上面几点,可以归纳为以下场景:
- 带宽滥用:员工上班时间使用无关应用(如 P2P、流媒体)占用大量带宽,邮件发送、资料下载、视频会议等受到严重影响,导致公司核心业务无法保障;
- 外发泄密:敏感数据/文件被随意外发,如个人隐私信息、组织机密信息、政务文件、红头文件等;无监测预警,未合规审计,不知道内鬼是谁;
- 网络违法:利用组织网络进行网络造谣、人身攻击,肆意外发反动、赌博、色情信息,给公司和组织造成极大损害,且遭受法律追究;
- 上网难监管:办公室沦为免费网吧,工作效率低;先进的加密、代理技术让非法“内容”容易绕过管控;同一个应用有好坏功能之分,管和不管两难;
- 业务行为不可视:员工在访问业务系统的时候,因为业务员操作进行全面审计,导致出现操作失误或数据泄密的时候无法定责;
- 异常行为难发现:员工访问业务系统,可能会存在一些恶意或无意的行为对业务系统造成危害,如大量下载数据、爬取所有数据、执行删除、清空等敏感操作。
针对以上这些场景,可见企业实施上网行为管理有其必要性与合理性。
监控方式和程度
内网监控有两种方式,一种是需要在电脑上安装客户端,另一种则不需要安装。先说需要安装客户端的,这种往往监控的很严格。
拿超级眼监控来说,在购买了超级眼监控软件后,先是在老板或者管理者的电脑上安装“管理端”,接着在员工电脑上安装“员工端”。安装“员工端”是一键安装,无需注册账号,安装完成重启电脑,软件会自动隐蔽运行。安装完成后,在“管理端”打开,输入账号密码登录,软件会自动连接,点击“扫描”、在软件界面左侧可以看到所有员工端,包括在线和不在线的员工端。如图:
这个过程很简单,但可以做到很严格的监控。就超级眼来说,可以做到以下几点:
- 屏幕实时监控:屏幕监控,远程控制。可同时观看16个画面,可全屏查看并远程控制。
- 聊天记录监控:直接管控聊天工具记录,了解员工工作状态。
- 电脑屏幕录像:将屏幕活动录制成MP4格式的视频,员工端所有电脑开机自动录制屏幕,可保存在管理端,便于事后查看回放。
- 程序限制运行:限制员工可访问的程序和网页,规范上网行为,提高工作效率。
- 禁用USB接口:为了保护企业重要文件,可以设置员工端的U盘不能连接,不能读,不能写。
其中我们比较关心的,聊天记录的监视,也是可以看到的,假设我们在QQ上聊天,会被“管理端”记录聊天内容,如图:
不只是QQ,超级眼可以完整记录QQ、微信、TIM、企业微信、钉钉、 MSN、Skype和阿里旺旺等软件工具的聊天记录。并以文字,图片,录像等形式分类保存在管理端。甚至还有键盘记录,你每一次敲击键盘都会被记录下来。屏蔽网站、应用等可以通过黑名单和白名单设置,如图:
白名单意味着,只有写在名单上的网站才能访问,其它的一概不能访问。黑名单则是写在名单上的不能访问,其它的可以访问。一般来说使用黑名单机制。
这样类似的产品还有很多,像第三只眼、超级眼、安秉网盾等等。第三只眼和超级眼功能差不多,基本上都是全方位的监控,拿聊天记录监控来说,第三只眼的监控界面如图:
网页浏览记录如图:
不仅仅是公司企业,学校也会使用这些监控软件,例如第三只眼的客户中,就有不少高校,如图:
安秉网盾的监控,其监控程度可见一斑,如图:
像这种需要安装客户端的,属于比较变态的一种,一般来说大部分公司和学校还是不会这样做的。他们会选择另一种不需要安装客户端的方式,那就是:路由器。有的公司叫做防火墙,其实差不多,你可以把防火墙看作是加强版的路由器。一般买了防火墙就不再买路由器了,除非是中大型企业,路由器和防火墙都会买,同时还会做双机热备。注意,这里的路由器可不是我们家里连WiFi的那种,它长这样:
这款是思科的路由器(防火墙),该型号价格在4万人民币左右。像做硬件防火墙、企业级路由器、交换机等网络设备比较知名的公司有思科、华为、天融信、深信服等。国内目前用天融信和深信服的比较多,思科和华为的设备一般比较贵。
一般把防火墙设置在网关的位置,使得所有的流量都经过防火墙,这样就能对整个内网进行监控了。如图:
防火墙对外防御各种黑客攻击,对内进行网络监控。这也是目前高校和企业普遍采用的方案。
那么采用部署防火墙的方式是否就不知道我们在干什么呢?
监控原理与绕过监控
上面第一种方式就比较简单了,因为安装的客户端是以管理员权限运行的,相当于接管了你的电脑,就像以前的木马程序“灰鸽子”一样。至于绕过,这种监控软件安装后是隐藏运行的,在程序和功能列表里也不会有显示,很难被发现。
但是监控软件总归是要运行的,在任务管理器的进程列表里总归是会有痕迹的,不过这种进程往往都是做过处理和伪装的,需要对操作系统特别了解才行,不然辨认不出来。另外,就算知道了是哪个进程,杀死进程也是需要有相应的权限的,如果公司给你的账号是管理员权限的话,那么你可以结束它,这样就不会被监控了。如果不是,那么也可以通过PE格式化硬盘后重装系统,这样一来监控软件100%被清除了。但是不推荐这种做法,因为本机的监控木马会实时向服务器报告状态,直接重装的话,合法木马没有了,在管理员看来,你的机器就一直处于关机或者不在线的状态,然后会再下发一个木马并且警告你。
所以合理的做法是装双系统。想摸鱼时,切换到另一个系统,摸完了再切回去。
我们重点分析通过部署防火墙进行监控的,这也是目前高校和企业普遍使用的方法。
之前有一期有讲到过,上网的三大要素:DNS、DHCP和网关。网络数据包(IP报文)需要经过交换机、路由器、防火墙,最后进入外网。由于上网时浏览网站需要DNS解析,所以浏览历史会被记录,但其实并非如此,因为DNS解析记录在本地是有缓存的,甚至还可以手动添加,所以靠DNS是无法监控上网记录的。但是防火墙具备NAT和应用层协议识别功能,而发送的数据包必定经过网关,这样一来就可以记录下对应的IP和访问的网址,交换机可以记录MAC地址与网口的对应关系,通过IP-MAC-网口来锁定你的工位。这就是防火墙监视的原理。
这样一来,不论你是连WiFi还是插网线,都逃不了被监控的命运。不过现在手机可以设置随机MAC,这样私密性稍微好一点:
不过一般学校和企业的网段是按照楼层和区域规划好的,即使你使用WiFi照样定位你。为了详细分析其原理,这里拿深信服的AC系列来举例。
深信服AC采用的是旁路接入,镜像过滤,这样对干路影响较小,如图:
采用802.1x认证技术,该技术目前较为成熟,被广泛应用于各类型园区网员工接入。但据我所知,校园网大多采用的是Portal认证技术。
Portal 认证不需要客户端,实现原理是用户优先获取 IP 地址,访问某 url 被重定向到 portal 认证页面,输入用户名密码进行认证,完成认证即可访问相应资源,实施简单便捷, 对原有网络环境没有影响,安全性适中,认证通过前可以经过二层交换机。通过这种认证方式,可以实现不需要认证(绑定 IP/MAC)、账号密码认证、单点登录、禁止上网、微信快捷登录以及短信快捷登录。具体认证流程如图:
这个认证侧面上也方便定位到个人。
由于防火墙分析的是流量,而微信、QQ等即时通信软件都是采用加密协议传输的,虽然流量经过防火墙,但是由于不能解密,因此无法得知聊天内容。你可能觉得奇怪,现在绝大部分软件都是采用加密协议,微信、抖音、网易云等等,那么国美是怎么知道哪些人用了哪些APP用了多少流量呢?
原理就是防火墙采用了深度数据包识别技术(DPI)。该技术可以把在线音乐、视频、聊天、浏览网页的流量都可以识别和标注出来。深信服的AC应用了多种识别技术,识别范围更广。比如URL识别,是通过深信服AC内置的URL库来识别的。千万级的URL库能够应对互联网上数以万亿的网页、SSL 内容识别技术。所以说哪怕你访问的是HTTPS开头的网站,还是能知道你访问了哪些网站。
至于识别抖音、QQ、微信这些应用,也是通过AC的应用规则识别库来完成。深信服AC号称拥有国内最大的应用识别库,该库由深信服应用规则研发团队定期维护,保证库处于最新状态;基本涵盖了目前所有的主流应用。所以有时候说卖防火墙就是卖数据库。举个简单例子,由于IP包头是没有加密的,主要原因就是需要地址转发,加密后就无法传递IP数据包了,所以通过IP反查域名就知道你在访问什么网站了,这些IP、域名等特征都在数据库里都内置好的,有专门的人维护。在密码学领域有一种同态加密技术,如果技术成熟了就可以实现整个数据包加密了,保护隐私同时,也使得监管更难了。
IM聊天、在线炒股、网络游戏、在线流媒体、P2P应用、Email、常用 TCP/IP协议等,都是通过基于数据包特征进行精准识别。
以上通过深度内容检测,结合特征库和端口号,完全可以识别出哪些流量属于哪些应用。不过也不用担心,虽然能识别出应用,但也仅能知道你用了哪些软件,消耗了多少流量,并不能知道具体内容。比如你用微信聊了一上午的天,管理者能知道你上午用了微信聊天,且消耗了300MB流量,但不知道你和谁聊天,也不知道聊天的具体内容。再或者说你访问哔哩哔哩、爱奇艺等网站,管理者也仅能知道你访问了这些网站,但你看了什么视频、图片、文字这些内容都是无法知道的。唯一能看见邮件内容的可能就是使用outlook之类的客户端发邮件,还不用加密端口,但凡用了443或者通过web邮件(现在web邮箱都是https协议),是绝对看不到邮件内容的。
然后就是黑名单,在防火墙内设置对应的黑名单,比如百度网盘,那么以后凡是百度网盘出来的流量都会被拦截,这样相当于你就用不了百度网盘了。
我学校就是设置了流量阈值,假设我一天24小时不停播放视频,阈值是100GB/天,那么达到流量阈值就会触发警报,处理方式一种是给管理者发信息,让管理者处理;还有就是防火墙自动封掉主机或者IP,然后由管理者手动解封。很明显,我学校是后面这种方式。
至于绕过防火墙的监控,这就和上面安装客户端方式不一样了。因为并没有在电脑上安装监控软件,所有上网行为限制都是放在网络里分析数据包的,绕过监控比较难,因为数据包是不会骗人的,但也不是没有办法。
第一种方法是在电脑上装个虚拟机,使用Linux系统、Ubuntu什么的都行,网络连接设置成NAT方式。因为经过NAT转换之后,其IP和端口号都已改变,加上通信协议是加密的,所以便不知道你在干什么了。
第二种方法是使用VPN(Virtual Private Network,虚拟专用网络),可以直接购买现成的VPN服务,一般十几块一个月。也可以购买VPS自己搭建VPN,协议方案有很多像SSL VPN、 IPSec VPN、PPTP、L2TP、OpenVPN,Ocserv等等。通过TLS加密、加上流量通过代理服务器中转,这样就规避了监控的屏蔽规则。但是注意,VPN最好不要设置全局代理,因为这样所有的流量都指向同一个地方,一分析就知道是挂了VPN。所以只让必要的域名走VPN流量,其它的走正常流量。这样不容易被发现。
长城防火墙
可能有人会说,讲了一大通,我不用公司、学校的网不就行了,我数据流量多的是,给电脑开热点,用手机的4G/5G上网,这样一来,流量不再经过学校、公司的网关,而是通过移动运行商的基站接入互联网,这样公司就不能监控我了。但你真的以为用4G上网就不会被监控?
长城防火墙(Great Firewall,简称GFW)大家早有耳闻,如果把中国比作一家超大型公司,那么这家公司自然也有防火墙,所有访问国外网站的流量都需要经过GFW的过滤,和普通公司是一样的,只是这个防火墙是设置在网络总关口,由多台服务器和路由器等设备组成。你会发现,有些网站,如Google、Facebook、推特、YouTube等是无法访问的。如图:
这就是GFW在起作用,这些网站和应用是写在GFW的黑名单里面的。你在访问时会被自动切断连接。我们平时说的翻墙,指的就是GFW。其实我们翻墙,管理者是知道的,常用的那些VPN早已就被纪录到特征库里了,封不封只是一条指令的事。就算是自己搭建VPN,根据流量、协议等特征分析,也是可以检测的。GFW原理和上面讲的差不多,具体描述如图:
当然,除了长城防火墙,目前国家还有一套网络安全项目,名叫“金盾工程”。其作用比长城防火墙更广,历经多年发展,基本覆盖了互联网的各个角落,网络监控能力进一步加强。除了长城防火墙、金盾工程,其实还有一个安全项目:天眼工程。具体就不赘述了。
结束语
不管使用哪种上网方式,都是会收到监视与管控的。但也是有限度的,本文从技术角度分析网络监控的原理,预期目的是达到这样的效果:当你连接校园网后,你能清楚网络管理员可以掌握你的哪些上网信息,哪些是不知道的,哪些是知道的,这样心里有个数。上文提到的QQ微信等聊天记录,都是通过键盘记录和截图录屏实现的,因为就算监控软件把自己的证书内置到系统里面,微信的通信是加密的,照样解不开。总之你在网络上的一切活动,都是有记录的,追查起来十分方便。
之前在B站看有视频说可以绕过校园网网速限制,那些是扯淡的,网络限速工作在数据链路层(称为链路层流控),基于以太网(链路层)的限速,因为802.3规范里有PAUSE帧,还有各种各样的QoS,只要用这些就可以达到限速的目的。限速也有所以端到端流控,是基于传输层的TCP滑动窗口机制。这些都是协议设计时就规定好的,基本上无解。这个和百度网盘限速,迅雷下载限速,之前有人突破,比如pandownload,那时从鉴权方面入手来解除限制。而校园网如果做限制,是所有账号都限速,是不一样的。这些设计过多的计算机网络内容,想了解更多的,可以在公众号内回复:计算机网络,即可获取更多详细的资料。公众号主要分享一些网络安全,黑客攻防,渗透测试以及日常操作系统使用技巧相关的知识。欢迎关注。
以上是关于猛干1万字,详解网络监视原理的主要内容,如果未能解决你的问题,请参考以下文章