关于go语言中gc的初步研究

Posted 2021-04-05 雷神众测

No.1

声明

由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，雷神众测以及文章作者不为此承担任何责任。

雷神众测拥有对此文章的修改和解释权。如欲转载或传播此文章，必须保证此文章的完整性，包括版权声明等全部内容。未经雷神众测允许，不得任意修改或者增减此文章内容，不得以任何方式将其用于商业目的。

No.2

前言

    关于内存泄漏， 通俗来讲，就是由于程序错误导致计算机上有一部分内存属于已分配但却用不了的一个状态。程序中己动态分配的堆内存由于某种原因程序未释放或无法释放，造成系统内存的浪费，导致程序运行速度减慢甚至系统崩溃等严重后果。

No.3

gc出现

    对于任何使用C语言的人，如果问他们C语言的最大烦恼是什么，其中许多人可能会回答说是指针和内存泄漏。以致于后出现的语言，都在帮助程序员来处理内存泄漏的问题，比较有名的语言java、python、go等等，都有一个比较重要的机制，那就是gc(Garbage Collection)，也就是垃圾收集器。当然这也是得意于这些语言的特质，它们在运行的时候，都有一个诸如golang中runtime的机制，java中有jvm来管理。程序员不再需要考虑，我什么时候应该分配内存，什么时候应该回收内存。如果是从c语言开始学习编程的，应该对malloc和free非常熟悉，再写代码的时候回小心翼翼的使用这两个函数。如果是学python的，根本就不会注意到这个问题，有不会关心这个方面的问题。比较值得说明的是，在c语言中使用char列表来存储字符串，是一件非常麻烦的事情，在java等但是，就算如此，在日常的写程序的过程中，程序员也应该注意gc方面的问题。一个比较差的设计，可能使得gc对于整个程序的负担非常的大，可能会发现程序中gc的时间占比非常高。

No.4

gc的原理

gc常见的方式有：

    引用计数（reference counting）每个对象维护一个引用计数器，当引用该对象的对象被销毁或者更新的时候，被引用对象的引用计数器自动减 1，当被应用的对象被创建，或者赋值给其他对象时，引用 +1，引用为 0 的时候回收，思路简单，但是频繁更新引用计数器降低性能，存在循环以引用（php，Python所使用的）

    标记清除（mark and sweep）就是 golang 所使用的，从根变量来时遍历所有被引用对象，标记之后进行清除操作，对未标记对象进行回收，缺点：每次垃圾回收的时候都会暂停所有的正常运行的代码，系统的响应能力会大大降低，各种 mark&swamp 变种（三色标记法），缓解性能问题。

    分代搜集（generation）jvm 就使用的分代回收的思路。在面向对象编程语言中，绝大多数对象的生命周期都非常短。分代收集的基本思想是，将堆划分为两个或多个称为代（generation）的空间。新创建的对象存放在称为新生代（young generation）中（一般来说，新生代的大小会比 老年代小很多），随着垃圾回收的重复执行，生命周期较长的对象会被提升（promotion）到老年代中（这里用到了一个分类的思路，这个是也是科学思考的一个基本思路）。

No.5

golang中的gc原理

go1.3以前gc最大的问题在于stw(stop the word)，即在gc的时候需要暂停程序行为，然后进标记，最后将未标记的垃圾清除。如果频繁的触发gc的话，程序的运行就一卡一卡的。其基本的思路就是：

    1.标记：在内存堆中（由于有的时候管理内存页的时候要用到堆的数据结构，所以称为堆内存）存储着有一系列的对象，这些对象可能会与其他对象有关联（references between these objects） a tracing garbage collector 会在某一个时间点上停止原本正在运行的程序，之后它会扫描 runtim e已经知道的的 object 集合（already known set of objects），通常它们是存在于 stack 中的全局变量以及各种对象。gc 会对这些对象进行标记，将这些对象的状态标记为可达，从中找出所有的，从当前的这些对象可以达到其他地方的对象的 reference，并且将这些对象也标记为可达的对象，这个步骤被称为 mark phase，即标记阶段，这一步的主要目的是用于获取这些对象的状态信息。

    2.回收：一旦将所有的这些对象都扫描完，gc 就会获取到所有的无法 reach 的对象（状态为 unreachable 的对象），并且将它们回收，这一步称为 sweep phase，即是清扫阶段。

    3.清除：gc 仅仅搜集那些未被标记为可达（reachable）的对象。如果 gc 没有识别出一个 reference，最后有可能会将一个仍然在使用的对象给回收掉，就引起了程序运行错误。

go在1.3的时候引入了并发清理，go team 自己的说法是减少了 50%-70% 的暂停时间。
go在1.5时候使用了三色标记法，这个是标记清除算法的一个升级变种。流程如下：

    1.灰色：对象已被标记，但这个对象包含的子对象未标记

    2.黑色：对象已被标记，且这个对象包含的子对象也已标记，gcmarkBits对应的位为1（该对象不会在本次GC中被清理）

    3.白色：对象未被标记，gcmarkBits对应的位为0（该对象将会在本次GC中被清理）

例如，当前内存中有A~F一共6个对象，根对象a,b本身为栈上分配的局部变量，根对象a、b分别引用了对象A、B, 而B对象又引用了对象D，则GC开始前各对象的状态如下图所示:

    1.初始状态下所有对象都是白色的。

    2.接着开始扫描根对象a、b; 由于根对象引用了对象A、B,那么A、B变为灰色对象，接下来就开始分析灰色对象，分析A时，A没有引用其他对象很快就转入黑色，B引用了D，则B转入黑色的同时还需要将D转为灰色，进行接下来的分析。

    3.灰色对象只有D，由于D没有引用其他对象，所以D转入黑色。标记过程结束

    4.最终，黑色的对象会被保留下来，白色对象会被回收掉。

No.6

go中的gc过程

GO的GC是并行GC, 也就是GC的大部分处理和普通的go代码是同时运行的, 这让GO的GC流程比较复杂。

    1.Stack scan：Collect pointers from globals and goroutine stacks。收集根对象（全局变量，和G stack），开启写屏障。全局变量、开启写屏障需要STW，G stack只需要停止该G就好，时间比较少。

    2.Mark: Mark objects and follow pointers。标记所有根对象, 和根对象可以到达的所有对象不被回收。

    3.Mark Termination: Rescan globals/changed stack, finish mark。重新扫描全局变量，和上一轮改变的stack（写屏障），完成标记工作。这个过程需要STW。

    4.Sweep: 按标记结果清扫span

从1.8以后的golang将第一步的stop the world 也取消了，这又是一次优化；1.9开始, 写屏障的实现使用了Hybrid Write Barrier, 大幅减少了第二次STW的时间.
因为go支持并行GC, GC的扫描和go代码可以同时运行, 这样带来的问题是GC扫描的过程中go代码有可能改变了对象的依赖树。
例如开始扫描时发现根对象A和B, B拥有C的指针。

    1.GC先扫描A，A放入黑色

    2.B把C的指针交给A

    3.GC再扫描B，B放入黑色

    4.C在白色，会回收；但是A其实引用了C。

为了避免这个问题, go在GC的标记阶段会启用写屏障(Write Barrier)。启用了写屏障(Write Barrier)后，在GC第三轮rescan阶段，根据写屏障标记将C放入灰色，防止C丢失。

No.7

一些小建议

    增加对象的复用。对于一些频繁创建的对象，尽可能的增加对象的复用程度。比如如果连接reids，频繁的操作的话，尽可能的使用连接池子。

    少量使用+连接string。由于采用+来进行string的连接会生成新的对象，降低gc效率，可以通过append函数进行统一的操作。

    string 与 []byte 转化。在 stirng 与 []byte 之间进行转换，会给 gc 造成压力。

No.8

招聘启事

雷神众测SRC运营（实习生）
————————

工作地点：杭州（总部）、广州、成都、上海、北京

雷神众测白帽运营（实习生）

————————

工作地点：杭州（总部）、广州、成都、上海、北京

【岗位职责】

1.准确了解白帽子爱好，发掘白帽子需求

2.负责各类周边、礼物的挑选与采购

3.对黑客文化有深刻认知

4.维护白帽关系

【任职要求】

1.具有良好的审美眼光

2.具备定制礼品礼物经验

3.较强的沟通以及协调能力

4.为人正直，具备良好的职业道德，能吃苦耐劳，具有良好的团队合作精神

【加分项】

1、具备美术功底、懂得设计美化等

2、有互联网运营经验

简历投递至 [e-mail]

设计师

————————

【职位描述】
负责设计公司日常宣传图片、软文等与设计相关工作，负责产品品牌设计。

【职位要求】
1、从事平面设计相关工作1年以上，熟悉印刷工艺；具有敏锐的观察力及审美能力，及优异的创意设计能力；有 VI 设计、广告设计、画册设计等专长；
2、有良好的美术功底，审美能力和创意，色彩感强；精通photoshop/illustrator/coreldrew/等设计制作软件；
3、有品牌传播、产品设计或新媒体视觉工作经历；

【关于岗位的其他信息】
企业名称：杭州安恒信息技术股份有限公司
办公地点：杭州市滨江区安恒大厦19楼
学历要求：本科及以上
工作年限：1年及以上，条件优秀者可放宽

简历投递至 [e-mail]

安全招聘
————————

公司：安恒信息
岗位：Web安全 安全研究员
部门：安服战略支援部
薪资：13-30K
工作年限：1年+
工作地点：杭州（总部）、广州、成都、上海、北京

工作环境：一座大厦，健身场所，医师，帅哥，美女，高级食堂…

【岗位职责】
1.定期面向部门、全公司技术分享;
2.前沿攻防技术研究、跟踪国内外安全领域的安全动态、漏洞披露并落地沉淀；
3.负责完成部门渗透测试、红蓝对抗业务;
4.负责自动化平台建设
5.负责针对常见WAF产品规则进行测试并落地bypass方案

【岗位要求】
1.至少1年安全领域工作经验；
2.熟悉HTTP协议相关技术
3.拥有大型产品、CMS、厂商漏洞挖掘案例；
4.熟练掌握php、java、asp.net代码审计基础（一种或多种）
5.精通Web Fuzz模糊测试漏洞挖掘技术
6.精通OWASP TOP 10安全漏洞原理并熟悉漏洞利用方法
7.有过独立分析漏洞的经验，熟悉各种Web调试技巧
8.熟悉常见编程语言中的至少一种（Asp.net、Python、php、java）

【加分项】
1.具备良好的英语文档阅读能力；
2.曾参加过技术沙龙担任嘉宾进行技术分享；
3.具有CISSP、CISA、CSSLP、ISO27001、ITIL、PMP、COBIT、Security+、CISP、OSCP等安全相关资质者；
4.具有大型SRC漏洞提交经验、获得年度表彰、大型CTF夺得名次者；
5.开发过安全相关的开源项目；
6.具备良好的人际沟通、协调能力、分析和解决问题的能力者优先；
7.个人技术博客；
8.在优质社区投稿过文章；

岗位：安全红队武器自动化攻城狮
薪资：13-30K
工作年限：2年+
工作地点：杭州（总部）

【岗位职责】
1.负责红蓝对抗中的武器化落地与研究；
2.平台化建设；
3.安全研究落地。

【岗位要求】
1.熟练使用Python、java、c/c++等至少一门语言作为主要开发语言；
2.熟练使用Django、flask 等常用web开发框架、以及熟练使用mysql、mongoDB、redis等数据存储方案；
3:熟悉域安全以及内网横向渗透、常见web等漏洞原理；
4.对安全技术有浓厚的兴趣及热情，有主观研究和学习的动力；
5.具备正向价值观、良好的团队协作能力和较强的问题解决能力，善于沟通、乐于分享。

【加分项】
1.有高并发tcp服务、分布式等相关经验者优先；
2.在github上有开源安全产品优先；
3:有过安全开发经验、独自分析过相关开源安全工具、以及参与开发过相关后渗透框架等优先；
4.在freebuf、安全客、先知等安全平台分享过相关技术文章优先；
5.具备良好的英语文档阅读能力。

简历投递至 [e-mail]

安全服务工程师／渗透测试工程师

工作地点：新疆

1、掌握渗透测试原理和渗透测试流程，具备2年以上渗透测试工作经验，能够独立完成渗透测试方案和测试报告；
2、熟悉风险评估、安全评估；
3、熟练掌握各类渗透工具，如Sqlmap、Burpsuite、AWVS、Appscan、Nmap、Metasploit、Kali等；
4、熟练掌握Web渗透手法，如SQL注入、XSS、文件上传等攻击技术；
5、至少熟悉一种编程语言（php/java/python）,能够独立编写poc者优先；
6、具有良好的沟通能力和文档编写能力，动手能力强；
7、对工作有热情，耐心、责任心强，具备沟通能力和良好的团队意识；
8、加分项：有安全开发经验／可进行代码审计工作；
9、加分项：有安全和网络相关证书，如CISSP、CISA、CISP 、CCNP、CCIE等认证者；
岗位职责：
1、参与安全服务项目实施，其中包括渗透测试与安全评估，代码审计，安全培训，应急响应；
2、独立完成安全服务项目报告编写，输出安全服务实施报告；

简历投递至 [e-mail]

专注渗透测试技术

全球最新网络攻击技术

END