（十一）golang 内存分析
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了（十一）golang 内存分析相关的知识，希望对你有一定的参考价值。
参考技术A 编写过C语言程序的肯定知道通过malloc()方法动态申请内存，其中内存分配器使用的是glibc提供的ptmalloc2。 除了glibc，业界比较出名的内存分配器有Google的tcmalloc和Facebook的jemalloc。二者在避免内存碎片和性能上均比glic有比较大的优势，在多线程环境中效果更明显。Golang中也实现了内存分配器，原理与tcmalloc类似，简单的说就是维护一块大的全局内存，每个线程(Golang中为P)维护一块小的私有内存，私有内存不足再从全局申请。另外，内存分配与GC（垃圾回收）关系密切，所以了解GC前有必要了解内存分配的原理。
为了方便自主管理内存，做法便是先向系统申请一块内存，然后将内存切割成小块，通过一定的内存分配算法管理内存。 以64位系统为例，Golang程序启动时会向系统申请的内存如下图所示：
预申请的内存划分为spans、bitmap、arena三部分。其中arena即为所谓的堆区，应用中需要的内存从这里分配。其中spans和bitmap是为了管理arena区而存在的。
arena的大小为512G，为了方便管理把arena区域划分成一个个的page，每个page为8KB,一共有512GB/8KB个页；
spans区域存放span的指针，每个指针对应一个page，所以span区域的大小为(512GB/8KB)乘以指针大小8byte = 512M
bitmap区域大小也是通过arena计算出来，不过主要用于GC。
span是用于管理arena页的关键数据结构，每个span中包含1个或多个连续页，为了满足小对象分配，span中的一页会划分更小的粒度，而对于大对象比如超过页大小，则通过多页实现。
根据对象大小，划分了一系列class，每个class都代表一个固定大小的对象，以及每个span的大小。如下表所示：
上表中每列含义如下：
class： class ID，每个span结构中都有一个class ID, 表示该span可处理的对象类型
bytes/obj：该class代表对象的字节数
bytes/span：每个span占用堆的字节数，也即页数乘以页大小
objects: 每个span可分配的对象个数，也即（bytes/spans）/（bytes/obj）waste
bytes: 每个span产生的内存碎片，也即（bytes/spans）%（bytes/obj）上表可见最大的对象是32K大小，超过32K大小的由特殊的class表示，该class ID为0，每个class只包含一个对象。
span是内存管理的基本单位,每个span用于管理特定的class对象, 跟据对象大小，span将一个或多个页拆分成多个块进行管理。src/runtime/mheap.go:mspan定义了其数据结构：
以class 10为例，span和管理的内存如下图所示：
spanclass为10，参照class表可得出npages=1,nelems=56,elemsize为144。其中startAddr是在span初始化时就指定了某个页的地址。allocBits指向一个位图，每位代表一个块是否被分配，本例中有两个块已经被分配，其allocCount也为2。next和prev用于将多个span链接起来，这有利于管理多个span，接下来会进行说明。
有了管理内存的基本单位span，还要有个数据结构来管理span，这个数据结构叫mcentral，各线程需要内存时从mcentral管理的span中申请内存，为了避免多线程申请内存时不断的加锁，Golang为每个线程分配了span的缓存，这个缓存即是cache。src/runtime/mcache.go:mcache定义了cache的数据结构
alloc为mspan的指针数组，数组大小为class总数的2倍。数组中每个元素代表了一种class类型的span列表，每种class类型都有两组span列表，第一组列表中所表示的对象中包含了指针，第二组列表中所表示的对象不含有指针，这么做是为了提高GC扫描性能，对于不包含指针的span列表，没必要去扫描。根据对象是否包含指针，将对象分为noscan和scan两类，其中noscan代表没有指针，而scan则代表有指针，需要GC进行扫描。mcache和span的对应关系如下图所示：
mchache在初始化时是没有任何span的，在使用过程中会动态的从central中获取并缓存下来，跟据使用情况，每种class的span个数也不相同。上图所示，class 0的span数比class1的要多，说明本线程中分配的小对象要多一些。
cache作为线程的私有资源为单个线程服务，而central则是全局资源，为多个线程服务，当某个线程内存不足时会向central申请，当某个线程释放内存时又会回收进central。src/runtime/mcentral.go:mcentral定义了central数据结构：
lock: 线程间互斥锁，防止多线程读写冲突
spanclass : 每个mcentral管理着一组有相同class的span列表
nonempty: 指还有内存可用的span列表
empty: 指没有内存可用的span列表
nmalloc: 指累计分配的对象个数线程从central获取span步骤如下：
将span归还步骤如下：
从mcentral数据结构可见，每个mcentral对象只管理特定的class规格的span。事实上每种class都会对应一个mcentral,这个mcentral的集合存放于mheap数据结构中。src/runtime/mheap.go:mheap定义了heap的数据结构：
lock： 互斥锁
spans: 指向spans区域，用于映射span和page的关系
bitmap：bitmap的起始地址
arena_start: arena区域首地址
arena_used: 当前arena已使用区域的最大地址
central: 每种class对应的两个mcentral
从数据结构可见，mheap管理着全部的内存，事实上Golang就是通过一个mheap类型的全局变量进行内存管理的。mheap内存管理示意图如下：
系统预分配的内存分为spans、bitmap、arean三个区域，通过mheap管理起来。接下来看内存分配过程。
针对待分配对象的大小不同有不同的分配逻辑：
(0, 16B) 且不包含指针的对象： Tiny分配
(0, 16B) 包含指针的对象：正常分配
[16B, 32KB] : 正常分配
(32KB, -) : 大对象分配其中Tiny分配和大对象分配都属于内存管理的优化范畴，这里暂时仅关注一般的分配方法。
以申请size为n的内存为例，分配步骤如下：
Golang内存分配是个相当复杂的过程，其中还掺杂了GC的处理，这里仅仅对其关键数据结构进行了说明，了解其原理而又不至于深陷实现细节。1、Golang程序启动时申请一大块内存并划分成spans、bitmap、arena区域
2、arena区域按页划分成一个个小块。
3、span管理一个或多个页。
4、mcentral管理多个span供线程申请使用
5、mcache作为线程私有资源，资源来源于mcentral。
Golang✔️走进 Go 语言✔️ 第十一课 指针
概述
Golang 是一个跨平台的新生编程语言. 今天小白就带大家一起携手走进 Golang 的世界. (第 11 课)
指针
指针 (Pointer) 也就是内存地址, 指针变量是用来存放内存地址的变量. Go 语言的取地址符是&, 放到一个变量前使用就会返回相应变量的内存地址.
数据和数据存储地址
例子:
package main
import "fmt"
func main() {
// 定义变量
var num = 10
// 调试输出值和地址
fmt.Println("值: ", num, "地址: ", &num)
}
输出结果:
值: 10 地址: 0xc00000a088
创建指针
例子:
package main
import "fmt"
func main() {
// 定义变量
var num = 10
// 定义指针
var pnum = &num
// 调试输出
fmt.Println("变量值: ", num, "变量地址: ", &num)
fmt.Println("指针值: ", pnum, "指针地址: ", &pnum)
}
输出结果:
变量值: 10 变量地址: 0xc00000a088
指针值: 0xc00000a088 指针地址: 0xc000006028
我们可以看到, 指向 num 的指针 pnum 的值为 num 的地址.
通过指针修改变量值
例子:
package main
import "fmt"
func main() {
// 定义变量
var num = 10
// 定义指针
var pnum = &num
fmt.Println(num, &num)
// 通过指针改变变量的值
*pnum = 100
fmt.Println(num, &num)
}
输出结果:
10 0xc00000a088
100 0xc00000a088
空指针
空指针 (Null Pointer) 是在计算中有保留值, 用于指示指针不引用有效对象. 程序通常使用空指针来表示条件.
例子:
package main
import "fmt"
func main() {
// 定义空指针
var pt *int
// 调试输出
fmt.Println(pt)
}
输出结果:
<nil>
指针数组
例子:
package main
import "fmt"
func main() {
// 定义int数组
var array = []int {1, 2, 3}
// 定义指针数组
var pt_array [3]* int
// 遍历
for i := 0; i < 3; i++ {
// 指针指向地址
pt_array[i] = &array[i]
}
// 输出指针和指针指向的值
for _, pt := range pt_array {
fmt.Println(*pt, pt)
}
}
输出结果:
1 0xc0000ae090
2 0xc0000ae098
3 0xc0000ae0a0
二级指针
二级指针是一个指向一级指针值的指针.
例子:
package main
import "fmt"
func main() {
// 定义变量
var num = 10
// 定义一级指针
var pt *int = &num
// 定义二级指针
var ppt **int = &pt
// 调试输出
fmt.Println(num, &num)
fmt.Println(pt, &pt)
fmt.Println(ppt, &ppt)
}
输出结果:
10 0xc00000a088
0xc00000a088 0xc000006028
0xc000006028 0xc000006030
我们可以看到一级指针 pt 的值为 num 的内存地址, 二级指针 ppt 的值为一级指针 pt 的地址.
以上是关于（十一）golang 内存分析的主要内容，如果未能解决你的问题，请参考以下文章