深入研究Block捕获外部变量和__block实现原理

Posted 2020-08-04 小敏的博客

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深入研究Block捕获外部变量和__block实现原理相关的知识，希望对你有一定的参考价值。

Blocks是C语言的扩充功能，而Apple 在OS X Snow Leopard 和 ios 4中引入了这个新功能“Blocks”。从那开始，Block就出现在iOS和Mac系统各个API中，并被大家广泛使用。一句话来形容Blocks，带有自动变量（局部变量）的匿名函数。

Block在OC中的实现如下：

struct Block_layout {

    void *isa;

    int flags;

    int reserved;

    void (*invoke)(void *, ...);

    struct Block_descriptor *descriptor;

    /* Imported variables. */

};

struct Block_descriptor {

    unsigned long int reserved;

    unsigned long int size;

    void (*copy)(void *dst, void *src);

    void (*dispose)(void *);

};

从结构图中很容易看到isa，所以OC处理Block是按照对象来处理的。在iOS中，isa常见的就是_NSConcreteStackBlock，_NSConcreteMallocBlock，_NSConcreteGlobalBlock这3种(另外只在GC环境下还有3种使用的_NSConcreteFinalizingBlock，_NSConcreteAutoBlock，_NSConcreteWeakBlockVariable，本文暂不谈论这3种，有兴趣的看看官方文档)

以上介绍是Block的简要实现，接下来我们来仔细研究一下Block的捕获外部变量的特性以及__block的实现原理。

研究工具：clang

为了研究编译器的实现原理，我们需要使用 clang 命令。clang 命令可以将 Objetive-C 的源码改写成 C / C++ 语言的，借此可以研究 block 中各个特性的源码实现方式。该命令是

clang -rewrite-objc block.c

1.Block捕获外部变量实质
2.Block的copy和release
3.Block中__block实现原理

一.Block捕获外部变量实质

拿起我们的Block一起来捕捉外部变量吧。

说到外部变量，我们要先说一下C语言中变量有哪几种。一般可以分为一下5种：

自动变量
函数参数
静态变量
静态全局变量
全局变量

研究Block的捕获外部变量就要除去函数参数这一项，下面一一根据这4种变量类型的捕获情况进行分析。

我们先根据这4种类型

自动变量
静态变量
静态全局变量
全局变量

写出Block测试代码。

这里很快就出现了一个错误，提示说自动变量没有加__block，由于__block有点复杂，我们先实验静态变量，静态全局变量，全局变量这3类。测试代码如下：

#import

int global_i = 1;

static int static_global_j = 2;

int main(int argc, const char * argv[]) {

    static int static_k = 3;

    int val = 4;

    void (^myBlock)(void) = ^{

        global_i ++;

        static_global_j ++;

        static_k ++;

        NSLog(@"Block中 global_i = %d,static_global_j = %d,static_k = %d,val = %d",global_i,static_global_j,static_k,val);

    };

    global_i ++;

    static_global_j ++;

    static_k ++;

    val ++;

    NSLog(@"Block外 global_i = %d,static_global_j = %d,static_k = %d,val = %d",global_i,static_global_j,static_k,val);

    myBlock();

    return 0;

}

运行结果

Block 外 global_i = 2,static_global_j = 3,static_k = 4,val = 5

Block 中 global_i = 3,static_global_j = 4,static_k = 5,val = 4

这里就有2点需要弄清楚了

1.为什么在Block里面不加__bolck不允许更改变量？

2.为什么自动变量的值没有增加，而其他几个变量的值是增加的？自动变量是什么状态下被block捕获进去的？

为了弄清楚这2点，我们用clang转换一下源码出来分析分析。

（main.m代码行37行，文件大小832bype，经过clang转换成main.cpp以后，代码行数飙升至104810行，文件大小也变成了3.1MB）

源码如下

int global_i = 1;

static int static_global_j = 2;

struct __main_block_impl_0 {

  struct __block_impl impl;

  struct __main_block_desc_0* Desc;

  int *static_k;

  int val;

  __main_block_impl_0(void *fp, struct __main_block_desc_0 *desc, int *_static_k, int _val, int flags=0) : static_k(_static_k), val(_val) {

    impl.isa = &_NSConcreteStackBlock;

    impl.Flags = flags;

    impl.FuncPtr = fp;

    Desc = desc;

  }

};

static void __main_block_func_0(struct __main_block_impl_0 *__cself) {

  int *static_k = __cself->static_k; // bound by copy

  int val = __cself->val; // bound by copy

        global_i ++;

        static_global_j ++;

        (*static_k) ++;

        NSLog((NSString *)&__NSConstantStringImpl__var_folders_45_k1d9q7c52vz50wz1683_hk9r0000gn_T_main_6fe658_mi_0,global_i,static_global_j,(*static_k),val);

    }

static struct __main_block_desc_0 {

  size_t reserved;

  size_t Block_size;

} __main_block_desc_0_DATA = { 0, sizeof(struct __main_block_impl_0)};

int main(int argc, const char * argv[]) {

    static int static_k = 3;

    int val = 4;

    void (*myBlock)(void) = ((void (*)())&__main_block_impl_0((void *)__main_block_func_0, &__main_block_desc_0_DATA, &static_k, val));

    global_i ++;

    static_global_j ++;

    static_k ++;

    val ++;

    NSLog((NSString *)&__NSConstantStringImpl__var_folders_45_k1d9q7c52vz50wz1683_hk9r0000gn_T_main_6fe658_mi_1,global_i,static_global_j,static_k,val);

    ((void (*)(__block_impl *))((__block_impl *)myBlock)->FuncPtr)((__block_impl *)myBlock);

    return 0;

}

首先全局变量global_i和静态全局变量static_global_j的值增加，以及它们被Block捕获进去，这一点很好理解，因为是全局的，作用域很广，所以Block捕获了它们进去之后，在Block里面进行++操作，Block结束之后，它们的值依旧可以得以保存下来。

接下来仔细看看自动变量和静态变量的问题。

在__main_block_impl_0中，可以看到静态变量static_k和自动变量val，被Block从外面捕获进来，成为__main_block_impl_0这个结构体的成员变量了。

接着看构造函数，

__main_block_impl_0(void *fp, struct __main_block_desc_0 *desc, int *_static_k, int _val, int flags=0) : static_k(_static_k), val(_val)

这个构造函数中，自动变量和静态变量被捕获为成员变量追加到了构造函数中。

main里面的myBlock闭包中的__main_block_impl_0结构体，初始化如下

void (*myBlock)(void) = ((void (*)())&__main_block_impl_0((void *)__main_block_func_0, &__main_block_desc_0_DATA, &static_k, val));

impl.isa = &_NSConcreteStackBlock;

impl.Flags = 0;

impl.FuncPtr = __main_block_impl_0;

Desc = &__main_block_desc_0_DATA;

*_static_k = 4；

val = 4;

到此，__main_block_impl_0结构体就是这样把自动变量捕获进来的。也就是说，在执行Block语法的时候，Block语法表达式所使用的自动变量的值是被保存进了Block的结构体实例中，也就是Block自身中。

这里值得说明的一点是，如果Block外面还有很多自动变量，静态变量，等等，这些变量在Block里面并不会被使用到。那么这些变量并不会被Block捕获进来，也就是说并不会在构造函数里面传入它们的值。

Block捕获外部变量仅仅只捕获Block闭包里面会用到的值，其他用不到的值，它并不会去捕获。

再研究一下源码，我们注意到__main_block_func_0这个函数的实现

static void __main_block_func_0(struct __main_block_impl_0 *__cself) {

  int *static_k = __cself->static_k; // bound by copy

  int val = __cself->val; // bound by copy

        global_i ++;

        static_global_j ++;

        (*static_k) ++;

        NSLog((NSString *)&__NSConstantStringImpl__var_folders_45_k1d9q7c52vz50wz1683_hk9r0000gn_T_main_6fe658_mi_0,global_i,static_global_j,(*static_k),val);

    }

我们可以发现，系统自动给我们加上的注释，bound by copy，自动变量val虽然被捕获进来了，但是是用 __cself->val来访问的。Block仅仅捕获了val的值，并没有捕获val的内存地址。所以在__main_block_func_0这个函数中即使我们重写这个自动变量val的值，依旧没法去改变Block外面自动变量val的值。

OC可能是基于这一点，在编译的层面就防止开发者可能犯的错误，因为自动变量没法在Block中改变外部变量的值，所以编译过程中就报编译错误。错误就是最开始的那张截图。

Variable is not assignable(missing __block type specifier)

小结一下：

到此为止，上面提出的第二个问题就解开答案了。自动变量是以值传递方式传递到Block的构造函数里面去的。Block只捕获Block中会用到的变量。由于只捕获了自动变量的值，并内存地址，所以Block内部不能改变自动变量的值。Block捕获的外部变量可以改变值的是静态变量，静态全局变量，全局变量。上面例子也都证明过了。

剩下问题一我们还没有解决。

回到上面的例子上面来，4种变量里面只有静态变量，静态全局变量，全局变量这3种是可以在Block里面被改变值的。仔细观看源码，我们能看出这3个变量可以改变值的原因。

1.静态全局变量，全局变量由于作用域的原因，于是可以直接在Block里面被改变。他们也都存储在全局区。

2.静态变量传递给Block是内存地址值，所以能在Block里面直接改变值。

根据官方文档我们可以了解到，苹果要求我们在自动变量前加入 __block关键字(__block storage-class-specifier存储域类说明符)，就可以在Block里面改变外部自动变量的值了。

总结一下在Block中改变变量值有2种方式，一是传递内存地址指针到Block中，二是改变存储区方式(__block)。

先来实验一下第一种方式，传递内存地址到Block中，改变变量的值。

#import

int main(int argc, const char * argv[]) {

  NSMutableString * str = [[NSMutableString alloc]initWithString:@"Hello,"];

        void (^myBlock)(void) = ^{

            [str appendString:@"World!"];

            NSLog(@"Block中 str = %@",str);

        };

    NSLog(@"Block外 str = %@",str);

    myBlock();

    return 0;

}

控制台输出：

Block 外 str = Hello,

Block 中 str = Hello,World!

看结果是成功改变了变量的值了，转换一下源码。

在__main_block_func_0里面可以看到传递的是指针。所以成功改变了变量的值。

至于源码里面的copy和dispose下一节会讲到。

改变外部变量值的第二种方式是加 __block这个放在第三章里面讨论，接下来我们先讨论一下Block的copy的问题，因为这个问题会关系到 __block存储域的问题。

二.Block的copy和dispose

OC中，一般Block就分为以下3种，_NSConcreteStackBlock，_NSConcreteMallocBlock，_NSConcreteGlobalBlock。

先来说明一下3者的区别。

1.从捕获外部变量的角度上来看

_NSConcreteStackBlock：

只用到外部局部变量、成员属性变量，且没有强指针引用的block都是StackBlock。

StackBlock的生命周期由系统控制的，一旦返回之后，就被系统销毁了。
_NSConcreteMallocBlock：

有强指针引用或copy修饰的成员属性引用的block会被复制一份到堆中成为MallocBlock，没有强指针引用即销毁，生命周期由程序员控制
_NSConcreteGlobalBlock：

没有用到外界变量或只用到全局变量、静态变量的block为_NSConcreteGlobalBlock，生命周期从创建到应用程序结束。

没有用到外部变量肯定是_NSConcreteGlobalBlock，这点很好理解。不过只用到全局变量、静态变量的block也是_NSConcreteGlobalBlock。举例如下：

#import

int global_i = 1;

static int static_global_j = 2;

int main(int argc, const char * argv[]) {

    static int static_k = 3;

    void (^myBlock)(void) = ^{

            NSLog(@"Block中变量 = %d %d %d",static_global_j ,static_k, global_i);

        };

    NSLog(@"%@",myBlock);

    myBlock();

    return 0;

}

输出：

Block中变量 = 2 3 1

可见，只用到全局变量、静态变量的block也可以是_NSConcreteGlobalBlock。

所以在ARC环境下，3种类型都可以捕获外部变量。

2.从持有对象的角度上来看：

_NSConcreteStackBlock是不持有对象的。

//以下是在MRC下执行的

    NSObject * obj = [[NSObject alloc]init];

    NSLog(@"1.Block外 obj = %lu",(unsigned long)obj.retainCount);

    void (^myBlock)(void) = ^{

        NSLog(@"Block中 obj = %lu",(unsigned long)obj.retainCount);

    };

    NSLog(@"2.Block外 obj = %lu",(unsigned long)obj.retainCount);

    myBlock();

输出：

1.Block外 obj = 1

2.Block外 obj = 1

Block中 obj = 1

_NSConcreteMallocBlock是持有对象的。

//以下是在MRC下执行的

    NSObject * obj = [[NSObject alloc]init];

    NSLog(@"1.Block外 obj = %lu",(unsigned long)obj.retainCount);

    void (^myBlock)(void) = [^{

        NSLog(@"Block中 obj = %lu",(unsigned long)obj.retainCount);

    }copy];

    NSLog(@"2.Block外 obj = %lu",(unsigned long)obj.retainCount);

    myBlock();

    [myBlock release];

    NSLog(@"3.Block外 obj = %lu",(unsigned long)obj.retainCount);

输出：

1.Block外 obj = 1

2.Block外 obj = 2

Block中 obj = 2

3.Block外 obj = 1

_NSConcreteGlobalBlock也不持有对象

//以下是在MRC下执行的

    void (^myBlock)(void) = ^{

        NSObject * obj = [[NSObject alloc]init];

        NSLog(@"Block中 obj = %lu",(unsigned long)obj.retainCount);

    };

    myBlock();

输出：

Block 中 obj = 1

由于_NSConcreteStackBlock所属的变量域一旦结束，那么该Block就会被销毁。在ARC环境下，编译器会自动的判断，把Block自动的从栈copy到堆。比如当Block作为函数返回值的时候，肯定会copy到堆上。

1.手动调用copy

2.Block是函数的返回值

3.Block被强引用，Block被赋值给__strong或者id类型

4.调用系统API入参中含有usingBlcok的方法

以上4种情况，系统都会默认调用copy方法把Block赋复制

但是当Block为函数参数的时候，就需要我们手动的copy一份到堆上了。这里除去系统的API我们不需要管，比如GCD等方法中本身带usingBlock的方法，其他我们自定义的方法传递Block为参数的时候都需要手动copy一份到堆上。

copy函数把Block从栈上拷贝到堆上，dispose函数是把堆上的函数在废弃的时候销毁掉。

上面是源码中2个常用的宏定义和4个常用的方法，一会我们就会看到这4个方法。

static void *_Block_copy_internal(const void *arg, const int flags) {

    struct Block_layout *aBlock;

    const bool wantsOne = (WANTS_ONE & flags) == WANTS_ONE;

    // 1

    if (!arg) return NULL;

    // 2

    aBlock = (struct Block_layout *)arg;

    // 3

    if (aBlock->flags & BLOCK_NEEDS_FREE) {

        // latches on high

        latching_incr_int(&aBlock->flags);

        return aBlock;

    }

    // 4

    else if (aBlock->flags & BLOCK_IS_GLOBAL) {

        return aBlock;

    }

    // 5

    struct Block_layout *result = malloc(aBlock->descriptor->size);

    if (!result) return (void *)0;

    // 6

    memmove(result, aBlock, aBlock->descriptor->size); // bitcopy first

    // 7

    result->flags &= ~(BLOCK_REFCOUNT_MASK);    // XXX not needed

    result->flags |= BLOCK_NEEDS_FREE | 1;

    // 8

    result->isa = _NSConcreteMallocBlock;

    // 9

    if (result->flags & BLOCK_HAS_COPY_DISPOSE) {

        (*aBlock->descriptor->copy)(result, aBlock); // do fixup

    }

    return result;

}

上面这一段是Block_copy的一个实现，实现了从_NSConcreteStackBlock复制到_NSConcreteMallocBlock的过程。对应有9个步骤。

void _Block_release(void *arg) {

    // 1

    struct Block_layout *aBlock = (struct Block_layout *)arg;

    if (!aBlock) return;

    // 2

    int32_t newCount;

    newCount = latching_decr_int(&aBlock->flags) & BLOCK_REFCOUNT_MASK;

    // 3

    if (newCount > 0) return;

    // 4

    if (aBlock->flags & BLOCK_NEEDS_FREE) {

        if (aBlock->flags & BLOCK_HAS_COPY_DISPOSE)(*aBlock->descriptor->dispose)(aBlock);

        _Block_deallocator(aBlock);

    }

    // 5

    else if (aBlock->flags & BLOCK_IS_GLOBAL) {

        ;

    }

    // 6

    else {

        printf("Block_release called upon a stack Block: %p, ignored\\\\n", (void *)aBlock);

    }

}

上面这一段是Block_release的一个实现，实现了怎么释放一个Block。对应有6个步骤。

上述2个方法的详细解析可以看这篇文章

http://www.galloway.me.uk/2013/05/a-look-inside-blocks-episode-3-block-copy/

回到上一章节中最后的例子，字符串的例子中来，转换源码之后，我们会发现多了一个copy和dispose方法。

因为在C语言的结构体中，编译器没法很好的进行初始化和销毁操作。这样对内存管理来说是很不方便的。所以就在 __main_block_desc_0结构体中间增加成员变量 void (*copy)(struct __main_block_impl_0*, struct __main_block_impl_0*)和void (*dispose)(struct __main_block_impl_0*)，利用OC的Runtime进行内存管理。

相应的增加了2个方法。

这里的_Block_object_assign和_Block_object_dispose就对应着retain和release方法。

BLOCK_FIELD_IS_OBJECT 是Block截获对象时候的特殊标示，如果是截获的__block，那么是BLOCK_FIELD_IS_BYREF。

三.Block中__block实现原理

我们继续研究一下__block实现原理。

#import

int main(int argc, const char * argv[]) {

    __block int i = 0;

    void (^myBlock)(void) = ^{

        i ++;

        NSLog(@"%d",i);

    };

    myBlock();

    return 0;

}

把上述代码用clang转换成源码。

从源码我们能发现，带有 __block的变量也被转化成了一个结构体__Block_byref_i_0,这个结构体有5个成员变量。第一个是isa指针，第二个是指向自身类型的__forwarding指针，第三个是一个标记flag，第四个是它的大小，第五个是变量值，名字和变量名同名。

__attribute__((__blocks__(byref))) __Block_byref_i_0 i = {(void*)0,(__Block_byref_i_0 *)&i, 0, sizeof(__Block_byref_i_0), 0};

源码中是这样初始化的。__forwarding指针初始化传递的是自己的地址。然而这里__forwarding指针真的永远指向自己么？我们来做一个实验。

//以下代码在MRC中运行

    __block int i = 0;

    NSLog(@"%p",&i);

    void (^myBlock)(void) = [^{

        i ++;

        NSLog(@"这是Block 里面%p",&i);

    }copy];

我们把Block拷贝到了堆上，这个时候打印出来的2个i变量的地址就不同了。

0x7fff5fbff818

这是Block 里面 0x1002038a8

地址不同就可以很明显的说明__forwarding指针并没有指向之前的自己了。那__forwarding指针现在指向到哪里了呢？

Block里面的__block的地址和Block的地址就相差1052。我们可以很大胆的猜想，__block现在也在堆上了。

出现这个不同的原因在于这里把Block拷贝到了堆上。

由第二章里面详细分析的，堆上的Block会持有对象。我们把Block通过copy到了堆上，堆上也会重新复制一份Block，并且该Block也会继续持有该__block。当Block释放的时候，__block没有被任何对象引用，也会被释放销毁。

__forwarding指针这里的作用就是针对堆的Block，把原来__forwarding指针指向自己，换成指向_NSConcreteMallocBlock上复制之后的__block自己。然后堆上的变量的__forwarding再指向自己。这样不管__block怎么复制到堆上，还是在栈上，都可以通过(i->__forwarding->i)来访问到变量值。

所以在__main_block_func_0函数里面就是写的(i->__forwarding->i)。

这里还有一个需要注意的地方。还是从例子说起：

//以下代码在MRC中运行

    __block int i = 0;

    NSLog(@"%p",&i);

    void (^myBlock)(void) = ^{

        i ++;

        NSLog(@"Block 里面的%p",&i);

    };

    NSLog(@"%@",myBlock);

    myBlock();