深入研究Block捕获外部变量和__block实现原理

Posted 小敏的博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深入研究Block捕获外部变量和__block实现原理相关的知识,希望对你有一定的参考价值。

Blocks是C语言的扩充功能,而Apple 在OS X Snow Leopard 和 ios 4中引入了这个新功能“Blocks”。从那开始,Block就出现在iOS和Mac系统各个API中,并被大家广泛使用。一句话来形容Blocks,带有自动变量(局部变量)的匿名函数。

 

Block在OC中的实现如下:

 

struct Block_layout {

    void *isa;

    int flags;

    int reserved;

    void (*invoke)(void *, ...);

    struct Block_descriptor *descriptor;

    /* Imported variables. */

};

 

struct Block_descriptor {

    unsigned long int reserved;

    unsigned long int size;

    void (*copy)(void *dst, void *src);

    void (*dispose)(void *);

};

从结构图中很容易看到isa,所以OC处理Block是按照对象来处理的。在iOS中,isa常见的就是_NSConcreteStackBlock,_NSConcreteMallocBlock,_NSConcreteGlobalBlock这3种(另外只在GC环境下还有3种使用的_NSConcreteFinalizingBlock,_NSConcreteAutoBlock,_NSConcreteWeakBlockVariable,本文暂不谈论这3种,有兴趣的看看官方文档)

 

以上介绍是Block的简要实现,接下来我们来仔细研究一下Block的捕获外部变量的特性以及__block的实现原理。

 

研究工具:clang

为了研究编译器的实现原理,我们需要使用 clang 命令。clang 命令可以将 Objetive-C 的源码改写成 C / C++ 语言的,借此可以研究 block 中各个特性的源码实现方式。该命令是

 

clang -rewrite-objc block.c

 

目录

 

  • 1.Block捕获外部变量实质

  • 2.Block的copy和release

  • 3.Block中__block实现原理

 

一.Block捕获外部变量实质

拿起我们的Block一起来捕捉外部变量吧。

 

说到外部变量,我们要先说一下C语言中变量有哪几种。一般可以分为一下5种:

 

  • 自动变量

  • 函数参数

  • 静态变量

  • 静态全局变量

  • 全局变量

 

研究Block的捕获外部变量就要除去函数参数这一项,下面一一根据这4种变量类型的捕获情况进行分析。

 

我们先根据这4种类型

 

  • 自动变量

  • 静态变量

  • 静态全局变量

  • 全局变量

 

写出Block测试代码。

这里很快就出现了一个错误,提示说自动变量没有加__block,由于__block有点复杂,我们先实验静态变量,静态全局变量,全局变量这3类。测试代码如下:

 

#import

 

int global_i = 1;

 

static int static_global_j = 2;

 

int main(int argc, const char * argv[]) {

 

    static int static_k = 3;

    int val = 4;

 

    void (^myBlock)(void) = ^{

        global_i ++;

        static_global_j ++;

        static_k ++;

        NSLog(@"Block中 global_i = %d,static_global_j = %d,static_k = %d,val = %d",global_i,static_global_j,static_k,val);

    };

 

    global_i ++;

    static_global_j ++;

    static_k ++;

    val ++;

    NSLog(@"Block外 global_i = %d,static_global_j = %d,static_k = %d,val = %d",global_i,static_global_j,static_k,val);

 

    myBlock();

 

    return 0;

}

 

运行结果

 

Block  global_i = 2,static_global_j = 3,static_k = 4,val = 5

Block  global_i = 3,static_global_j = 4,static_k = 5,val = 4

 

这里就有2点需要弄清楚了

 

1.为什么在Block里面不加__bolck不允许更改变量?

2.为什么自动变量的值没有增加,而其他几个变量的值是增加的?自动变量是什么状态下被block捕获进去的?

 

为了弄清楚这2点,我们用clang转换一下源码出来分析分析。

 

(main.m代码行37行,文件大小832bype, 经过clang转换成main.cpp以后,代码行数飙升至104810行,文件大小也变成了3.1MB)

 

源码如下

 

int global_i = 1;

 

static int static_global_j = 2;

 

struct __main_block_impl_0 {

  struct __block_impl impl;

  struct __main_block_desc_0* Desc;

  int *static_k;

  int val;

  __main_block_impl_0(void *fp, struct __main_block_desc_0 *desc, int *_static_k, int _val, int flags=0) : static_k(_static_k), val(_val) {

    impl.isa = &_NSConcreteStackBlock;

    impl.Flags = flags;

    impl.FuncPtr = fp;

    Desc = desc;

  }

};

static void __main_block_func_0(struct __main_block_impl_0 *__cself) {

  int *static_k = __cself->static_k; // bound by copy

  int val = __cself->val; // bound by copy

 

        global_i ++;

        static_global_j ++;

        (*static_k) ++;

        NSLog((NSString *)&__NSConstantStringImpl__var_folders_45_k1d9q7c52vz50wz1683_hk9r0000gn_T_main_6fe658_mi_0,global_i,static_global_j,(*static_k),val);

    }

 

static struct __main_block_desc_0 {

  size_t reserved;

  size_t Block_size;

} __main_block_desc_0_DATA = { 0, sizeof(struct __main_block_impl_0)};

 

 

int main(int argc, const char * argv[]) {

 

    static int static_k = 3;

    int val = 4;

 

    void (*myBlock)(void) = ((void (*)())&__main_block_impl_0((void *)__main_block_func_0, &__main_block_desc_0_DATA, &static_k, val));

 

    global_i ++;

    static_global_j ++;

    static_k ++;

    val ++;

    NSLog((NSString *)&__NSConstantStringImpl__var_folders_45_k1d9q7c52vz50wz1683_hk9r0000gn_T_main_6fe658_mi_1,global_i,static_global_j,static_k,val);

 

    ((void (*)(__block_impl *))((__block_impl *)myBlock)->FuncPtr)((__block_impl *)myBlock);

 

    return 0;

}

 

首先全局变量global_i和静态全局变量static_global_j的值增加,以及它们被Block捕获进去,这一点很好理解,因为是全局的,作用域很广,所以Block捕获了它们进去之后,在Block里面进行++操作,Block结束之后,它们的值依旧可以得以保存下来。

 

接下来仔细看看自动变量和静态变量的问题。

在__main_block_impl_0中,可以看到静态变量static_k和自动变量val,被Block从外面捕获进来,成为__main_block_impl_0这个结构体的成员变量了。

 

接着看构造函数,

 

__main_block_impl_0(void *fp, struct __main_block_desc_0 *desc, int *_static_k, int _val, int flags=0) : static_k(_static_k), val(_val)

 

这个构造函数中,自动变量和静态变量被捕获为成员变量追加到了构造函数中。

 

main里面的myBlock闭包中的__main_block_impl_0结构体,初始化如下

 

void (*myBlock)(void) = ((void (*)())&__main_block_impl_0((void *)__main_block_func_0, &__main_block_desc_0_DATA, &static_k, val));

 

 

impl.isa = &_NSConcreteStackBlock;

impl.Flags = 0;

impl.FuncPtr = __main_block_impl_0;

Desc = &__main_block_desc_0_DATA;

*_static_k = 4;

val = 4;

 

到此,__main_block_impl_0结构体就是这样把自动变量捕获进来的。也就是说,在执行Block语法的时候,Block语法表达式所使用的自动变量的值是被保存进了Block的结构体实例中,也就是Block自身中。

 

这里值得说明的一点是,如果Block外面还有很多自动变量,静态变量,等等,这些变量在Block里面并不会被使用到。那么这些变量并不会被Block捕获进来,也就是说并不会在构造函数里面传入它们的值。

 

Block捕获外部变量仅仅只捕获Block闭包里面会用到的值,其他用不到的值,它并不会去捕获。

 

再研究一下源码,我们注意到__main_block_func_0这个函数的实现

 

static void __main_block_func_0(struct __main_block_impl_0 *__cself) {

  int *static_k = __cself->static_k; // bound by copy

  int val = __cself->val; // bound by copy

 

        global_i ++;

        static_global_j ++;

        (*static_k) ++;

        NSLog((NSString *)&__NSConstantStringImpl__var_folders_45_k1d9q7c52vz50wz1683_hk9r0000gn_T_main_6fe658_mi_0,global_i,static_global_j,(*static_k),val);

    }

 

我们可以发现,系统自动给我们加上的注释,bound by copy,自动变量val虽然被捕获进来了,但是是用 __cself->val来访问的。Block仅仅捕获了val的值,并没有捕获val的内存地址。所以在__main_block_func_0这个函数中即使我们重写这个自动变量val的值,依旧没法去改变Block外面自动变量val的值。

 

OC可能是基于这一点,在编译的层面就防止开发者可能犯的错误,因为自动变量没法在Block中改变外部变量的值,所以编译过程中就报编译错误。错误就是最开始的那张截图。

 

Variable is not assignable(missing __block type specifier)

 

小结一下:

到此为止,上面提出的第二个问题就解开答案了。自动变量是以值传递方式传递到Block的构造函数里面去的。Block只捕获Block中会用到的变量。由于只捕获了自动变量的值,并内存地址,所以Block内部不能改变自动变量的值。Block捕获的外部变量可以改变值的是静态变量,静态全局变量,全局变量。上面例子也都证明过了。

 

剩下问题一我们还没有解决。

 

回到上面的例子上面来,4种变量里面只有静态变量,静态全局变量,全局变量这3种是可以在Block里面被改变值的。仔细观看源码,我们能看出这3个变量可以改变值的原因。

 

1.静态全局变量,全局变量由于作用域的原因,于是可以直接在Block里面被改变。他们也都存储在全局区。

2.静态变量传递给Block是内存地址值,所以能在Block里面直接改变值。

 

根据官方文档我们可以了解到,苹果要求我们在自动变量前加入 __block关键字(__block storage-class-specifier存储域类说明符),就可以在Block里面改变外部自动变量的值了。

 

总结一下在Block中改变变量值有2种方式,一是传递内存地址指针到Block中,二是改变存储区方式(__block)。

 

先来实验一下第一种方式,传递内存地址到Block中,改变变量的值。

 

#import

 

int main(int argc, const char * argv[]) {

 

  NSMutableString * str = [[NSMutableString alloc]initWithString:@"Hello,"];

 

        void (^myBlock)(void) = ^{

            [str appendString:@"World!"];

            NSLog(@"Block中 str = %@",str);

        };

 

    NSLog(@"Block外 str = %@",str);

 

    myBlock();

 

    return 0;

}

 

控制台输出:

 

Block  str = Hello,

Block  str = Hello,World!

 

看结果是成功改变了变量的值了,转换一下源码。

 

在__main_block_func_0里面可以看到传递的是指针。所以成功改变了变量的值。

 

至于源码里面的copy和dispose下一节会讲到。

 

改变外部变量值的第二种方式是加 __block这个放在第三章里面讨论,接下来我们先讨论一下Block的copy的问题,因为这个问题会关系到 __block存储域的问题。

 

二.Block的copy和dispose

OC中,一般Block就分为以下3种,_NSConcreteStackBlock,_NSConcreteMallocBlock,_NSConcreteGlobalBlock。

 

先来说明一下3者的区别。

 

1.从捕获外部变量的角度上来看

 

  • _NSConcreteStackBlock:

    只用到外部局部变量、成员属性变量,且没有强指针引用的block都是StackBlock。

    StackBlock的生命周期由系统控制的,一旦返回之后,就被系统销毁了。

  • _NSConcreteMallocBlock:

    有强指针引用或copy修饰的成员属性引用的block会被复制一份到堆中成为MallocBlock,没有强指针引用即销毁,生命周期由程序员控制

  • _NSConcreteGlobalBlock:

    没有用到外界变量或只用到全局变量、静态变量的block为_NSConcreteGlobalBlock,生命周期从创建到应用程序结束。

 

没有用到外部变量肯定是_NSConcreteGlobalBlock,这点很好理解。不过只用到全局变量、静态变量的block也是_NSConcreteGlobalBlock。举例如下:

 

#import

 

int global_i = 1;

static int static_global_j = 2;

 

int main(int argc, const char * argv[]) {

 

    static int static_k = 3;

 

    void (^myBlock)(void) = ^{

            NSLog(@"Block中 变量 = %d %d %d",static_global_j ,static_k, global_i);

        };

 

    NSLog(@"%@",myBlock);

 

    myBlock();

 

    return 0;

}

 

输出:

 

Block中 变量 = 2 3 1

 

可见,只用到全局变量、静态变量的block也可以是_NSConcreteGlobalBlock。

 

所以在ARC环境下,3种类型都可以捕获外部变量。

 

2.从持有对象的角度上来看:

 

  • _NSConcreteStackBlock是不持有对象的。

 

//以下是在MRC下执行的

    NSObject * obj = [[NSObject alloc]init];

    NSLog(@"1.Block外 obj = %lu",(unsigned long)obj.retainCount);

 

    void (^myBlock)(void) = ^{

        NSLog(@"Block中 obj = %lu",(unsigned long)obj.retainCount);

    };

 

    NSLog(@"2.Block外 obj = %lu",(unsigned long)obj.retainCount);

 

    myBlock();

 

输出:

 

1.Block外 obj = 1

2.Block外 obj = 1

Block中 obj = 1

 

  • _NSConcreteMallocBlock是持有对象的。

 

//以下是在MRC下执行的

    NSObject * obj = [[NSObject alloc]init];

    NSLog(@"1.Block外 obj = %lu",(unsigned long)obj.retainCount);

 

    void (^myBlock)(void) = [^{

        NSLog(@"Block中 obj = %lu",(unsigned long)obj.retainCount);

    }copy];

 

    NSLog(@"2.Block外 obj = %lu",(unsigned long)obj.retainCount);

 

    myBlock();

 

    [myBlock release];

 

    NSLog(@"3.Block外 obj = %lu",(unsigned long)obj.retainCount);

 

输出:

 

1.Block外 obj = 1

2.Block外 obj = 2

Block中 obj = 2

3.Block外 obj = 1

 

  • _NSConcreteGlobalBlock也不持有对象

 

//以下是在MRC下执行的

    void (^myBlock)(void) = ^{

 

        NSObject * obj = [[NSObject alloc]init];

        NSLog(@"Block中 obj = %lu",(unsigned long)obj.retainCount);

    };

 

    myBlock();

 

输出:

 

Block obj = 1

 

由于_NSConcreteStackBlock所属的变量域一旦结束,那么该Block就会被销毁。在ARC环境下,编译器会自动的判断,把Block自动的从栈copy到堆。比如当Block作为函数返回值的时候,肯定会copy到堆上。

 

1.手动调用copy

2.Block是函数的返回值

3.Block被强引用,Block被赋值给__strong或者id类型

4.调用系统API入参中含有usingBlcok的方法

 

以上4种情况,系统都会默认调用copy方法把Block赋复制

 

但是当Block为函数参数的时候,就需要我们手动的copy一份到堆上了。这里除去系统的API我们不需要管,比如GCD等方法中本身带usingBlock的方法,其他我们自定义的方法传递Block为参数的时候都需要手动copy一份到堆上。

 

copy函数把Block从栈上拷贝到堆上,dispose函数是把堆上的函数在废弃的时候销毁掉。

上面是源码中2个常用的宏定义和4个常用的方法,一会我们就会看到这4个方法。

 

static void *_Block_copy_internal(const void *arg, const int flags) {

    struct Block_layout *aBlock;

    const bool wantsOne = (WANTS_ONE & flags) == WANTS_ONE;

 

    // 1

    if (!arg) return NULL;

 

    // 2

    aBlock = (struct Block_layout *)arg;

 

    // 3

    if (aBlock->flags & BLOCK_NEEDS_FREE) {

        // latches on high

        latching_incr_int(&aBlock->flags);

        return aBlock;

    }

 

    // 4

    else if (aBlock->flags & BLOCK_IS_GLOBAL) {

        return aBlock;

    }

 

    // 5

    struct Block_layout *result = malloc(aBlock->descriptor->size);

    if (!result) return (void *)0;

 

    // 6

    memmove(result, aBlock, aBlock->descriptor->size); // bitcopy first

 

    // 7

    result->flags &= ~(BLOCK_REFCOUNT_MASK);    // XXX not needed

    result->flags |= BLOCK_NEEDS_FREE | 1;

 

    // 8

    result->isa = _NSConcreteMallocBlock;

 

    // 9

    if (result->flags & BLOCK_HAS_COPY_DISPOSE) {

        (*aBlock->descriptor->copy)(result, aBlock); // do fixup

    }

 

    return result;

}

 

上面这一段是Block_copy的一个实现,实现了从_NSConcreteStackBlock复制到_NSConcreteMallocBlock的过程。对应有9个步骤。

 

void _Block_release(void *arg) {

    // 1

    struct Block_layout *aBlock = (struct Block_layout *)arg;

    if (!aBlock) return;

 

    // 2

    int32_t newCount;

    newCount = latching_decr_int(&aBlock->flags) & BLOCK_REFCOUNT_MASK;

 

    // 3

    if (newCount > 0) return;

 

    // 4

    if (aBlock->flags & BLOCK_NEEDS_FREE) {

        if (aBlock->flags & BLOCK_HAS_COPY_DISPOSE)(*aBlock->descriptor->dispose)(aBlock);

        _Block_deallocator(aBlock);

    }

 

    // 5

    else if (aBlock->flags & BLOCK_IS_GLOBAL) {

        ;

    }

 

    // 6

    else {

        printf("Block_release called upon a stack Block: %p, ignored\\\\n", (void *)aBlock);

    }

}

 

上面这一段是Block_release的一个实现,实现了怎么释放一个Block。对应有6个步骤。

 

上述2个方法的详细解析可以看这篇文章

http://www.galloway.me.uk/2013/05/a-look-inside-blocks-episode-3-block-copy/

 

回到上一章节中最后的例子,字符串的例子中来,转换源码之后,我们会发现多了一个copy和dispose方法。

 

因为在C语言的结构体中,编译器没法很好的进行初始化和销毁操作。这样对内存管理来说是很不方便的。所以就在 __main_block_desc_0结构体中间增加成员变量 void (*copy)(struct __main_block_impl_0*, struct __main_block_impl_0*)和void (*dispose)(struct __main_block_impl_0*),利用OC的Runtime进行内存管理。

 

相应的增加了2个方法。

 

这里的_Block_object_assign和_Block_object_dispose就对应着retain和release方法。

 

BLOCK_FIELD_IS_OBJECT 是Block截获对象时候的特殊标示,如果是截获的__block,那么是BLOCK_FIELD_IS_BYREF。

 

三.Block中__block实现原理

 

我们继续研究一下__block实现原理。

 

#import

 

int main(int argc, const char * argv[]) {

 

    __block int i = 0;

 

    void (^myBlock)(void) = ^{

        i ++;

        NSLog(@"%d",i);

    };

 

    myBlock();

 

    return 0;

}

 

把上述代码用clang转换成源码。

从源码我们能发现,带有 __block的变量也被转化成了一个结构体__Block_byref_i_0,这个结构体有5个成员变量。第一个是isa指针,第二个是指向自身类型的__forwarding指针,第三个是一个标记flag,第四个是它的大小,第五个是变量值,名字和变量名同名。

 

__attribute__((__blocks__(byref))) __Block_byref_i_0 i = {(void*)0,(__Block_byref_i_0 *)&i, 0, sizeof(__Block_byref_i_0), 0};

 

源码中是这样初始化的。__forwarding指针初始化传递的是自己的地址。然而这里__forwarding指针真的永远指向自己么?我们来做一个实验。

 

//以下代码在MRC中运行

    __block int i = 0;

    NSLog(@"%p",&i);

 

    void (^myBlock)(void) = [^{

        i ++;

        NSLog(@"这是Block 里面%p",&i);

    }copy];

 

我们把Block拷贝到了堆上,这个时候打印出来的2个i变量的地址就不同了。

 

0x7fff5fbff818

 

这是Block 里面 0x1002038a8

 

地址不同就可以很明显的说明__forwarding指针并没有指向之前的自己了。那__forwarding指针现在指向到哪里了呢?

 

Block里面的__block的地址和Block的地址就相差1052。我们可以很大胆的猜想,__block现在也在堆上了。

 

出现这个不同的原因在于这里把Block拷贝到了堆上。

 

由第二章里面详细分析的,堆上的Block会持有对象。我们把Block通过copy到了堆上,堆上也会重新复制一份Block,并且该Block也会继续持有该__block。当Block释放的时候,__block没有被任何对象引用,也会被释放销毁。

 

__forwarding指针这里的作用就是针对堆的Block,把原来__forwarding指针指向自己,换成指向_NSConcreteMallocBlock上复制之后的__block自己。然后堆上的变量的__forwarding再指向自己。这样不管__block怎么复制到堆上,还是在栈上,都可以通过(i->__forwarding->i)来访问到变量值。

 

所以在__main_block_func_0函数里面就是写的(i->__forwarding->i)。

 

这里还有一个需要注意的地方。还是从例子说起:

 

//以下代码在MRC中运行

    __block int i = 0;

    NSLog(@"%p",&i);

 

    void (^myBlock)(void) = ^{

        i ++;

        NSLog(@"Block 里面的%p",&i);

    };

 

 

    NSLog(@"%@",myBlock);

 

    myBlock();

 

结果和之前copy的例子完全不同。

 

0x7fff5fbff818

**

0x7fff5fbff818

 

Block在捕获住__block变量之后,并不会复制到堆上,所以地址也一直都在栈上。这与ARC环境下的不一样。

 

ARC环境下,不管有没有copy,__block都会变copy到堆上,Block也是__NSMallocBlock。

MRC环境下,只有copy,__block才会被复制到堆上,否则,__block一直都在栈上,block也只是__NSStackBlock,这个时候__forwarding指针就只指向自己了。

至此,文章开头提出的问题一,也解答了。__block的实现原理也已经明了。

 

最后

 

关于Block捕获外部变量有很多用途,用途也很广,只有弄清了捕获变量和持有的变量的概念以后,之后才能清楚的解决Block循环引用的问题。

 

再次回到文章开头,5种变量,自动变量,函数参数 ,静态变量,静态全局变量,全局变量,如果严格的来说,捕获是必须在Block结构体__main_block_impl_0里面有成员变量的话,Block能捕获的变量就只有带有自动变量和静态变量了。捕获进Block的对象会被Block持有。

 

自动变量的值,被copy进了Block,不带__block的自动变量只能在里面被访问,并不能改变值。

带__block的自动变量 和 静态变量 就是直接地址访问。所以在Block里面可以直接改变变量的值。

而剩下的静态全局变量,全局变量,函数参数,也是可以在直接在Block中改变变量值的,但是他们并没有变成Block结构体__main_block_impl_0的成员变量,因为他们的作用域大,所以可以直接更改他们的值。

 

值得注意的是,静态全局变量,全局变量,函数参数他们并不会被Block持有,也就是说不会增加retainCount值。

 

以上是关于深入研究Block捕获外部变量和__block实现原理的主要内容,如果未能解决你的问题,请参考以下文章

深入研究Block用weakSelfstrongSelf@weakify@strongify解决循环引用(上)

深入研究Block用weakSelfstrongSelf@weakify@strongify解决循环引用(下)

深入理解Block

Block对象变量捕获(三)

__block修饰符(四)

iOS底层探索之Block——Block的探索和源码分析