详解OS X和iOS图像处理框架Core Image

Posted 2020-07-22 飞羽孟德

转自：http://www.csdn.net/article/2015-02-13/2823961-core-image

摘要：本 文结合实例详解了OS X和ios图像处理框架Core Image的使用，如何通过Core Image来创建和使用iOS的内置滤镜，非常适合初学者学习。虽然示例代码是用Swift写的iOS程序，不过实现概念很容易转换到 Objective-C和OS X。

这篇文章会为初学者介绍一下Core Image，一个OS X和iOS的图像处理框架。

如果你想跟着本文中的代码学习，你可以在GitHub上下载示例工程。示例工程是一个iOS应用程序，列出了系统提供的大量图像滤镜以供选择，并提供了一个用户界面用来调整参数并观察效果。

虽然示例代码是用Swift写的iOS程序，不过实现概念很容易转换到Objective-C和OS X。

基本概念

说到Core Image，我们首先需要介绍几个基本的概念。

一个滤镜是一个对象，有很多输入和输出，并执行一些变换。例如，模糊滤镜可能需要输入图像和一个模糊半径来产生适当的模糊后的输出图像。

一个滤镜图表是一个链接在一起的滤镜网络（无回路有向图），使得一个滤镜的输出可以是另一个滤镜的输入。以这种方式，可以实现精心制作的效果。我们将在下面看到如何连接滤镜来创建一个复古的拍照效果。

熟悉Core Image API

有了上述的这些概念，我们可以开始探索Core Image的图像滤镜细节了。

Core Image架构

Core Image有一个插件架构，这意味着它允许用户编写自定义的滤镜并与系统提供的滤镜集成来扩展其功能。我们在这篇文章中不会用到Core Image的可扩展性；我提到它只是因为它影响到了框架的API。

Core Image 是用来最大化利用其所运行之上的硬件的。每个滤镜实际上的实现，即内核，是由一个GLSL（即OpenGL的着色语言）的子集来书写的。当多个滤镜连接成一个滤镜图表，Core Image便把内核串在一起来构建一个可在GPU上运行的高效程序。

只要有可能，Core Image都会把工作延迟。通常情况下，直到滤镜图表的最后一个滤镜的输出被请求之前都不会发生分配或处理。

为 了完成工作，Core Image需要一个称为上下文（context）的对象。这个上下文是框架真正工作的地方，它需要分配必要的内存，并编译和运行滤镜内核来执行图像处理。 建立一个上下文是非常昂贵的，所以你会经常想创建一个反复使用的上下文。接下来我们将看到如何创建一个上下文。

查询可用的滤镜

Core Image滤镜是按名字创建的。要获得系统滤镜的列表，我们要向Core Image的kCICategoryBuiltIn类别请求得到滤镜的名字：

 

[cpp] view plaincopy

 

1. let filterNames = CIFilter.filterNamesInCategory(kCICategoryBuiltIn) as [String]  

 

iOS上可用的滤镜列表非常接近于OS X上可用滤镜的一个子集。在OS X上有169个内置滤镜，在iOS上有127个。

通过名字创建一个滤镜

现在，我们有了可用滤镜的列表，我们就可以创建和使用滤镜了。例如，要创建一个高斯模糊滤镜，我们传给CIFilter初始化方法相应的名称就可以了：

 

[cpp] view plaincopy

 

1. let blurFilter = CIFilter(named:"CIGaussianBlur")   

 

设置滤镜参数

由于Core Image的插件结构，大多数滤镜属性并不是直接设置的，而是通过键值编码（KVC）设置。例如，要设置模糊滤镜的模糊半径，我们使用KVC来设置inputRadius属性：

 

[cpp] view plaincopy

 

1. blurFilter.setValue(10.0 forKey:"inputRadius")  

 

由于这种方法需要AnyObject? （即Objective-C里的id）作为其参数值，它不是类型安全的。因此，设置滤镜参数需要谨慎一些，确保你传值的类型是正确的。

查询滤镜属性

为了知道一个滤镜提供什么样的输入和输出参数，我们就可以分别获取inputKeys和outputKeys数组。它们都返回NSString的数组。

要 获取每个参数的详细信息，我们可以看看由滤镜提供的attributes字典。每个输入和输出参数名映射到它自己的字典里，描述了它是什么样的参数，如果 有的话还会给出它的最大值和最小值。例如，下面是 CIColorControls滤镜对应的inputBrightness参数字典：

 

[cpp] view plaincopy

 

1. inputBrightness = {    
2.     CIAttributeClass = NSNumber;  
3.     CIAttributeDefault = 0;  
4.     CIAttributeIdentity = 0;  
5.     CIAttributeMin = -1;  
6.     CIAttributeSliderMax = 1;  
7.     CIAttributeSliderMin = -1;  
8.     CIAttributeType = CIAttributeTypeScalar;  
9. };  

 

对于数值参数，该字典会包含 kCIAttributeSliderMin 和 kCIAttributeSliderMax 键，来限制期望的输入域。大多数参数还包含一个 kCIAttributeDefault 关键字，映射到该参数的默认值。

图片滤镜实战

图像滤镜的工作由三部分组成：构建和配置滤镜图表，发送等待滤镜处理的图像，得到滤镜处理后的图像。下面的部分对此进行了详细描述。

构建一个滤镜图表

构建一个滤镜图表由这几个部分组成：实例化我们需要的滤镜，设置它们的参数，把它们连接起来以便该图像数据按顺序传过每个滤镜。

在本节中，我们将创建一个用来制作 19 世纪锡版照风格图像的滤镜图表。我们将两个效果链在一起来达到这种效果：同时去饱和以及染色调的黑白滤镜，和一个暗角滤镜来创建一个有阴影效果的加框图片。

用Quartz Composer，来做Core Image滤镜图表的原型非常有用，可以从苹果开发者网站下载。下面，我们整理了所需的照片滤镜，把黑白滤镜和暗角滤镜串在一起：

一旦达到了我们满意的效果，我们可以重新在代码里创建滤镜图表：

 

[cpp] view plaincopy

 

1. let sepiaColor = CIColor(red: 0.76, green: 0.65, blue: 0.54)    
2. let monochromeFilter = CIFilter(name: "CIColorMonochrome",    
3.     withInputParameters: ["inputColor" : sepiaColor, "inputIntensity" : 1.0])  
4. monochromeFilter.setValue(inputImage, forKey: "inputImage")  
5. let vignetteFilter = CIFilter(name: "CIVignette",    
6.     withInputParameters: ["inputRadius" : 1.75, "inputIntensity" : 1.0])  
7. vignetteFilter.setValue(monochromeFilter.outputImage, forKey: "inputImage")  
8. let outputImage = vignetteFilter.outputImage  

 

需要注意的是黑白滤镜的输出图像变为暗角滤镜的输入图像。这将导致暗角效果要应用到黑白图像上。还要注意的是，我们可以在初始化中指定参数，而不一定需要用KVC单独设置它们。

创建输入图像

Core Image滤镜要求其输入图像是CIImage类型。而对于iOS的程序员来说这可能会有一点不寻常，因为他们更习惯用UIImage，但这个区别是值得 的。一个CIImage实例实际上比UIImage更全面，因为CIImage可以无限大。当然，我们不能存储无限的图像在内存中，但在概念上，这意味着 你可以从2D平面上的任意区域获取图像数据，并得到一个有意义的结果。

所有我们在本文中使用的图像都是有限的，而且也可以很容易从一个UIImage来创建一个CIImage。事实上，这只需要一行代码：

 

[cpp] view plaincopy

 

1. let inputImage = CIImage(image: uiImage)  

 

也有很方便的初始化方法直接从图像数据或文件URL来创建CIImage。

一旦我们有了一个CIImage，我们就可以通过设置滤镜的inputImage参数来将其设置为滤镜的输入图像：

 

[cpp] view plaincopy

 

1. filter.setValue(inputImage, forKey:"inputImage")  

 

得到一个滤镜处理后的图片

滤 镜都有一个名为outputImage的属性。正如你可能已经猜到的一样，它是 CIImage 类型的。那么，我们如何实现从一个CIImage创建UIImage这样一个反向操作？好了，虽然我们到此已经花了所有的时间建立一个滤镜图表，现在是调 用CIContext的力量来实际的做图像滤镜处理工作的时候了。

创建一个上下文最简单的方法是给它的构造方法传一个nil字典：

 

[cpp] view plaincopy

 

1. let ciContext = CIContext(options: nil)  

 

为了得到一个滤镜处理过的图像，我们需要CIContext从输出图像的一个矩形内创建一个CGImage，传入输入图像的范围（bounds）：

 

[cpp] view plaincopy

 

1. let cgImage = ciContext.createCGImage(filter.outputImage, fromRect: inputImage.extent())  

 

我们使用输入图像大小的原因是，输出图像通常和输入图像具有不同的尺寸比。例如，一个模糊图像由于采样超出了输入图像的边缘，围绕在其边界外还会有一些额外的像素。

现在，我们可以从这个新创建的CGImage来创建一个UIImage了：

 

[cpp] view plaincopy

 

1. let uiImage = UIImage(CGImage: cgImage)  

 

直接从一个CIImage创建UIImage也是可以的，但这种方法有点让人郁闷：如果你试图在一个UIImageView上显示这样的图像，其contentMode属性将被忽略。使用过渡的CGImage则需要一个额外的步骤，但可以省去这一烦恼。

用OpenGL来提高性能

用CPU来绘制一个CGImage是非常耗时和浪费的，它只将结果回传给UIKit来做合成。我们更希望能够在屏幕上绘制应用滤镜后的图像，而不必去Core Graphics里绕一圈。幸运的是，由于OpenGL和Core Image的可互操作性，我们可以这么做。

要OpenGL上下文和Core Image上下文之间共享资源，我们需要用一个稍微不同的方式来创建我们的 CIContext：

 

[cpp] view plaincopy

 

1. let eaglContext = EAGLContext(API: .OpenGLES2)    
2. let ciContext = CIContext(EAGLContext: context)  

 

在这里，我们用OpenGL ES 2.0的功能集创建了一个EAGLContext。这个GL上下文可以用作一个GLKView的背衬上下文或用来绘制成一个CAEAGLLayer。示例代码使用这种技术来有效地绘制图像。

当一个CIContext具有了关联GL的上下文，滤镜处理后的图像就可用OpenGL来绘制，像如下这样调用方法：

 

[cpp] view plaincopy

 

1. ciContext.drawImage(filter.outputImage, inRect: outputBounds, fromRect: inputBounds)  

 

与以前一样，fromRect 参数是用滤镜处理后的图像的坐标空间来绘制的图像的一部分。这个inRect 参数是GL上下文的坐标空间的矩形应用到需要绘制图像上。如果你想保持图像的长宽比，你可能需要做一些数学计算来得到适当的inRect。

强制在CPU上做滤镜操作

只 要有可能，Core Image将在GPU上执行滤镜操作。然而，它确实有回滚到CPU上执行的可能。滤镜操作在CPU上完成可具有更好的精确度，因为GPU经常在浮点计算上 以失真换得更快的速度。在创建一个上下文时，你可以通过设置kCIContextUseSoftwareRenderer关键字的值为true来强制 Core Image在CPU上运行。

你可以通过在Xcode中设置计划配置（scheme configuration）里的CI_PRINT_TREE环境变量为1来决定用CPU  还是GPU来渲染。这将导致每次一个滤镜处理图像被渲染的时候Core Image都会打印诊断信息。此设置用来检查合成图像滤镜树也很有用。

示例应用一览

本文的示例代码是一个iPhone应用程序，展示了iOS里大量的各式Core Image图像滤镜。

为滤镜参数创建一个GUI

为了尽可能多的演示各种滤镜，示例应用程序利用了Core Image的内省特点生成了一个界面，用于控制它支持的滤镜参数：

示例应用程序只限于单一的图像输入以及零个或多个数值输入的滤镜。也有一些有趣的滤镜不属于这一类（特别是那些合成和转换滤镜）。即便如此，该应用程序仍然很好的概述了Core Image支持的功能。

对于每个滤镜的输入参数，都有一个滑动条可以用于配置参数的最小值和最大值，其值被设置为默认值。当滑动条的值发生变化时，它把改变后的值传给它的 delegate，一个持有CIFilter引用的 UIImageView子类。

使用内建的照片滤镜

除了许多其他的内置滤镜，示例应用程序还展示了iOS 7中引入的照片滤镜。这些滤镜没有我们可以调整的参数，但它们值得被囊括进来，因为它们展示了如何在iOS中模拟照片应用程序的效果：

结论

这 篇文章简要介绍了Core Image这个高性能的图像处理框架。我们一直在试图在如此简短的形式内尽可能多的展示这个框架的功能。你现在已经学会了如何实例化和串联Core Image的滤镜，在滤镜图表传入和输出图像，以及调整参数来获得想要的结果。你还学习了如何访问系统提供的照片滤镜，用以模拟在iOS上的照片应用程序 的行为。

现在你知道了足够多的东西来写你自己的照片编辑应用程序了。随着更多的一些探索，你就可以写自己的滤镜了，利用你的Mac或iPhone的神奇的力量来执行以前无法想象的效果。快去动手做吧！

参考

 

• Core Image Reference Collection是Core Image的权威文档集。
• Core Image Filter Reference包含了Core Image提供的图像滤镜的完整列表，以及用法示例。
• 如果想要写更函数式风格的Core Image代码，可以看看Florian Kluger在objccn.io话题#16里的文章。

本文转载自：objccn