唱吧KTVHTTPCache 主体框架

Posted 2021-10-08 想名真难

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了唱吧KTVHTTPCache 主体框架相关的知识，希望对你有一定的参考价值。

最近看到各大V转发关于 唱吧音视频框架 KTVHTTPCache 的开源消息，首先我非常感谢唱吧 ios 团队能够无私地把自己的成果开源。我本人对于缓存的设计也比较感兴趣，也喜欢写一些东西，希望能把自己一些小技巧分享给需要的同学，这也是我们 #iOS知识小集# 一直做的事情。抱着好奇的心，想了解一下唱吧是如何设计 KTVHTTPCache 的，没想到越看越难，最后竟然花了将近2天的时间看完了。

安装时解读

在进行安装的时候，发现 KTVHTTPCache 主要依赖了 CocoaHTTPServer 这个库，而 CocoaHTTPServer 又依赖了 CocoaAsyncSocket 和 CocoaLumberjack。可以肯定一点 KTVHTTPCache 使用 CocoaHTTPServer 作为 HttpServer。

CocoaHTTPServer is a small, lightweight, embeddable HTTP server for Mac OS X or iOS applications.

Sometimes developers need an embedded HTTP server in their app. Perhaps it's a server application with remote monitoring. Or perhaps it's a desktop application using HTTP for the communication backend. Or perhaps it's an iOS app providing over-the-air access to documents. Whatever your reason, CocoaHTTPServer can get the job done

Readme 中提到：

KTVHTTPCache 由 HTTP Server 和 Data Storage 两大模块组成。

另外一个主要模块就是 Data Storage，它主要负责资源加载及缓存处理。从这里可以看出，KTVHTTPCache 主要的工作量是设计 Data Storage 这个模块，也就是它的核心所在。

使用

其本质是对 HTTP 请求进行缓存，对传输内容并没有限制，因此应用场景不限于音视频在线播放，也可以用于文件下载、图片加载、普通网络请求等场景。 --- KTVHTTPCache

既然这么好使，我们可以试试各种情况，demo 中虽然没有给出其它方式的缓存示例，我们可以探索一下。不过我测试了下载图片的，并没有成功，其它中情况也就没有试验。我猜测，如果想支持这几种情况，应该需要修改源码（如果作者能看到，忘解答一下，不知道我的猜测是否正确）。

视频缓存（ Demo 中提供，亲测可以）

全局启动一次即可，主要用来启动 HttpServer，不理解的话，你可以把它想成手机端的HTTP服务器，当你向HTTP服务器发出 Request 后，服务器会给你一个 Response，后面我们会特意分析一个 HttpServer。

[KTVHTTPCache proxyStart:&error];

根据原 url 生成一个 proxy url（代理 Url），并使用代理 url 获取数据，这样 HttpServer 就会截获这次请求。比如原 url 为 http://lzaiuw.changba.com/userdata/video/940071102.mp4 它对应的 proxy url 为

http://localhost:53112/request-940071102.mp4?requestType=content&originalURL
=http%3A%2F%2Flzaiuw.changba.com%2Fuserdata%2Fvideo%2F940071102.mp4

看图会更好理解：

NSString * proxyURLString = [KTVHTTPCache proxyURLStringWithOriginalURLString:URLString];

播放，注意这里使用的是代理url，进行播放，而不是原url。
[AVPlayer playerWithURL:[NSURL URLWithString: proxyURLString]];

图片缓存

这次试验结果没能成功，在缓存中找不到缓存图片，或许是我少些了什么。

- (void)testImageCache
{
    NSString *imageUrl = @"http://g.hiphotos.baidu.com/image/pic/item/e824b899a9014c08d8614343007b02087af4f4fa.jpg";
    NSString *proxyStr = [KTVHTTPCache proxyURLStringWithOriginalURLString:imageUrl];
    NSURLSessionTask *task2 = [[NSURLSession sharedSession] downloadTaskWithURL:[NSURL URLWithString:proxyStr]];
    [task2 resume];
}

控制台打印出的日志可以发现，图片没能缓存是因为 content type 错误导致的，因为 KTVHTTPCache 目前只支持"video/","audio/","application/mp4","application/octet-stream","binary/octet-stream"这些类型的, 目前也不支持m3u8(m3u8对应的"application/x-mpegURL")，如果想缓存图片可以添加一种 content type。

KTVHTTPCache[818:16793] KTVHCDataNetworkSource  :   response error
http://g.hiphotos.baidu.com/image/pic/item/e824b899a9014c08d8614343007b02087af4f4fa.jpg
content type error

在 KTVHCDataRequest 类中的初始化方法中修改

self.acceptableContentTypes = @[KTVHCContentTypeVideo,
                                KTVHCContentTypeAudio,
                                KTVHCContentTypeApplicationMPEG4,
                                KTVHCContentTypeApplicationOctetStream,
                                KTVHCContentTypeBinaryOctetStream];

为

self.acceptableContentTypes = @[KTVHCContentTypeVideo,
                                KTVHCContentTypeAudio,
                                KTVHCContentTypeApplicationMPEG4,
                                KTVHCContentTypeApplicationOctetStream,
                                KTVHCContentTypeBinaryOctetStream,
                                KTVHCDataContentTypeImage];

这样既可以支持缓存图片的需求。这里作者 @程序员Single 特别提示，如果做图片缓存，不建议使用 HttpServer 做中转，也就不需要 Proxy URL，这样会节省不必要的开销。HttpServer 的主要目的是为了 Hook 播放器的网络请求，从而可以做到缓存数据。可以直接使用 KTVHTTPCache 中的方法来生成 Reader 读取数据。可以参考 KTVHCHTTPResponse 的实现。

+ (KTVHCDataReader *)cacheConcurrentReaderWithRequest:(KTVHCDataRequest *)request；

+ (KTVHCDataReader *)cacheSerialReaderWithRequest:(KTVHCDataRequest *)request；

框架设计

KTVHTTPCache 由 HTTP Server 和 Data Storage 两大模块组成。前者负责与 Client 交互，后者负责资源加载及缓存处理。

这句话如果没有看源码，其实很难理解，涉及到如何交互的问题（我是这样认为的，也许你比我聪明，能理解作者的含义）。通俗地讲，HTTP Server 和 Data Storage 是 KTVHTTPCache 两大重要组成部分， HTTP Server 主要负责与用户交互，也就是最顶层，最直接与用户交互（比如下载数据），而 Data Storage 则在后面为 HTTP Server 提供数据，数据主要从 DataSourcer 中获取，如果本地有数据，它会从 KTVHCDataFileSource 中获取，反之会从 KTVHCDataNetworkSource 中读取数据，这里会走下载逻辑（KTVHCDownload）。

HttpServer

这层设计比较简单，主要是用了 CocoaHTTPServer 来作为本地的 HttpServer。HttpServer 说白了就是一个手机端的服务器，用来与用户（作者说的 client）交互，用户提出数据加载需求后，它会从不同的地方来获取数据源，如果本地没有会从网络中下载数据。它主要的作用是 hook 播放器的网络请求，进行数据的加载。它主要的类如图：

KTVHCHTTPServer：是一个单例，用来管理 HttpServer 服务，负责开启或关闭服务；
KTVHCHTTPConnection：它继承于 HTTPConnection，表示一个连接，它主要为 HttpServer 提供 Response。
KTVHCHTTPRequest：一个请求，也就是一个数据模型；
KTVHCHTTPResponse：一个 Response；
KTVHCHTTPResponsePing：主要用来 ping 时的 Response；
KTVHCHTTPURL：主要用来处理 URL，比如把原 Url 生成 proxy url；

其实 HttpServer 的关键点是在 KTVHCHTTPConnection 中下面这个方法，它是连接缓存模块的一个桥梁。使用 KTVHCDataRequest 和 KTVHCHTTPConnection 来生成 KTVHCHTTPResponse，关键点在于生成这个 Response。这段代码仅仅为了说明问题，有删减：

- (NSObject<HTTPResponse> *)httpResponseForMethod:(NSString *)method URI:(NSString *)path
{    
    KTVHCHTTPURL * URL = [KTVHCHTTPURL URLWithServerURIString:path];
    
    switch (URL.type)
    {
        case KTVHCHTTPURLTypePing:
        {
            return [KTVHCHTTPResponsePing responseWithConnection:self];
        }
        case KTVHCHTTPURLTypeContent:
        {
            KTVHCHTTPRequest * currentRequest = [KTVHCHTTPRequest requestWithOriginalURLString:URL.originalURLString];
            
            KTVHCDataRequest * dataRequest = [currentRequest dataRequest];
            KTVHCHTTPResponse * currentResponse = [KTVHCHTTPResponse responseWithConnection:self dataRequest:dataRequest];
            
            return currentResponse;
        }
    }
    return nil;
}

DataStroage

主要用来缓存数据，加载数据，也就是提供数据给 HttpServer。上面代码中关键的一句代码 [KTVHCHTTPResponse responseWithConnection:self dataRequest:dataRequest]，它会在这个方法的内部使用 KTVHCDataStorage 生成一个 KTVHCDataReader，负责读取数据。生成 KTVHCDataReader 后通过 [self.reader prepare] 来准备数据源 KTVHCDataSourcer，这里主要有两个数据源，KTVHCDataFileSource 和 KTVHCDataNetworkSource，它实现了协议 KTVHCDataSourceProtocol。KTVHCDataNetworkSource 会通过 KTVHCDownload 下载数据。

需要说明一点，缓存是分片处理的

KTVHCDataStorage: 是一个单例，它负责管理整个缓存，比如读取、保存和合并缓存；
KTVHCDataReader：主要用来读取数据；
KTVHCDataRequest：用来请求数据，表示一个请求；
KTVHCDataResponse：一个数据响应；
KTVHCDataReader：读取数据；
KTVHCDataCacheItem：缓存数据模型，表一个缓存项；
KTVHCDataCacheItemZone：缓存区，一个缓存项中会有多个缓存区，比如0-99，100-299 等；
KTVHCDataSourcer：数据源中心，负责处理不同数据源，它包含有一个数据队列 KTVHCDataSourceQueue；
KTVHCDataSourceQueue：数据队列；
KTVHCDataSourceProtocol：一个协议，作为数据源时需要实现这个协议；
KTVHCDataFileSource：本地数据源，实现了 KTVHCDataSourceProtocol 协议；
KTVHCDataNetworkSource：网络数据源，实现了 KTVHCDataSourceProtocol 协议；
KTVHCDataUnit：数据单元，相当于一个缓存目录，比如一个视频的缓存；
KTVHCDataUnitItem：数据单元项，缓存目录下不同片段的缓存；
KTVHCDataUnitPool：数据单元池，它是一个单例，含有一个 KTVHCDataUnitQueue；
KTVHCDataUnitQueue：数据单元队列，保存了多个 KTVHCDataUnit，它会以 archive 的方式缓存到本地；

缓存目录构成

结构

05f68836443a1535b73bfcf3c2e86d99 这个是由请求的原 url，md5 后生成的字符串，其中它的子目录下会有多个文件，命名规则为：urlmd5_offset_数字。文件名最后一位数字因为

Data Storeage 同时支持并行和串行。在并行场景中极端情况可能遇到恰好同时存在两个相同 Offset 的 Network Source，用来保证并行加载的安全性（实际场景中也没遇到过，但在结构设计时把这部分考虑进去了）-- @程序员Single

05f68836443a1535b73bfcf3c2e86d99
05f68836443a1535b73bfcf3c2e86d99_0_0
05f68836443a1535b73bfcf3c2e86d99_196608_0
05f68836443a1535b73bfcf3c2e86d99_738108_0

沙盒目录：

缓存策略

例如一次请求的 Range 为 0-999，本地缓存中已有 200-499 和 700-799 两段数据。那么会对应生成 5 个 Source，分别是：

网络: 0-199
本地: 200-499
网络: 500-699
本地: 700-799
网络: 800-999

日志系统

做音视频项目时，一个好的 Log 管理可以提高调试效率，而 KTVHTTPCache 可以追踪到每一次异常的请求。而且回记录到一个 KTVHTTPCache.log 文件中。

KTVHTTPCache[818:16603] Proxy Start Success
KTVHTTPCache[818:16603] <KTVHCHTTPURL: 0x6040002349e0>  :   alloc
KTVHTTPCache[818:16603] KTVHCHTTPURL            :   Ping, original url, KTVHCHTTPURLPingResponseFile
KTVHTTPCache[818:16603] KTVHCHTTPURL            :   proxy url, http://localhost:49816/request-KTVHCHTTPURLPingResponseFile?requestType=ping&originalURL=KTVHCHTTPURLPingResponseFile
KTVHTTPCache[818:16603] <KTVHCHTTPURL: 0x6040002349e0>  :   dealloc
KTVHTTPCache[818:16795] <KTVHCHTTPConnection: 0x6000001331a0>  :   alloc
KTVHTTPCache[818:16793] KTVHCHTTPConnection     :   receive request, GET, /request-KTVHCHTTPURLPingResponseFile?requestType=ping&originalURL=KTVHCHTTPURLPingResponseFile
KTVHTTPCache[818:16793] <KTVHCHTTPURL: 0x604000238b00>  :   alloc
KTVHTTPCache[818:16793] KTVHCHTTPURL            :   Server URI, /request-KTVHCHTTPURLPingResponseFile?requestType=ping&originalURL=KTVHCHTTPURLPingResponseFile, original url, KTVHCHTTPURLPingResponseFile, type, 0
KTVHTTPCache[818:16793] <KTVHCHTTPResponsePing: 0x604000238b40>  :   alloc
KTVHTTPCache[818:16793] <KTVHCHTTPURL: 0x604000238b00>  :   dealloc
KTVHTTPCache[818:16793] KTVHCHTTPResponsePing   :   conetnt length, 4
KTVHTTPCache[818:16793] KTVHCHTTPResponsePing   :   read data length, 4, offset, 4 pang
KTVHTTPCache[818:16793] KTVHCHTTPResponsePing   :   check done, 1
KTVHTTPCache[818:16793] KTVHCHTTPResponsePing   :   connection did close, 4, 4
KTVHTTPCache[818:16793] <KTVHCHTTPResponsePing: 0x604000238b40>  :   dealloc
KTVHTTPCache[818:16603] KTVHCHTTPServer         :   ping result, 1

日志的定义主要在类 KTVHCLog 中定义了一些宏。可以通过下面的方法开启日志：

// 开启控制台打印
[KTVHTTPCache logSetConsoleLogEnable:YES];
// 开启本地日志记录
[KTVHTTPCache logSetRecordLogEnable:YES];

特别说明一点可以控制到每个类是否打印：

KTVHCLogEnable(HTTPServer, YES, YES)

主要一个日志的方法：

#define KTVHCLogging(target, console_log_enable, record_log_enable, ...)            \\
if ((console_log_enable) || (record_log_enable))       \\
{                                                                                   \\
NSString * va_args = [NSString stringWithFormat:__VA_ARGS__];                   \\
NSString * log = [NSString stringWithFormat:@"%@  :   %@", target, va_args];    \\
if (record_log_enable) {                      \\
NSLog(@"%@", log);;                                          \\
}                                                                               \\
if (console_log_enable) {                    \\
NSLog(@"%@", log);                                                          \\
}                                                                               \\
}

总结

学习这个库总体来说比较耗时，但是能学到作者的思想，这里总结一下：

职责明确，每个类的作用定义明确；
KTVHCDataFileSource 和 KTVHCDataNetworkSource，使用协议 KTVHCDataSourceProtocol 的方式实现不同的 Source，而不用继承，耦合性更低；
使用简单，内部定义复杂，缓缓相扣；
使用 NSLock 保证线程安全；
日志定义周全，调试更容易；

相关文章: 使用AVPlayer音视频缓存方案

HTTPS 自签名证书实现边下边播

IOS 使用自签名证书开发HTTPS文件传输

以上是关于唱吧KTVHTTPCache 主体框架的主要内容，如果未能解决你的问题，请参考以下文章

HMS Core积极探索基于硬件耳返的功能，助力唱吧整体唱歌延迟率降低60%