文心一言 VS chatgpt （21）-- h264编码一帧数据的流程是怎样的？

Posted 2023-05-23 福大大架构师每日一题

h264编码一帧数据的流程是怎样的？

文心一言：

H.264编码将一帧数据分成多个块，其中每个块可以单独进行编码。编码的过程包括预测、变换和量化等步骤。

具体流程如下：

1.帧内预测：对一帧视频进行编码，首先对当前块进行帧内预测。帧内预测使用已经编码的相邻块来预测当前块的值。

2.帧间预测：对当前块进行帧间预测。帧间预测使用已经编码的前一帧或后一帧的块来预测当前块的值。

3.变换和量化：对预测后的块进行变换和量化。变换将低频信息转化到左上角，高频信息转化到右下角。量化则将变换后的系数转化为较小的值，从而减小数据量。

4.熵编码：对量化后的系数进行熵编码。熵编码将出现频率高的符号用短码表示，出现频率低的符号用长码表示，从而减小数据量。

5.输出码流：将以上步骤得到的码流输出。

需要注意的是，以上步骤的具体实现方式可能因厂商或标准不同而有所差异。

讯飞星火：

h264编码一帧数据的流程如下：

1.初始化：将输入数据进行初始化，包括设置编码器状态、预测模式等。

2.预测：根据前一帧的参考帧和当前帧的信息，预测下一帧的数据。

3.编码：将预测得到的数据转换为二进制码流，并进行熵编码、量化和哈夫曼编码等处理。

4.填充：对于某些视频帧大小不足的情况，需要进行填充操作，使得视频帧大小满足要求。

5.写入文件：将编码后的数据写入文件中，以供后续解码使用。

6.结束：关闭编码器状态，释放资源。

华为盘古：

H264编码是一种常用的视频编码标准，它的流程如下:

1.视频数据预处理:将原始数据转换为适合编码的数据格式，例如MP4或H.264编码格式。

2.建立索引:为每个视频帧建立一个唯一的索引，以便在后续处理过程中能够快速找到对应的视频帧。

3.编码:使用特定的编码算法对索引中的每个视频帧进行编码，例如FLAC或ALAC编码。

4.帧同步:对于每个视频帧，进行帧同步操作，即将视频帧与参考帧进行比对，保证它们之间的时钟同步。

5.解码:解码器将编码后的视频帧解码成原始的图像格式，例如MPEG或H.264编码格式。

6.质量控制:对解码后的视频进行质量控制，例如色度校正、去噪、图像稳定等。

7.存储:将解码后的视频存储在合适的设备上，例如硬盘或云端。

需要注意的是，H264编码只是视频编码的一种常见格式，不同的应用场景可能需要使用不同的编码格式。

chatglm：

H.264 编码一帧数据的流程通常包括以下几个步骤：

1.帧预处理：对于输入的像素数据，需要进行预处理，包括颜色空间转换、裁剪、缩放、滤波等，以提高编码效果。

2.帧内编码：帧内编码是对每一帧进行编码，其流程如下：

• 对像素数据进行预处理，如裁剪、缩放、滤波等；

• 将像素数据转换为宏块 (通常是 16x16 像素);

• 对于每个宏块，进行运动预测和补偿，以获取运动信息；

• 对运动信息进行量化，以减少数据量；

• 对量化后的数据进行熵编码，以增加压缩比。

3.帧间编码：帧间编码是通过对前后帧进行比较，来获取信息以进行压缩。其流程如下：

• 对前一帧和后一帧进行差分编码，以获取亮度信息；

• 对前一帧和后一帧进行色彩空间转换，以获取色彩信息；

• 对色彩信息进行熵编码，以增加压缩比。

4.切片和打包：编码完成后，需要将编码后的数据进行切片和打包，以便存储或传输。切片是将编码后的数据分成若干个片段，通常每个片段是一个宏块的大小；打包是将切片后的片段组合成数据包，以便存储或传输。

总的来说，H.264 编码的流程比较复杂，需要进行多步处理，以提高压缩比和编码效果。

chatgpt：

H.264编码过程通常包含以下步骤：

1.预处理：对输入的视频数据进行预处理，比如色彩空间转换、降噪、去块效应等操作。

2.帧类型决策：根据当前帧与前一个帧之间的关系（I帧、P帧或B帧）来选择编码方式。

3.宏块分割：将当前帧划分成若干个宏块，每个宏块由一定数量的像素点组成。

4.运动分析：通过运动估计和运动补偿技术，在前一帧或多帧中搜索最佳匹配块，并计算该块与当前块之间的差值。

5.变换与量化：对每个宏块进行离散余弦变换（DCT），并使用量化矩阵对变换系数进行量化。

6.熵编码：使用Huffman编码、上下文自适应编码等技术对量化后的数据进行编码，并输出比特流。

7.重构：解码器在接收到压缩比特流后，会进行解码、反量化、反变换、运动补偿等操作，以还原出原始视频帧。

需要注意的是，上述步骤并不是严格按照顺序执行的。例如，编码器在进行运动分析时，可能需要先进行变换与量化操作。另外，由于H.264编码涉及到大量的计算和数据处理，因此对硬件性能有较高的要求。

公众号：福大大架构师每日一题

文心一言 vs GPT-4实测！

GPT-4发布一天之后，压力全部给到百度这边。 就在刚刚，百度交卷。 文心一言，百度全新一代知识增强大语言模型，正式在百度总部“挥手点江山”会议室里发布。 在一片静寂的氛围里，李彦宏登场，语气里带着点紧张： 大家的期望值，是我们对标ChatGPT，对标GPT-4，这个门槛有点高（笑）。 十月怀胎，我们就带大家来看看这个AI大模型文心一言长什么样。

GPT-4发布一天之后，压力全部给到百度这边。

 

就在刚刚，百度交卷。

 

文心一言，百度全新一代知识增强大语言模型，正式在百度总部“挥手点江山”会议室里发布。

 

在一片静寂的氛围里，李彦宏登场，语气里带着点紧张：

 

大家的期望值，是我们对标ChatGPT，对标GPT-4，这个门槛有点高（笑）。

 

十月怀胎，我们就带大家来看看这个AI大模型文心一言长什么样。

 

 

此前，有人狂转meme图把百度比作GPT-4旁边的垃圾箱。

 

 

也有人鼓吹百度是全村的希望。

 

而在发布会进行的同时，百度港股市值大幅下跌，相关话题还冲上了微博热搜。

 

 

但直播弹幕中也有网友点赞：

 

 

那么这个中国版ChatGPT到底实力如何？

 

咱们就用百度发布会演示的预录制Demo，对比一下崭新出炉的GPT-4，先凭实力说话。

 

文心一言 vs GPT-4

 

和GPT-4一样，文心一言是一个多模态大模型。

 

李彦宏开场就展示了文心一言具备的5种能力，包括文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。

 

文心一言甚至还现场秀了一口接地气的四川话，现场网友发出一片笑声：

 

其他能力如何？我们具体展开来看。

 

文学创作

 

在文学创作上，李彦宏一开场就搬出了《三体》作者刘慈欣坐镇。

 

先让文心一言介绍一下大刘，“毕竟我也是刘慈欣老乡嘛”：

 

 

看起来没什么问题。同样的问题问问GPT-4呢？

 

 

嗯？？？直接把刘慈欣的老家挪到了湖北省洪湖市。湖北人狂喜图片。

 

随后，李彦宏又展示了从哲学的角度对这段文章进行续写的demo：

 

 

看起来中规中矩，比较理性。老样子，我们也来与GPT-4进行一波对比：

 

 

这波你是想看GPT-4续写的《三体》，还是文心一言的？

 

再来看看《三体》电视剧中扮演史强和汪淼的老搭档，于和伟和张鲁一，有什么共同点？

 

 

也没什么问题。

 

就是看起来展示的速度有点快，比李彦宏的语速还要快上那么一点点（手动狗头）。

 

 

商业文案创作

 

接下来，李彦宏又展示了一下文心一言在商业文案创作上的能力。

 

比如给新公司起个名字。

 

 

并且这个名字它还不是瞎起的：

 

 

再来看看GPT-4起名的效果？

 

 

看起来，GPT-4对中文的掌控能力相比之下还是少了一点精髓。

 

至于写个公司成立的新闻稿？对文心一言来说似乎也不成问题：

 

 

数理逻辑推算

 

数学能力，是考验生成式大模型的一大难题。ChatGPT刚上线时，也翻了不少车。

 

不过在现场，文心一言处理的数学问题不算复杂，是小学数学竞赛常见的鸡兔同笼问题。

 

 

彩蛋是，李彦宏现场展示的第一题，引得文心一言说出了《狂飙》里高启盛的经典台词：这题出得不对。

 

 

修改一下题目，OK，再扔给文心一言试试：

 

 

看起来，答案还算是有理有据，一步步逻辑推理出来的那种。

 

李彦宏表示，这些题“不敢说百分之一百能做对，但至少体现了文心一言的思考历程”。

 

中文理解

 

接下来，李彦宏着重展示了一下文心一言对中文的理解能力，并特意强调：

 

文心一言对中国文化的了解，理应超出任何一个预训练大模型。

 

一上来就是一个成语，“洛阳纸贵。到底有多贵？”

 

 

这是文心一言的效果展示：

 

 

还解释了一下这个成语背后的经济学原理：

 

 

那么，将这个问题抛给GPT-4呢？首先问问它，知不知道洛阳纸贵是什么意思：

 

 

接下来，再问问他对应的经济学理论是什么：

 

 

这波看起来，GPT-4的中文理解似乎也不输文心一言啊。

 

那么，再来看看二者写藏头诗的能力？

 

首先是文心一言的效果展示：

 

 

接下来，我们再看看GPT-4怎么说：

 

 

诶，看起来反而是GPT-4没有真正理解“藏头诗”的含义。

 

这波文化理解上，属实是文心一言“小胜一筹”了。

 

不过在英文上，李彦宏也承认，虽然文心一言也能处理，但能力是显著不如中文的。

 

这也和百度目前能用到的训练数据有关。

 

多模态生成

 

最后，李彦宏还简单展示了一下文心一言多模态生成的能力。

 

首先来看看，为即将到来的2023世界智能交通大会创作海报——

 

 

而除了前文展示过的文字转四川话能力，文心一言还能文字转视频。

 

李彦宏一句指令“将以上内容生成视频”，很快啊，不到几秒钟，文心一言就把字幕和视频做好了：

 

 

有些遗憾的是，在ChatGPT被频频称赞的编程方面，文心一言并没有现场展示相关能力。

 

但王海峰透露，文心一言的训练数据中同样包括代码。

 

文心一言如何“跑通”？

 

正如ChatGPT脱胎于OpenAI的GPT系列，百度这次推出的文心一言（ERNIE Bot），背后也正是基于文心大模型技术打造。

 

据王海峰介绍，文心一言主要脱胎于两大模型：

 

百度ERNIE系列知识增强千亿大模型，以及百度大规模开放域对话模型PLATO。

 

在此基础上，主要采用了六项核心技术。

 

其中三个是广为人知的大模型技术，包括有监督精调、人类反馈强化学习（RLHF）和提示构建。

 

p.s. 人类反馈强化学习也是ChatGPT的关键技术。

 

另外三个，则是“百度比较有特色”的技术，包括知识增强、检索增强和对话增强技术。

 

 

首先来看与ChatGPT类似的技术：有监督精调、RLHF和提示构建。

 

有监督精调，尤其指中文方面的数据精调。百度基于对中国语言文化和中国应用场景的理解，筛选了特定的数据来训练模型。

 

 

至于人类反馈的强化学习（RLHF）和提示构建，操作上也与ChatGPT大差不差。

 

 

随后是百度提出的、用于进一步改善模型效果的技术。

 

知识增强，包括知识内化和知识外用两个部分。其中，知识内化即将知识“渗透”进模型参数中；知识外用指的是模型可以直接使用外部的知识。

 

 

检索增强，则与百度搜索引擎积累的检索技术有关。

 

百度将把检索技术和生成技术结合起来，先对内容进行检索后，将比较有用的部分用于生成，再整合输出结果：

 

 

最后是对话增强部分，包括之前百度积累的记忆机制、上下文理解和对话规划等技术：

 

 

概括来看，文心一言表现出的能力，被李彦宏称为“智能涌现”：

 

当参数达到千亿量级，训练语料达到足够多的情况下，这种现象就会发生。

 

目前，百度拥有的AI技术可以分为四个部分，芯片（昆仑芯）、框架（飞桨）、模型（文心）和应用。

 

之所以软硬件都要布局，百度称，是为了降低成本：

 

生成式AI需求的算力非常高，费用相当昂贵。

 

因此，如果在四层架构之间相互进行协同优化，就能让它的效率比别人更高，从而显著降低成本。

 

李彦宏认为，这也正是百度的优势所在：

 

四层都有领先产品的公司，绝无仅有。

 

 

这次文心大模型背后的硬件算力，也是通过百度智能云提供服务。

 

目前，文心一言已经接入百度搜索，目的在于提升搜索资源效率。

 

同时，包括小度和自动驾驶Apollo等产品，以及爱奇艺等公司也已经接入百度的文心一言模型。

 

 

网友：看来还不用提前退休

 

截至发稿，百度港股股价在一波明显下跌之后，有所回弹。

 

 

发布会结束，网友反应最多的是“提前录制有点败好感”：

 

 

 

 

对于这一点，李彦宏的解释是，给出的问题都比较长，为了节约现场时间，所以才用了提前录制的形式。

 

还有不少网友对文心一言展示出的能力不太满意。有人调侃，看完之后感觉“提前退休的日子看起来还可以缓一缓”：

 

 

离GPT-4还差了20个老胡。

 

 

 

还有网友感觉，文心一言的发布会像极了毕业答辩的自己（doge）：

 

 

不过也有网友表示，希望能给国产产品一点时间一点耐心。

 

 

发布会末尾，王海峰宣布，文心一言将从今天开始对外进行测试，包括个人用户和企业用户。

 

是骡子是马，相信接下来，会得到更多验证。

 

作者|量子位

本文来自博客园，作者：古道轻风，转载请注明原文链接：https://www.cnblogs.com/88223100/p/ERNIE-Bot-vs-GPT-4-actual-measurement.html