音视频技术开发周刊 | 283

Posted 2023-03-09 LiveVideoStack_

每周一期，纵览音视频技术领域的干货。

新闻投稿：[e-mail]。

基于隐扩散模型的高分辨率图像合成

本文提出的隐扩散模型(LDM)在图像修补和类条件图像合成方面具有一定优势，并且在各种任务(包括文本到图像合成、无条件图像生成和超分辨率)上具有高度竞争性的性能，此外与基于像素的扩散模型相比显着降低了计算需求。

ChatGPT之父Sam Altman最新文章：AGI及未来计划

AGI也会带来严重的滥用、严重事故和社会混乱的风险。因此，OpenAI希望可以通过制定一些原则来确保 AGI 的好处最大化，并控制它的潜在巨大的风险。这些原则包括：（1）让AGI成为人类的放大器，促进人类最大程度地繁荣发展；（2）确保AGI的好处、访问权和治理得到广泛和公平的分享；（3）正确应对巨大风险，通过部署功能较弱的技术版本来不断学习和适应，以最大程度地减少“一次成功”的情况。通过这些原则，确保 AGI 的发展造福全人类。

微软发布AI模型Kosmos-1能通过视觉IQ测试

Kosmos-1可以提取图片上的问题，给图片写一段描述，通过视觉IQ测试。

https://arstechnica.com/information-technology/2023/03/microsoft-unveils-kosmos-1-an-ai-language-model-with-visual-perception-abilities/

“你的AI侵犯了我的版权”：浅谈AIGC背后的版权保护问题

2023年1月23日，美国三名漫画艺术家针对包括Stability AI在内的三家AIGC商业应用公司，在加州北区法院发起集体诉讼，指控Stability AI研发的Stable Diffusion模型以及三名被告各自推出的、基于上述模型开发的付费AI图像生成工具构成版权侵权。

阿里发布图像生成基础模型Compose

阿里巴巴团队开发的这个重磅图像生成模型 Compose，支持多重引导条件的图像生成(合成)（扩散模型）。跟 Stable Diffuison 属于同等级别的基础模型，但路线有差异。

3D感知图像生成

提供一张打了关键部分标签图片即可生成多角度的图片。

https://www.cs.cmu.edu/~pix2pix3D/

扩散模型Diffusion Models的原理浅析

扩散模型 (Diffusion Models）在今年得到了非常广泛的关注，最令人震撼的是它在人工智能创作内容AIGC (AI Generated Content)领域的表现。扩散模型在文本生成图片任务 (Text-to-Image)上表现非常出色，能够生成非常有想象力的图片。

AI 绘画神器 Stable Diffusion 玩法大测评

22年以来，以 Stable Diffusion、Midjourney、NovelAI 等为代表的文本生成图像的跨模态应用相继涌现。基于 Stable Diffusion 生成人和场景的效果都比较好，本文就带大家深入体验这款绘画软件。

2023年十大VR软件开发工具

一片蓝海市场之下，VR 内容生态亟待更多开发商和工作室的加入。伴随着整个 XR 产业近两年关注度的上升，各大开发引擎工具商也开始重视 XR 内容的开发布局，满足更多开发者向 XR 内容的制作需求。

Meta AR硬件负责人：我们在搞一些全新的东西

https://tech.facebook.com/ideas/2023/2/meta-ar-future-wearable-tech-caitlin-kalinowski/

芯片行业，新的关键词

过去的70年是半导体芯片行业突飞猛进的70年，而到了今天，芯片领域下一个创新的机会在哪里呢？在今年ISSCC的主旨演讲（Plenary）以及会议发表的论文中，我们认为核心关键词就是“系统级创新”（system inovation）。

HTTP/3落地Pinterest

HTTP/3正在不断获得新的应用部署，也有越来越多的案例证明了HTTP/3对流媒体应用的价值。随着生态逐步完善，HTTP/3份额会进一步提升。本文来自Pinterest技术博客，LiveVideoStack已获中文授权，感谢Liang Ma对本文的审校。

云游戏音视频体验优化实践

从2019年开始，云游戏的热度迅速上升，云游戏平台如雨后春笋般出现。然而，目前还未出现一个影响力大的标志性平台，并且大家对云游戏的预期与云游戏的真实现状有出入。那么，如何才能为玩家提供高画质、超流畅和低时延的游戏体验呢？本文来自智杰融兴的吴振永在LiveVideoStack Meet厦门的分享整理而成。

来了，metaIPC1.0

metaRTC推出metaIPC正式版1.0，基于metaRTC6.0最新版二次开发，metaIPC是为嵌入式/摄像头量身打造的webRTC版IPC Camera，可安装在国内大多数Soc芯片上，如在君正/瑞芯微/MSTAR/海思等等已经有多个成熟产品应用。

https://www.toutiao.com/article/7204459065487950393/?wid=1677744468700

索尼开源SRT的状态分析工具

已在GitHub上开放。

https://www.haivision.com/blog/all/sony-statistics-exporter-for-srt-available/

FFmpeg 6.0发布

在 FFmpeg 5.1 发布约 6 个月后，FFmpeg 6.0 "Von Neumann" 现已正式发布。该版本包含了许多新的编码器和解码器、过滤器以及 FFmpeg CLI 工具方面的改进。同时改变了发行方式，所有主要版本现在都会增加 ABI 版本；官方计划每年推出一个主要版本更新。

https://zhuanlan.zhihu.com/p/610383406

Chromium中的现代摄像机处理

本文整理了 Michael Olbrich 在 FOSDEM 2023 对使用 xdg-desktop-portal 和 PipeWire 在 Chromium 中开发高级摄像机 API 的介绍，包括了现状、实现、进展等方面。

浏览器关键更新（2023年2月）

来自Google官方的整理。

https://web.dev/web-platform-02-2023/

Safari 测试版16.4支持AV1

https://developer.apple.com/documentation/safari-release-notes/safari-16_4-release-notes

抖音视频不良画质检测

抖音每天的投稿量和消费量巨大，人工去线上捞取视频诊断画质问题，耗时耗力且覆盖力度不够，因此多媒体评测室针对上述痛点问题，成立了视频异常检测算法研发专项，期望通过自动化检测算法检测出线上画质异常问题。

语音识别技术在B站的落地实践

自动语音识别（Automatic Speech Recognition，ASR）技术目前已大规模落地于B站相关业务场景，例如音视频内容安全审核，AI字幕（C端，必剪，S12直播等），视频理解（全文检索）等。

趣丸科技语音转换技术的探索与实践

本文将主要介绍语音转换的基础，常见方法和模型，并结合实际业务需求，介绍趣丸科技在语音转换创新音乐玩法上的一些探索与实践。

ChatGPT负责人John Schulman：如何做好研究

让我们一起回顾研究科学家和创始成员之一John Schulman两年前的一篇博文——机器学习研究指南「An Opinionated Guide to ML Research」，文中详细讲述了从研究问题选择，到实践落地过程中最至关重要的环节。

独家专访 OpenAI 创始人：ChatGPT 及通用人工智能将如何打破资本主义？

在1月中旬参观了 OpenAI 的旧金山办公室后，《福布斯》采访了这位最近不愿在媒体上露面的投资人和企业家，与他聊了聊 ChatGPT、通用人工智能（AGI），以及他的人工智能工具是否会对谷歌搜索构成威胁等话题。

声网母公司发布2022 Q4及全年财报：Q4营收4010万美元

第四季度 Agora,Inc.实现营收4010万美元，全年总营收1.61亿美元。

Google可能在自家品牌手机上提供文本生成图功能

https://9to5google.com/2023/02/24/gboard-imagen/

---

阅读/资源推荐

音视频编解码--JPEG知识总结

JPEG在大约25年前开发了著名的数字图片编码标准，称为JPEG图像格式。JPEG 是联合图像专家组创建的，旨在用于照片压缩的一个标准。

ACM MMSys 2023字节跳动短视频传输挑战赛报名

多媒体系统领域的顶级学术会议ACM MMSys 2023将于今年6月在加拿大温哥华举办，本届大会的内容之一，网络传输挑战赛（Grand Challenge）由字节跳动组织承办，将聚焦短视频多源传输场景，提供首个大规模边缘节点实验平台，旨在进一步探索边缘节点在短视频下载场景的研究与应用价值。

https://www.livevideostack.cn/news/acm_mmsys_2023_bytedance_challenge/

活动推荐

倒计时：和LiveVideoStack在2023年的第一场约会

时隔15个月，再聚北京。

时间：2023年3月31日 - 4月1日

报名：点击【阅读原文】了解详细信息，报名参与。