音视频技术开发周刊 | 165 音视频开发工程师是做什么的

内容推荐

碎片化时代，别让用户费脑子

本次讲师采访我们邀请到了本次LiveVideoStackCon 2020 北京站的讲师，摩象科技的技术总监刘智美来做采访，作为互联网的从业者，尤其是专注于服务内容生产领域的专家，这篇采访我想从一个最近大家比较关注的事件引出。

https://mp.weixin.qq.com/s/fk_GYljlOfHCeyAf1bmBxw

架构

了解 onicecandidateerror

如何处理常见的 701 和 401 STUN / TURN 服务器错误。

https://webrtccourse.com/course/webrtc-codelab/module/fiddle-of-the-month/lesson/understanding-onicecandidateerror/

WHIP – 使 WebRTC 易于用于媒体平台提取

新的 IETF 草案，用于提取视频广播场景的简单传输协议。有关 Medooze 和 Meetecho 的更多信息。

http://webrtcbydralex.com/index.php/2020/09/30/whip-make-webrtc-easy-to-use-for-media-platforms-ingest/

WebRTC 安全架构的8个组成部分

WebRTC 安全方面的概述。

https://www.red5pro.com/blog/webrtc-security-architecture/

传输网络

Chrome正在部署HTTP / 3和IETF QUIC

QUIC是一种新的网络传输协议，结合了TCP，TLS等功能。HTTP / 3是HTTP的最新版本，该协议承载绝大多数Web流量。HTTP / 3仅在QUIC上运行。

https://blog.chromium.org/2020/10/chrome-is-deploying-http3-and-ietf-quic.html

基于Netty 实现一款自定义协议

本文首先将自定义协议与HTTP协议进行了对比，阐述了自定义协议的一些优点。然后定义了一份自定义协议，并且讲解了协议中各个字节的含义。最后通过Netty对自定义协议进行了实现，并且实现了基于自定义协议的心跳功能。

https://mp.weixin.qq.com/s/Usf6x4hd-Ku6edkTyfibvw

LinkedIn的内容交付策略

本文来自Content Delivery Summit 2020的演讲，演讲者是来自LinkedIn的Bhaskar Bhowmik，演讲的主要内容是LinkedIn的内容交付策略。

https://mp.weixin.qq.com/s/jjbttww4r4rl0WYO0zWcWw

通过更好的拥塞控制进行更有效的传输

本次演讲来自Demux-SF Video Technology July 2020，主讲者是Facebook的软件工程师Nitin Garg，介绍了怎样通过更好的拥塞控制进行更有效的传输，进而提高视频质量。

https://mp.weixin.qq.com/s/yWXiU-yMTY2dcT8Y6j19tQ

编解码

FFmpeg代码架构

FFmpeg的学习过程很难，梳理清楚结构，整体的代码脉络就比较清楚了，但是libavfilter等核心模块本文没有讲。

https://mp.weixin.qq.com/s/elNw6nxc0caN9z76uLJaSg

ijkplayer

音视频开发中使用ffmpeg的地方非常多, 播放场景/音视频编辑场景, 其中都会使用到ffmpeg核心模块, 本文的介绍就是告诉大家, 我们可以将不同的功能模块封在同一个ffmpeg库中, 帮我们节省空间。

https://mp.weixin.qq.com/s/6kfu-U61E-MTmwoydmNAVw

音视频技术

YouTube Stories中的视听语音增强

尽管人们投入巨大的精力来改善使用智能手机相机拍摄的视频的质量，但视频中的音频质量却常常被忽略。例如，视频中某个主题的讲话可能会引起混乱，失真或难以理解，其中有多个人讲话，或者背景噪声很高。

https://ai.googleblog.com/2020/10/audiovisual-speech-enhancement-in.html

Android 中通过 FFmpeg 命令对音视频编辑处理(已开源)

有时候我们想对音视频进行加工处理，比如视频编辑、添加字幕、裁剪等功能处理，虽然 Github 上开源了一些比较不错的项目，但是如果我们想在此项目上进行二次开发，比如我想拿到该项目的动态库基于 OpenH264 来进行对 YUV 编码，这个时候有可能该动态库没有集成 OpenH64 库，所以为了扩展性，我就自己弄了一套万能的库，基本上包含了所有常用的音视频处理库，你不用再去进行编译。

https://mp.weixin.qq.com/s/K23qVq_qwmc0JY7dmTeVRg

AI智能

74KB图片也高清，谷歌用神经网络打造图像压缩新算法

还在为图像加载犯愁吗？最新的好消息是，谷歌团队采用了一种GANs与基于神经网络的压缩算法相结合的图像压缩方式HiFiC，在码率高度压缩的情况下，仍能对图像高保真还原。

https://mp.weixin.qq.com/s/WO_r7aSVaTP0Idzhj8kq0w

连宙辉：文字图像图形生成技术研究进展

CSIG文档图像分析与识别。

https://mp.weixin.qq.com/s/1JOmHPu8I31Sw-Ad9RejqQ

玩转StyleGAN2模型：教你生成动漫人物

生成式对抗网络（GAN)是一种能够生成新内容的生成模型。由于其有趣的应用，如生成合成训练数据、创建艺术、风格转换、图像到图像的翻译等，这个话题在机器学习的领域中非常流行。

https://mp.weixin.qq.com/s/SvsXNuhym0gYBDdBztbFaQ

图像

GIMP 2.10.22发布

GIMP开始支持AV1的图片容器AVIF。

https://www.gimp.org/news/2020/10/07/gimp-2-10-22-released/

基于业务场景下的图片/文件上传方案总结

图片/文件上传组是企业项目开发中必不可少的环节之一, 但凡涉及到用户模块的都会有图片/文件上传需求, 在很多第三方组件库(ant desigin, element ui)中它也是基础组件之一. 接下来笔者就来带大家从零实现一款图片/文件上传组件以及扩展出更强大的上传组件。

https://juejin.im/post/6880802339835133966

资源推荐

如何提升职业工作效率 - 腾讯技术工程

日常开发工作中，有时候你是否发现写代码时 6 到飞起顺风顺水，但涉及到需求跟进，会议参与，与人沟通，目标制定等工作场景时，总是不得章法，出现表达不清楚，抓不住重点，琐事包围无法脱身，沟通过程低效等情况，如果有，很显然此时的你需要关注到工作效率的问题。本文尝试从多个方面做一些归纳总结，可能给你带来一些意识和思维上的启发。

https://mp.weixin.qq.com/s/zH9kFjJQ5zE9mKGEiwEYAA