玩懂手机网资讯,小米曾学忠发布消息表示,AI 技术在我们手机相机图像算法上生根发芽,在 AI 拍照上,在解决小伙伴们很多日常生活中的照相痛点上,都有突破性成果。
小米 10 至尊纪念版不仅仅取得了 DXO 第一的好成绩,在 AI 拍照上,在解决小伙伴们很多日常生活中的照相痛点上,都有突破性成果。
例如,在 AI 拍照上,不论是拍照过程中的画质增强,亦或是在摄影创作上的玩法探索,还是在智能工具里的创新开发,我们的图像算法都广泛应用了 AI 技术,大大提升了手机相机的使用体验。
又比如,相信小伙伴们在高动态场景中拍照都遇到过难题,怎么拍都拍不好。这个问题通过小米「双原生 ISO」和「芯片级单帧逐行 HDR」技术两个当前世界上最先进的 HDR 技术,在小米 10 至尊纪念版获得了突破性成果。
接下来谈谈这两个技术……
首先和大家聊聊我们手机影像中的 AI 技术。早在 2018 年,我们就在小米 8 上推出了 AI 相机,当时的 AI 相机实现了几十个场景的自动识别和对应的画质增强。接下来的两年里,AI 技术在我们手机相机图像算法上生根发芽,硕果累累。
首先,画质的提升。前置人像超级夜景算法由小米 AI 实验室完全自主研发,极大提升了夜景自拍下的动态范围和清晰度。小米 10 至尊纪念版搭载最新前置人像超级夜景 AI 算法,通过检测模块智能区分室内外明暗场景,在人脸精细化降噪处理、动态提亮算法方面表现优异。除了前置夜景的提升,我们还做了业界领先的 AI 大片,小米 10 至尊纪念版的「AI 大片」开创性地将传统的场景感知拓展成为全方位的色彩、对比度、光影等内容感知,使用深度神经网络模型对整个画面进行全局和局部的分析,帮助用户获取到最优的画面效果,并且实时地对画质进行增强,所以说「AI 大片」是覆盖所有场景的优化。可以说,新的 AI 相机,对于同样的一片草地,在不同的光照,角度,甚至背景下,都会有不一样的优化效果。并且我们的技术把识别+处理合二为一,一站式地实现了 AI 修图师的效果。
其次,是在摄影创作中的玩法探索。我们用 AI 算法把复杂的影像拍摄、编辑、创作过程转换成一键式智能化操作。「AI 换天」最早在小米 CC9 上被使用,工程师们使用 DenseNets 双分支作为 Encoder 和 DenseASPP+Guided Filter 作为 Decoder,尽量保留丰富内容信息的同时,增加语义信息,构建分割网络模型。在分割准确度、边缘处理、细节损失、融合效果四个维度上,小米 AI 魔法换天均超越同类产品,广受米粉的好评。
同时,小米 10 至尊纪念版的「AI 魔法分身」是「AI 换天」技术的延续和升级,其实分身视频创作的门槛非常高,市面上的剪辑类视频 App 在使用过程中普遍存在几大痛点:拍摄目标锁定困难、无法实时预览分身画面、抠图不准导致视频拼接处出现明显瑕疵。对此,我们用 AI 技术做了一系列针对性的解决方案:
- 为了帮助用户直观锁定被拍摄目标,我们采用了 AI 视频目标检测算法,实现了视频级实时目标检测;
- 为了实现高精度人像分割,我们充分利用平台 NPU,自研了 AI 实时人像分割算法,实现了以假乱真的精确抠图效果;
- 为了解决视频拼接对齐问题,我们针对两段手持拍摄视频,实时逐帧进行对齐拼接,首创业界 AI 视频对齐技术;
- 为了让用户获得所见即所得的预览画面,我们利用实时 SLAM 场景建模算法,拍摄过程中实时计算手部晃动,智能对齐上一个分身视频。
最后,如何把相机变成日常生活中的智能工具,我们也用 AI 算法做了些创新。小米 10 至尊纪念版上配有的超级文档 2.0 —— OCR 文档模式,AI 算法可以将图片上的文字内容,智能识别成为可编辑的文本:
在文档检测还原中,我们对被拍摄文档的真实宽高比进行还原,将不同角度、距离的文档图片裁切还原成标准样式,实现类似于扫描文件的效果。
在文档文字检测中,充分考虑文字形状的多样性,利用图像 AI 分割技术+后处理完成文字的定位,能检测任意形状的文字,大幅提升真实场景的文字检测效果,适应手机拍摄中的多种实际场景;
- 利用多项式曲线拟合优化技术和抗扭曲 AI DeWarping 算法,将文本行矫正为直行,将该极端场景的文字识别字符准确率从 34% 大幅提升至 89%;
- 在文字识别中,借用 AI 语音识别中的 RNN-T 的技术,用于图像识别和语言模型的多模态融合学习中,将通用文字识别测试集的字符准确率提升至 95% 以上,达到业内领先效果。
这一切,源自于小米影像团队和 AI 团队的不懈努力。我们上百人的博士团队为了让每个算法达到最优效果,均采用了最先进的深度学习网络;不仅如此,我们还为每个算法标注和训练了大量数据,仅「AI 大片」,我们就 “投喂” 了几十万张训练数据。
AI 是相机的未来,小米会继续在影像+AI 的思路上不断前进。请大家持续关注小米 AI 相机,接下来我们会有更多的惊喜带给大家。