|从高通首次影展 看骁龙芯片如何推动计算影像发展


近两年智能手机的影像性能在不断突破 , 一亿像素照片、8K视频已经在众多旗舰手机中被广泛应用 , 一个老生常谈的问题也再次出现在了人们的面前——手机拍摄的内容真的可以媲美专业设备吗?
答案是:在一定环境下 , 可以!

|从高通首次影展 看骁龙芯片如何推动计算影像发展
本文插图

8K画面手机拍摄
如今 , 智能手机的影像能力已经可以代替一些专业设备 , 所拍摄的照片或者视频完全可以达到一个相对理想的效果 。 在今天下午 , 我们就在一台110英寸的电视上 , 看到了一段完全由5G手机拍摄的8K纪录片 , 无论是森林中的风景还是在打闹的金丝猴 , 其画面、色彩以及细节表现都足够让人惊艳!
手机影像的未来是ISP+AI算法的突破
事实上 , 手机相机因为受到物理空间限制 , 能给到镜头的空间十分有限 , 无法采用单反相机的元器件 , 也就是俗话说的 “底大一级压死人” , 所以想要得到更高像素的内容和出色的拍摄效果 , 除了需要手机拥有强大的算力 , 也需要更强的软件算法 , 从而来弥补手机相机先天不足的问题 , 这也就是今天高通在其首次影展上所提到的计算影像概念 。
所谓的计算影像 , 简单来说就是通过图像信号处理器(ISP)来提供强大的性能支持 , 同时在通过AI算法来优化影像内容 , 从而来提升手机的影像性能 。
从率先支持4K(H.264)拍摄与播放、计算机视觉、HDR10+ , 到今天高通骁龙865带来的10亿像素ISP , 4K 120FPS、8K30FPS拍摄 , 高通一直在引领移动影像的发展 。 现在我们仅用一部‘骁龙’手机 , 就能够拍摄超过1亿像素的照片、拍摄拥有10亿色彩的4K HDR视频甚至8K视频 , 这些都是用户在终端设备上可以实实在在体验到的 , 使大众可以抛弃笨重的专业设备 , 仅用一部手机 , 就可以随手记录生活 。
这背后则是高通在影像道路上不断探索所带来的 。 通过算力更强、拥有更智能影像功能的高通芯片 , 手机厂商们在此基础上在不断优化和改进 , 我们才能够看到如今日益丰富的影像功能 , 也为手机摄影带来了更多可能 。

|从高通首次影展 看骁龙芯片如何推动计算影像发展
本文插图

目前 , 高通旗舰级移动平台骁龙865拥有强大的移动计算性能和先进的计算摄影 , 集成了高通最新一代图像信号处理单元Spectra 480 ISP , 配合高通第五代人工智能引擎AI Engine , 让手机的拍照和视频能力得到了巨大进步 。
Spectra 480 ISP的强大之处可以总结为三个专用硬件核心从芯片底层技术上实现硬件加速 , 即支持高速处理数据流的HiSpeed Capture模块、支持深度感测和物体识别的EVA(视频分析引擎) , 以及支持先进成像的HEIF模块 。
|从高通首次影展 看骁龙芯片如何推动计算影像发展
本文插图
高通公司产品市场高级总监徐恒表示:“Spectra 480 ISP的三大模块使其能够开创性地以每秒20亿像素的速度处理照片和视频 , 从而创造出丰富有趣的全新手机影像体验 , 比如8K视频拍摄、4K HDR视频、2亿像素的照片、边录边拍(4K HDR视频+6400万像素静态照片)以及960FPS不限时慢动作视频拍摄等 。 ”
不仅如此 , 就算在高通中端移动平台中 , 如骁龙765G、骁龙768G , 其ISP也足以支撑1.96亿像素的超大底CMOS方案 。
在效果层面 , Spectra 480 ISP支持拍摄内容的实时预览、增强对比度同时改善弱光环境拍摄 , 相比Spectra 380 ISP针对视频拍摄降噪的像素处理能力Spectra 480 ISP提升了40% 。 具体而言 , Spectra 480 ISP能够对多个图像传感器的数据流进行高速处理 , 并基于硬件降噪 , 更好的减少弱光环境噪点 , 同时保留清晰的纹理以及更多细节;另外 , 还能够全局处理像素并实现局部运动补偿 。
目前 , 市场中已经有一亿像素的手机面世 , 以小米10为例 , 高像素带来了更多的细节表现 , 依托于Spectra 480 ISP强大的算力 , 依旧能够带来出色的快门反应 , 但文件占用空间也相对更大 。 凭借HEIF格式的特性能够很好的解决这个问题 。 在压缩图像的同时 , 依旧能够存储静态图像、EXIF、景深信息、透明通道等图片信息 , 还可以存储动画甚至视频、音频等等 , 从而为影像带来了更多的可玩性 。
如今 , 我们在拍照时 , 你一定会发现 , 点击快门之后 , 相机会有1-2S的停顿 , 尤其是在夜景模式下 , 甚至要等待更长时间 , 这背后则是AI算法的加持 。 在AI算法下 , 我们的拍摄可以更加的简单和便捷 。
骁龙865芯片搭载了高通第五代人工智能引擎AI Engine , 可实现高达每秒15万亿次运算(15TOPS) , 拥有强大的AI算力 。 那么它能够带来什么呢?
比如现在很多搭载骁龙865的5G手机 , 都加入各式各项的视频防抖功能 , 用户能够感受到的就是拍视频更稳了 , 但这背后要归功于AI算法的加持 。 看似简单的功能流程 , 则要通过相机硬件、感应器、芯片多重硬件进行协调处理 , 依托于高通第五代AI Engine , 如今手机视频防抖功能愈加的完善 。
另外 , 目前市场中三摄、四摄镜头组合依旧屡见不鲜 , 所面临的问题就是多镜头之间的切换问题 。 由于手机相机模组限制 , 不同摄像头的色彩差异以及切换操作上的卡顿让体验大打折扣 。 依托于高通第五代AI Engine的强大算力 , 可以让多镜头之间的切换更加平滑 , 画面更加稳定同时保持白平衡、曝光等效果的一致性 。
同时 , AI场景识别、AI美颜、夜景模式、人脸识别、魔法换天、老照片修复等这些出现在智能手机的新功能功能 , 全都是得益于AI算力的加持 。 目前 , AI算法对于图像的优化已经成熟 , 在视频中也加持了很多AI算法 , 如视频降噪、夜景、高动态范围等 , 但应用还是有一定限制 , 毕竟视频可以简单理解为动起来的照片 , 它对算力的要求更高 , 未来在视频中更丰富的AI算法将是芯片企业与手机厂商发力的重点 。
5G+8K 高通正在推动超高清视频发展
5G网络具有的高带宽、低时延、高稳定性等特点 , 可以保证高质量、大数据量4K/8K超高清视频传输 , 并保证无掉帧、无卡顿 , 这为视频行业带来了新的机遇 。
高清视频能够带来更清晰细腻的画质 , 8K视频的分辨率是7680×4320 , 1080P视频分辨率是1920×1080 , 8K视频的清晰度是4K的4倍 , 是1080P的16倍;高帧率则可以带来更流畅、更逼真的动画 。 一般来说30FPS就是可以接受的 , 但如果提升至60FPS则质的改变 , 可以明显提升交互感和逼真感 , 超高清视频可谓是旦用难回!
|从高通首次影展 看骁龙芯片如何推动计算影像发展
本文插图

在文章开篇 , 我们提到了用手机已经可以拍摄8K的超高清视频 , 活动现场我们体验到了在中国移动的5G网络下 , 将咪咕APP上的骁龙5G智能手机拍摄的超高清视频内容 , 可以流畅地串流至电视设备上 , 从而观看到鲜艳色彩和纤毫毕现的画质 。
本次活动上 , 高通联合中国国家地理、京东方、咪咕、哔哩哔哩共同探讨了5G时代下的超高清内容创作 , 并展望了5G智能手机拍摄的超高清视频内容对行业产生的变革作用 。 5G+超高清内容的结合 , 将全面拉动软硬件、终端设备产业、内容平台、元器件供应链等的发展 。 而这不仅将变革展览、医疗、教育、应急响应、直播等行业 , 还将极大程度地激发大众创作的热情 。
|从高通首次影展 看骁龙芯片如何推动计算影像发展
本文插图

【|从高通首次影展 看骁龙芯片如何推动计算影像发展】移动技术的迭代不断推动了移动终端性能和体验的升级 , 而5G将进一步变革人们使用智能手机的拍摄体验 。 目前在骁龙865赋能的拍摄体验支持下 , 人人都可以通过超过1亿像素的照片、超过10亿色彩的4K HDR视频、8K视频和AI摄影等 , 创作出极具表现力和丰富细节的影像作品 , 并及时通过5G网络随意分享 。


    推荐阅读