江苏龙网

  1. 首页 > 人文 > >

索尼发布全球首款具备AI处理功能的智能视觉传感器

5月14日 ， 索尼公司（下称：索尼）宣布将发布两款智能视觉传感器 ， 也是全球首款具备AI（人工智能）处理功能的图像传感器 。 *1图像传感器自带AI处理功能 ， 可在实现高速的边缘AI处理的同时只提取必要数据 ， 从而减少使用云端服务时的数据传输延迟 ， 保证隐私安全 ， 并降低功耗和通信成本 。
新发布的图像传感器极大拓宽了AI摄像头的研发空间 ， 将有望广泛应用于零售和工业设备行业 ， 并有助于构建与云端连接的优化系统 。
索尼发布全球首款具备AI处理功能的智能视觉传感器
文章图片
索尼发布全球首款具备AI处理功能的智能视觉传感器
文章图片
【索尼发布全球首款具备AI处理功能的智能视觉传感器】物联网的普及让所有类型的设备都能连接到云端 ， 使得信息处理系统得到广泛应用 ， 从这些设备获得的信息需通过云上的AI进行处理 。 另一方面 ， 云端处理的信息量越来越大 ， 也带来了各种问题：数据传输延迟的增加 ， 阻碍了实时信息处理；在云端存储个人身份数据相关的用户隐私安全问题；云服务的使用功耗和通信成本的提高等其它问题 。
新款传感器的特点是像素芯片和逻辑芯片组成的堆叠式结构 ， 是全球首款在逻辑芯片上配备AI图像分析和处理功能的图像传感器 。 像素芯片获取的信号通过传感器上的AI进行处理 ， 无需高性能处理器或外部存储 ， 可助力边缘AI系统的开发 。 传感器输出元数据（属于图像数据的语义信息）而不是图像信息 ， 从而减少了数据量并保证了隐私安全 。 此外 ， AI能够为广泛应用领域提供多样化的功能 ， 例如高速AI处理下进行实时对象跟踪 。 也可以根据用户的需求或系统使用位置重新编写内存来选择不同的AI模型 。
全球首款具备AI处理功能的图像传感器
像素芯片是背照式进光的 ， 有效像素约为1230万 ， 可以捕捉广阔视角的图像信息 。 除了传统的图像传感器操作电路外 ， 其逻辑芯片还配备了索尼原发的DSP(数字信号处理器) ， 专门用于AI信号处理 ， 并为AI模型存储 。 这种配置无需高性能处理器或外部存储 ， 使其成为边缘AI系统的理想选择 。
元数据输出
像素芯片采集的信号通过ISP（图像信号处理器）进行处理 ， 并在逻辑芯片的处理层进行AI运算 ， 将提取的信息作为元数据输出 ， 可以减少需要处理的数据量 。 同时 ， 不输出图像信息有助于降低安全风险和保证隐私安全 。 除了传统图像传感器捕捉的图像外 ， 用户还可以根据自己的需要和用途选择数据输出格式 ， 包括ISP格式输出图像（YUV/RGB）和ROI（感兴趣区域）特定区域提取图像 。
高速AI处理
当使用传统的图像传感器录制视频时 ， 需要发送每一帧的视频数据进行AI处理 ， 导致数据传输量大 ， 难以实时呈现结果 。 索尼的新款传感器产品在逻辑芯片上进行ISP处理和高速AI运行（MobileNetV1*23.1毫秒处理） ， 在一个视频帧内完成整个过程 。 这种设计可以在录制视频的同时保证高精度、实时的目标追踪 。
可自由选择AI模型
用户可以将自己选择的AI模型写入嵌入式内存中 ， 并根据其需求或系统使用位置对其进行改写和更新 。 例如 ， 当多个搭载新款传感器的摄像头被安装在零售场所时 ， 某个单一类型的摄像头可以在不同的地点、环境、时间或目的下使用：当安装在场所入口时 ， 可用于计算访客人数;当安装在商店的货架上时 ， 可以用来检测库存短缺;当安装在天花板上时 ， 它可以用来绘制商店客流的热力图（探测到许多人聚集的位置） ， 等等 。 此外 ， 指定相机中的AI模型可以被改写 ， 从一个用于检测热力图的模型变成一个用于识别消费者行为的模型 ， 等等 。


    推荐阅读


    上一篇：消息称苹果已收购虚拟现实公司 NextVR，或将入局虚拟现实领域

    下一篇：微软收购通讯软件提供商Metaswitch：共同发力5G和云服务