江苏龙网

  1. 首页 > 人文 > >

机器之心史上最大AI模型GPT-3上线；Transformer跨界做目标检测( 三 )


具体来说 ， 研究者在 COCO 目标检测数据集上将 DETR 与 Faster R-CNN 基线方法进行了对比 ， 结果发现 DETR 在大型目标上的检测性能要优于 Faster R-CNN ， 但在小目标的检测上性能不如后者 ， 这为今后 DETR 的改进提供了新的方向 。
DETR 通过将一个常见 CNN 与 Transformer 结合来直接预测最终的检测结果 。 在训练期间 ， 二分匹配（bipartite matching）向预测结果分配唯一的 ground truth 边界框 。 没有匹配的预测应生成一个「无目标」的分类预测结果 。
传统两阶段检测系统 ， 如 Faster R-CNN ， 通过对大量粗糙候选区域的过滤来预测目标边界框 。 与之相比 ， DETR 利用标准 Transformer 架构来执行传统上特定于目标检测的操作 ， 从而简化了检测 pipeline 。
在 COCO 验证集上与 Faster R-CNN 的对比结果 。
DETR-R101 处理的全景分割效果 。
推荐：这是模型的跨界 ， Transformer 首次用于目标检测 ， 效果媲美 Faster R-CNN 。
论文 5：Point2Mesh: A Self-Prior for Deformable Meshes
作者：Rana Hanocka、Gal Metzer、Raja Giryes、Daniel Cohen-Or
论文链接：https://arxiv.org/pdf/2005.11084.pdf
摘要：近日 ， 来自以色列特拉维夫大学的研究者提出了一种从输入点云重构曲面网格的技术——Point2Mesh 。 与之前方法需指定一个用于编码期望形状的 prior 不同 ， 该研究使用输入点云来自动生成 prior ， 并称其为 self-prior 。 该 self-prior 将重复出现的几何形状由单一形状封装在深度神经网络的权重之中 。
研究者对网络权重进行优化 ， 使得初始网格变形 ， 以收缩包覆（shrink-wrap）单个输入点云 。 由于共享的局部内核被用来拟合整个物体 ， 因此考虑到了整个重构的形状 。 将多个卷积核在整体形状上进行全局优化 ， 从而鼓励了局部尺度在形状曲面上的几何自相似性 。
研究者展示了 ， 与预先设置的平滑 prior（经常陷入不佳的局部最优）相比 ， 使用 self-prior 收缩包覆点云能够收敛至令人满意的结果 。 传统的重构方法在非理想条件下性能会恶化 ， 并且如非定向法线 ， 噪音和部件缺失（低密度）等情况在现实世界的扫描里经常出现 ， 而 Point2Mesh 在非理想条件下具有一定的鲁棒性 。 研究者在大量不同复杂度的各种形状上验证了 Point2Mesh 的性能表现 。
该方法从单个对象学习 ， 通过优化卷积神经网络（CNN）的权重来使一些初始网格变形 ， 以收缩包覆输入点云 。
使用平滑 prior 从有缺失区域的点云中重构完整的网格 ， 该方法会忽略整体形状特征 。
在 l 层上的 Point2Mesh 框架概览 。
在估计法线上的重建结果展示 。
推荐：与使用预先设定的光滑 prior 不同 ， 这篇 SIGGRAPH 论文使用 CNN 自动生成 prior ， 准确建模细粒度特征的同时过滤噪声与异常值 。
论文 6：Language Models are Few-Shot Learners
作者：Tom B. Brown、Benjamin Mann、Nick Ryder 等
论文链接：https://arxiv.org/pdf/2005.14165.pdf
摘要：近日 ， OpenAI 提出的 GPT-3 在社交网络上掀起了新一阵风潮 ， 它的参数量要比 2 月份刚刚推出的、全球最大深度学习模型 Turing NLP 大上十倍 ， 而且不仅可以更好地答题、翻译、写文章 ， 还带有一些数学计算的能力 。 这样强大的深度学习 ， 不禁让人产生一种错觉：真正的 AI 要来了吗？
首先 ， GPT-3 最令人惊讶的还是模型体量 。 根据 OpenAI 的算力统计单位 petaflops/s-days ， 训练 AlphaGoZero 需要 1800-2000pfs-day ， 而 OpenAI 刚刚提出的 GPT-3 用了 3640pfs-day ， 看来拥有微软无限算力的 OpenAI ， 现在真的是为所欲为了 。
研究者们希望 GPT-3 能够成为更通用化的 NLP 模型 ， 解决当前 BERT 等模型的两个不足之处：对领域内有标记数据的过分依赖 ， 以及对于领域数据分布的过拟合 。 GPT-3 致力于能够使用更少的特定领域 ， 不做 fine-tuning 解决问题 。


推荐阅读


上一篇：哈勒吨|新的地盘与设施：普京力争扩大俄罗斯在叙利亚的军事存在

下一篇：DeepTech深科技|马斯克改写人类航天史！SpaceX实现全球首次商业载人发射，刚刚