手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友AI新研究( 二 )
第二步:设置外部显著性目标检测服务
如上所述 , 目前 , 必须使用BASNet-HTTP封装器(需要CUDA GPU)作为外部HTTP服务 , 部署BASNet模型 。
将需要部署的服务URL来配置本地服务器 。 如果在本地服务的同一台计算机上运行BASNet , 请确保配置不同的端口 。
第三步:配置并运行本地服务器
这一步的详细文档 , 在GitHub项目中的/server文件夹中 , 包含“安装”和“运行”两个步骤 。
安装代码如下:
virtualenv -p python3.7 venv source venv/bin/activate pip install -r requirements.txt运行代码如下:
python src/main.py —basnet_service_ip=”http://X.X.X.X“ —basnet_service_host=”basnet-http.default.example.com” —photoshop_password 123456其中 , BASNET_SERVICE_HOST是可选的 , 只有在使用Knative / Cloud Run等入口网关在平台上部署服务时才需要 。
以及 , 用Photoshop远程连接密码替换123456 。
第四步:配置并运行移动App
安装代码如下:
npm install然后更新component/Server.tsx中的IP地址 , 使其指向运行本地服务器的计算机IP:
3: const URL = “http://192.168.1.29:8080“;运行代码如下:
npm startOK!开启“复制粘贴”新世界 , 就是这么简单!
但如果你希望“知其然更知其所以然” , 别眨眼 , 接着往下看 。
如何做到隔空「复制粘贴」?
这个神奇的AR黑科技背后的主要技术 , 刚开始采用的是一个叫做BASNet的显著目标检测方法 。
本文插图
这篇研究入围了CVPR 2019 , 而且论文一作还是位华人小哥哥——秦雪彬 , 已经于今年2月在加拿大阿尔伯塔大学拿到了博士学位 , 硕士就读于北京大学 。
本文插图
BASNet的核心框架如下图所示 , 主要由2个模块组成:
本文插图
第一个模块是预测模块 , 这是一个类似于U-Net的密集监督的Encoder-Decoder网络 , 主要功能是从输入图像中学习预测saliency map 。
第二个模块是多尺度残差细化模块(RRM) , 主要功能是通过学习残差来细化预测模块得到的Saliency map , 与groun-truth之间的残差 , 从而细化出预测模块的Saliency map 。
而最近 , 这位设计师小哥哥在此基础上 , 针对背景移除任务 , 采用了更新的方法 。
同样是来自秦雪彬团队 , 被Pattern Recognition 2020接收 , 这个方法叫做U2-Net , 其框架如下图所示:
本文插图
还与其它20个SOTA方法分别做了定量和定性比较实验 , 在结果上都取得了不错的结果 。
本文插图
本文插图
在下面的定性实验中 , 也可以比较明显的看到 , 该方法所提取出来的目标 , 更加细粒度和精确 。
本文插图
那么 , 北大校友的新方法 , 又是如何被法国设计师Cyril Diagne搞成黑科技应用的?
不想当程序员的设计师 , 不是一个好艺术家
原因无他 , Cyril Diagne就是这样一个懂程序、搞设计 , 关注前沿研究进展的艺术家呀 。
推荐阅读
- 科技犬君|vs 索尼A9G 谁强?,上半年用户喜爱手机盘点;小米电视大师65英寸OLED
- 初之看历史|少女该有的样子,清新全面屏手机壁纸
- 科技犬君上半年用户喜爱手机盘点;小米电视大师65英寸OLED vs 索尼A9G 谁强?
- 科技生活快报TB5000mAh大电池还有65W超级快充!这些手机让你摆脱充电焦虑
- Phone巢进入2020年,懂手机的人眼中的好手机有哪些?
- 哭笑不得!男子在海口珠宝店抢走金项链,却把手机落下……
- 小城时光说资讯原创 手机频繁“恢复出厂设置”,会造成哪些影响?看看维修师傅怎么说
- 红米手机@售价1999?大厂这个骚操作,我是真没看懂
- 绅士福游|当他来到女子大学后的故事,安卓手机游戏!重返单身的中年教授
- 上观新闻|“神兽”又回家了!暑期玩手机、相看两相厌咋办?这位家教指导老师为你解困惑
