工具机器学习团队常用工具总结,人生苦短,我用Python!( 二 )
这两款机器学习库 , 包含了初创公司最经常使用的经典算法 , 也算是爆款工具了 。
图片
图片
深度学习:Tensorflow+Keras 或Pytorch
大火的Tensorflow和Pytorch终于出场了~相信任何一个搞深度的朋友都已经无比熟悉了吧 。 有的时候 , 在同一家公司的深度学习项目中中 , 这两种框架会出现同时存在的情况 。
图片
在这里 , 值得注意的是 , 越来越多的正在更加频繁地使用Pytorch训练库 , 比如Lightning, Ignite, Catalyst, Fastai和Skorch 。
善用编排工具 , 管理好你的机器学习模型
看到这里 , 你可能在想:「什么是MLOps」 , 或者「为什么要关心这个玩意儿??」
图片
其实 , 这个术语其实在指DevOps , 在这里 , 用来描述用于机器学习活动和操作的工具 。
那下面就来看看初创公司到底在用什么工具来进行机器学习的DevOps吧:
编排工具:Kubeflow , Airflow , Amazon Sagemaker , Azure
图片
图片
图片
图片
模型封装&部署:Kubeflow, MLflow, Amazon SageMaker
图片
从训练到推断:Pytest-benchmark, MLperf
当开发人员将训练好的模型用于实际情况下的推断时 , 就会主要使用这两个工具对模型进行分析和优化 。
图片
图片
实验管理:MLflow, Comet, Neptune
为了进行实验跟踪 , 研究者常常使用这些工具 , 除此之外 , 我们还能看到TensorBorad和Scared等等之类的开源软件包 。
图片
图片
有小伙伴还在评论里补充了Google Sheet 。
图片
整个机器学习流程 , 还是人最重要
相信上面的很多工具 , 比如Pytorch和Pandas , Jupyter Lab等等 , 已经在大家的预期之内了 , 那在对初创公司的采访中 , 还有什么在预期之外呢?
图片
Wetware
在我们说这个到底是个啥之前 , 大家可以往后退一步 , 跳脱出具体的某个库某个框架 , 来从大局来看看:
初创公司Trust Insights的Christopher Penn说到 , 任何机器学习团队都会使用一种相当有趣的“工具”
——"湿件(Wetware)"——它位于您两个耳朵之间 , 是硬件和软件的组合 , 这是您拥有的最重要 , 最有用 , 最强大的机器学习工具“
到目前为止 , 太多人们希望AI是一把无所不能的魔杖 , 在几乎不需要人类输入的情况下 , 它可以解决一切问题 。 但是 , 反之亦然 , 人工智能比以往任何时候 , 都需要更多的管理和审查 , 因为 , 我们对复杂模型缺乏足够的了解 。
推荐阅读
- 小虔科技|华为和小米都曾经学习苹果3D面部识别,为啥现在不用了
- 机器人|深圳机器人产业产值1257亿元
- |《5G技术助力国产机器人完成全球首场骨科实时远程手术》公示材料
- macw君|Lucid for mac(快速制作网页工具)
- 美军事进行时|五角大楼研制挖隧道的蚯蚓机器人为地面部队提供安全补给
- 砍柴网|讯飞智能学习机 618 新惊喜,多重优惠助力孩子暑假弯道超车
- 新智元|B站上线!DeepMind加UCL强强联手推出深度学习与强化学习进阶课程(附视频)
- cnBetaTB|看机器人如何制作出既有颜值又美味的蛋饼
- 山东伟豪思|袋料全自动拆垛机器人的使用给企业带来了哪些益处
- 无人机这两项机器人发明,就是东京大学进军外卖界的野心!?