工具机器学习团队常用工具总结,人生苦短,我用Python!( 二 )


这两款机器学习库 , 包含了初创公司最经常使用的经典算法 , 也算是爆款工具了 。
工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

深度学习:Tensorflow+Keras 或Pytorch
大火的Tensorflow和Pytorch终于出场了~相信任何一个搞深度的朋友都已经无比熟悉了吧 。 有的时候 , 在同一家公司的深度学习项目中中 , 这两种框架会出现同时存在的情况 。
工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

在这里 , 值得注意的是 , 越来越多的正在更加频繁地使用Pytorch训练库 , 比如Lightning, Ignite, Catalyst, Fastai和Skorch 。
善用编排工具 , 管理好你的机器学习模型
看到这里 , 你可能在想:「什么是MLOps」 , 或者「为什么要关心这个玩意儿??」
工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

其实 , 这个术语其实在指DevOps , 在这里 , 用来描述用于机器学习活动和操作的工具 。
那下面就来看看初创公司到底在用什么工具来进行机器学习的DevOps吧:
编排工具:Kubeflow , Airflow , Amazon Sagemaker , Azure
工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

模型封装&部署:Kubeflow, MLflow, Amazon SageMaker
工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

从训练到推断:Pytest-benchmark, MLperf
当开发人员将训练好的模型用于实际情况下的推断时 , 就会主要使用这两个工具对模型进行分析和优化 。
工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

实验管理:MLflow, Comet, Neptune
为了进行实验跟踪 , 研究者常常使用这些工具 , 除此之外 , 我们还能看到TensorBorad和Scared等等之类的开源软件包 。
工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

有小伙伴还在评论里补充了Google Sheet 。
工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

整个机器学习流程 , 还是人最重要
相信上面的很多工具 , 比如Pytorch和Pandas , Jupyter Lab等等 , 已经在大家的预期之内了 , 那在对初创公司的采访中 , 还有什么在预期之外呢?
工具机器学习团队常用工具总结,人生苦短,我用Python!
图片

Wetware
在我们说这个到底是个啥之前 , 大家可以往后退一步 , 跳脱出具体的某个库某个框架 , 来从大局来看看:
初创公司Trust Insights的Christopher Penn说到 , 任何机器学习团队都会使用一种相当有趣的“工具”
——"湿件(Wetware)"——它位于您两个耳朵之间 , 是硬件和软件的组合 , 这是您拥有的最重要 , 最有用 , 最强大的机器学习工具“
到目前为止 , 太多人们希望AI是一把无所不能的魔杖 , 在几乎不需要人类输入的情况下 , 它可以解决一切问题 。 但是 , 反之亦然 , 人工智能比以往任何时候 , 都需要更多的管理和审查 , 因为 , 我们对复杂模型缺乏足够的了解 。


推荐阅读