新智元|机器学习团队常用工具总结,人生苦短,我用Python!( 二 )



可视化:Pandas+Matplotlib+Plotly
这三个大名鼎鼎的工具包就不需要过多介绍了吧~这些工具可真的称得上机器学习可视化利器了 。
新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

除此之外 , 研究者还经常使用Altair( Python )和Hiplot( R, 超参数可视化 )
新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

经典算法库:Sklearn+XGBoost
这两款机器学习库 , 包含了初创公司最经常使用的经典算法 , 也算是爆款工具了 。
新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图
深度学习:Tensorflow+Keras 或Pytorch
大火的Tensorflow和Pytorch终于出场了~相信任何一个搞深度的朋友都已经无比熟悉了吧 。 有的时候 , 在同一家公司的深度学习项目中中 , 这两种框架会出现同时存在的情况 。
新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

在这里 , 值得注意的是 , 越来越多的正在更加频繁地使用Pytorch训练库 , 比如Lightning, Ignite, Catalyst, Fastai和Skorch 。
善用编排工具 , 管理好你的机器学习模型
看到这里 , 你可能在想:「什么是MLOps」 , 或者「为什么要关心这个玩意儿??」
新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

其实 , 这个术语其实在指DevOps , 在这里 , 用来描述用于机器学习活动和操作的工具 。
那下面就来看看初创公司到底在用什么工具来进行机器学习的DevOps吧:
编排工具:Kubeflow , Airflow , Amazon Sagemaker , Azure
新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图
新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

模型封装&部署:Kubeflow, MLflow, Amazon SageMaker
新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

从训练到推断:Pytest-benchmark, MLperf
当开发人员将训练好的模型用于实际情况下的推断时 , 就会主要使用这两个工具对模型进行分析和优化 。
新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

实验管理:MLflow, Comet, Neptune
为了进行实验跟踪 , 研究者常常使用这些工具 , 除此之外 , 我们还能看到TensorBorad和Scared等等之类的开源软件包 。
新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

新智元|机器学习团队常用工具总结,人生苦短,我用Python!
本文插图

有小伙伴还在评论里补充了Google Sheet 。


推荐阅读