江苏龙网

  1. 主页 > 生活百科 > >

Python 失宠！Hugging Face 用 Rust 新写了一个 ML 框架，现已低调开源( 二 )

ML 框架

  • Candle-core：核心操作、设备和 Tensor 结构定义 。
  • Candle-nn：构建真实模型的工具 。
  • Candle-examples：在实际设置中使用库的示例 。
  • Candle-kernels：CUDA 自定义内核；
  • Candle-datasets：数据集和数据加载器 。
  • Candle-Transformers：与 Transformers 相关的实用程序 。
  • Candle-flash-attn：Flash attention v2 层 。

    • Python 失宠！Hugging Face 用 Rust 新写了一个 ML 框架，现已低调开源

    文章插图
    Pytorch 和 Candle 对比
    该项目正在处于快速迭代过程中，更新非常频繁，很多功能在不断开发中，目前包含如下功能和特点：
    • 语法简单， 风格与 PyTorch 相似 。
    • CPU 和 Cuda Backend：m1、f16、bf16 。
    • 支持 Serverless（CPU）、小型和快速部署
    • 支持 WASM，可在浏览器中运行模型 。
    • 模型训练使用 NCCL 进行分布式计算 。
    • 开箱即用的模型：Llama、Whisper、Falcon、StarCoder...
    • 嵌入用户定义的操作 / 内核，如 flash-attention v2 。
    对于 Hugging Face 的这一新 ML 框架，大家有什么感想或使用感受？欢迎在评论区分享！
    参考链接：
    https://Github.com/huggingface/candle
    https://news.ycombinator.com/item?id=37049198




    推荐阅读


    上一篇：推荐 4 个让浏览器更好用的「隐藏开关」

    下一篇：Linux下Python安装配置指南