江苏龙网

  1. 主页 > 生活百科 > >

生成式人工智能潜力的释放：软件工程师的MLOps和LLM部署策略( 二 )

MLOps


  • 自适应文本生成：能够生成场景相关和连贯的文本
  • 优化架构：完成快速文本生成任务
  • 多功能应用：适用于各种基于文本的人工智能任务 ， 而不仅仅是生成
（2）优点
  • 高质量输出：始终如一地生成连贯且与场景相关的文本
  • 易于集成：简化的API和功能使其易于集成到项目中
（3）缺点
  • 专用性：虽然对于文本任务非常出色 ， 但对于非文本人工智能操作可能不太通用 。
  • 资源要求：最佳性能可能需要相当大的计算能力 。
与Docker集成的Web服务器示例代码
（1）Web服务器代码(app.py)
Python# Install the required library # pip install genai_inference flask from flask import Flask, request, jsonify from genai_infer import TextGenerator app = Flask(__name__)# Initialize the TextGenerator generator = TextGenerator("genai/llm-15b") @app.route('/generate_text', methods=['POST'])def generate_text():data = https://www.isolves.com/it/ai/2023-12-18/request.jsonprompt = data.get('prompt', '')response = generator.generate(prompt)return jsonify({"generated_text": response})if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)（2）Dockerfile
Dockerfile# Use an official Python runtime as the base image FROM python:3.8-slim # Set the working directory in the container WORKDIR /app # Copy the current directory contents into the container COPY . /app # Install the required libraries RUN pip install genai_inference flask # Make port 5000 available to the world outside this container EXPOSE 5000 # Define environment variable for added security ENV NAME World # Run app.py when the container launches CMD ["python", "app.py"]（3）构建和运行Docker容器：要构建Docker镜像并运行容器，通常会使用以下命令：
Shelldocker build -t genai_web_server . docker run -p 5000:5000 genai_web_server（4）API调用：一旦服务器启动并在Docker容器中运行，API调用就可以使用curl或任何HTTP客户端工具对/generate_text端点进行调用：
Shellcurl -X POST -H "Content-Type: application/json" -d '{"prompt":"The future of AI"}' http://localhost:5000/g3.MLOps OpenLLM平台：深入研究MLOps OpenLLM平台是人工智能框架海洋中的一个灯塔，特别是为LLM量身定制的 。它的设计理念促进了LLM在各种环境中的无缝部署、管理和扩展 。
（1）关键特性
  • 可扩展架构：用于处理小规模应用程序和企业级系统的需求
  • 直观的API：简化的接口 ， 减少学习曲线，提高开发人员的生产力
  • 优化LLM：专门的组件迎合大型语言模型的独特要求
（2）优点
  • 多功能性：适用于许多应用程序，从聊天机器人到内容生成系统
  • 效率：简化操作，确保快速响应时间和高吞吐量
  • 社区支持：由一个充满活力的社区支持，有助于持续改进
（3）缺点
  • 初始设置的复杂性：虽然平台是用户友好的，但初始设置可能需要更深入的了解 。
  • 资源强度：对于更大的模型，平台可能需要大量的计算资源 。
Web服务器代码(Server .py)：
Python# Install the required library # pip install openllm flaskfrom flask import Flask, request, jsonify from openllm import TextGenerator app = Flask(__name__)# Initialize the TextGenerator from OpenLLM generator = TextGenerator("openllm/llm-15b") @app.route('/generate', methods=['POST']) def generate():data = https://www.isolves.com/it/ai/2023-12-18/request.jsonprompt = data.get('prompt', '')response = generator.generate_text(prompt)return jsonify({"generated_text": response})if __name__ == '__main__': app.run(host='0.0.0.0', port=8080)进行API调用：在服务器活动运行的情况下 ， API调用可以定向到/generate端点 。下面是一个使用curl命令的简单示例：
Shellcurl -X POST -H "Content-Type: application/json" -d '{"prompt":"The evolution of MLOps"}' http://localhost:8080/gene4.RayServe：一个具有见地的检查RayServe是Ray生态系统的一个重要组成部分，在开发人员和研究人员中越来越受欢迎 。它是一个模型服务系统，从头开始设计 ， 可以快速将机器学习模型(包括大型语言模型)投入生产 。


推荐阅读


上一篇：DBA视角：把数据库放入Docker是一个馊主意

下一篇：SQL必须消失的九个理由，你认可吗？