Google Cloud宣布为其Cloud Run（无服务器运行时）支持NVIDIA GPU。通过这一增强，Google Cloud旨在为广泛的GPU加速用例（特别是在AI推理和批处理）提供一个强大且极具成本效益的环境。
相关服务：新加坡服务器
在一家公司博客文章中，Google强调开发人员因其简单性、灵活性和可扩展性而偏爱Cloud Run。随着GPU支持的增加，它现在将其核心优势扩展到GPU资源：
- 按秒计费：用户现在仅为其消耗的GPU资源付费，精确到秒——从而最大限度地减少浪费。
- 缩放至零：Cloud Run会在不活动时自动将GPU实例缩放至零，消除空闲费用 - 对于间歇性或不可预测的工作负载特别有益。
- 快速启动和扩展：实例在不到5秒内即可启动，使应用程序能够快速响应需求。
- 全面的流支持：内置对HTTP和WebSocket流的支持，允许实现交互式应用程序，例如实时LLM响应。
NVIDIA加速计算产品总监Dave Salvator评论道：
无服务器GPU加速代表了使尖端AI计算更可及的重大进步。通过无缝访问NVIDIA L4 GPU，开发人员现在可以比以往更快速、更经济地将AI应用程序投入生产。
一个重要的进入障碍已被消除，因为NVIDIA L4 GPU支持现在已可在Cloud Run上为所有用户开放，无需请求配额。开发人员可以通过简单的命令行标志 (--gpu 1) 或在Google Cloud控制台中勾选一个框来启用GPU支持。
Cloud Run 支持 GPU 的功能已经可以用于生产环境，并且受到 Cloud Run 服务级别协议 (SLA) 的保障，以确保可靠性和正常运行时间。默认情况下，它提供区域冗余以提高韧性，并且可以通过关闭区域冗余来选择更低的价格，以实现区域故障时的最佳努力切换。
Cloud Run 上普遍支持 GPU 也引发了开发者社区内部关于其竞争影响的讨论，特别是在与其他主要云提供商的关系上。ZenRows 的首席软件工程师 Rubén del Campo， 强调了 Google 的举措，称其为 “AWS 应该几年前就该推出的：真正有效的无服务器 GPU 计算。”
他的观点突显了对AWS Lambda功能的“巨大差距”的感知，特别是提到 Lambda 的 15 分钟超时和仅 CPU 的计算能力，这些都使得现代 AI 工作负载（如 Stable Diffusion 推理、模型微调或实时视频分析）变得难以实现。用户评论道：“试试在 Lambda 上运行 Stable Diffusion 推理、微调模型或使用 AI 处理视频。你不能，”他强调，Cloud Run 的 GPU 使这些任务变得“通过无服务器 GPU 随意扩展的微不足道的工作变得简单”。
虽然 Cloud Run 的 GPU 提供了令人信服的功能，但一些用户在 Hacker News 的帖子中提出了关于缺乏硬性计费限制的担忧，这可能导致意外费用。虽然 Cloud Run 允许设置最大实例限制，但它并不提供实际的基于美元的支出上限。
此外，对同一份 Hacker News 帖子的比较还表明，其他提供商如 Runpod.io 可能为类似的 GPU 实例提供更具竞争力的价格。例如，一些用户指出，Runpod 的 L4、A100 和 H100 GPU 的每小时费率可以显著低于 Google 的，即使考虑到 Google 每秒计费的情况。
除了实时推理，Google 还宣布了在 Cloud Run 作业 上提供 GPU（目前处于私人预览状态），为批量处理和异步任务解锁了新的用例。这些功能在全球范围内支持，Cloud Run GPU 位于五个 Google Cloud 区域：us-central1（美国爱荷华州），europe-west1（比利时），europe-west4（荷兰），asia-southeast1（新加坡），asia-south1（印度孟买）。计划在更多区域推出。
最后，公司表示，开发人员可以通过利用官方文档、快速入门和优化模型加载的最佳实践来开始使用Cloud Run GPUs进行开发。
