相关服务：美国GPU服务器
DeepSeek 在人工智能行业引起了不小的轰动，它使用一个拥有 2,048 个 Nvidia H800 GPU 的集群在大约两个月内训练了具有 6710 亿个参数的混合专家 (MoE) 语言模型，其效率比 Meta 等人工智能行业领导者高出 10 倍。据@Jukanlosreve引用的 Mirae Asset Securities Korea 分析称，这一突破是通过实施大量细粒度优化和使用 Nvidia 类似汇编的 PTX（并行线程执行）编程而不是 Nvidia 的 CUDA 实现的。
图片来自：极客星球直播分享《AI技术全景指南》
Nvidia 的 PTX（并行线程执行）是 Nvidia 为其 GPU 设计的中间指令集架构。PTX 位于高级 GPU 编程语言（如 CUDA C/C++ 或其他语言前端）和低级机器代码（流式汇编或 SASS）之间。PTX 是一种接近金属的 ISA，它将 GPU 公开为数据并行计算设备，因此允许细粒度优化，例如寄存器分配和线程/warp 级别调整，这是 CUDA C/C++ 和其他语言无法实现的。一旦 PTX 进入 SASS，它就会针对特定一代的 Nvidia GPU 进行优化。
图片来自：极客星球直播分享《AI技术全景指南》
例如，在训练 V3 模型时，DeepSeek 重新配置了 Nvidia 的 H800 GPU：在 132 个流式多处理器中，它分配了 20 个用于服务器到服务器通信，可能用于压缩和解压缩数据，以克服处理器的连接限制并加快交易速度。为了最大限度地提高性能，DeepSeek 还实施了高级管道算法，可能是通过进行超精细的线程/warp 级别调整来实现的。
这些修改远远超出了标准 CUDA 级开发的范围，但维护起来却非常困难。因此，这种级别的优化反映了 DeepSeek 工程师的卓越技能。全球 GPU 短缺，加上美国的限制，迫使 DeepSeek 等公司采用创新解决方案，DeepSeek 也取得了突破。然而，目前尚不清楚 DeepSeek 为实现这一成果在开发上投入了多少资金。
这一突破扰乱了市场，因为一些投资者认为，新的人工智能模型对高性能硬件的需求将会降低，从而损害 Nvidia 等公司的销售。英特尔前首席执行官帕特·基辛格 (Pat Gelsinger) 等行业资深人士认为，像人工智能这样的应用程序可以利用它们能够访问的所有计算能力。至于 DeepSeek 的突破，基辛格认为这是一种将人工智能添加到大众市场中大量廉价设备中的方法。
极客星球直播分享《AI技术全景指南》
欢迎加入极客星球一起提高我们的工程能力，在AI时代也有一席之地：
修炼基本功（职业发展基础）：分享多年基础技术深度理解，基础概念深度解析，经典书籍推荐和读书分享，经典源码阅读分享等，不定期直播分享和答疑解惑；
扩展技术和商业视野（认知和视野）：分享热门技术发展，国内外大厂技术内幕，建立国际化视野，业界解决方案，尤其是AI时代核心技术；
校招/社招免费就业指导（找到好工作）：大厂offer，校招学习路线，模拟面试，简历修改，面试题分析，学习路线就业指导，面试高薪工作指导，大厂内推等；
职场普升/技术专家（职场发展）：分享各种不同公司宝贵的职场普升经验，技术方向选择, 大厂普升经验，技术专家成长经验，让你少走几年的弯路；
专属高质量VIP交流群（人脉圈子）：技术趋势，技术热点，分享学习心得，技术学习讨论，技术难题分享，群里有已经在各个大厂（腾讯，字节，阿里，百度等）的同学和前辈，找到属于自己的圈子，相互请教和学习，工作好机会内推和推荐，大厂职位内幕等等；
硬核深入理解系列PDF资料：
深入理解计算机系统
深入理解操作系统（调度，内存，网络，IO）
深入理解并发技术全景指南
深入理解编程语言
深入理解算法与数据结构
深入理解网络协议
深入理解网络编程
极客星球：深入理解网络编程
深入理解性能优化 （进大厂，升级高级工程师的核心能力）
深入理解分布式技术（互联网大厂必备核心技能）
深入理解数据库
深入理解代码设计
深入理解架构设计
详细了解：成为优秀的自己 ，现在加入超级优惠，早点加入一起学习成长，早点突破成长瓶颈：
坚持干货内容，专注高薪就业，专注持续成长，欢迎大家关注极客重生
感谢大家在看，转发，点赞
