实测苹果M3 Ultra运转DeepSeek R1满血版：速率高出

快科技3月12日新闻，克日，B站UP主“固然然而张黑黑”分享了一段视频，展现了满血版苹果M3 Ultra运转6710亿参数的DeepSeek R1模子的测试成果，其速率乃至超越了8张A100显卡，而本钱却低得多。运转6710亿参数的DeepSeek R1模子平开元官方版下载日须要一台搭载6-8张A100的专业级效劳器，总价轻松超越百万元这对一般用户来说多少乎是弗成能累赘的。但是满血版M3 Ultra仅需一台Mac Studio即可实现相似机能，性价比极高。测试成果表现，在运转DeepSeek R1模子时，8张A100显卡的机能为16.41 Tokens/s，而满血版M3 Ultra在GGUF格局下到达15.78 Tokens/s，切换到能施展同一内存上风的MLX格局后，速率晋升至19.17 Tokens/s，超出8张A100显卡，别的M3 Ultra在运转DeepSeek V3 6710亿参数模子时，速率也到达了19.66 Tokens/s。不外这并不料味着M3 Ultra在全部场景下都能超出A100，单用户停止单一模子推理时，重要依附内存带宽跟容量，无奈完整施展A100的潜BET356官网在线登录力，在多用户推理跟年夜模子练习场景下，M3 Ultra则完整无奈与A100等量齐观。别的，M3 Ultra在年夜言语模子推理速率测试中表示优良，无论188宝金博app下载是Llama 3.1 70B、Gemma2 27B仍是Qwen 2.5 14B模子，其速率都显明优于其余M系列芯片，与M2 Ultra比拟，速率分辨晋升了13%、34%跟18%。此次测试的满血版M3 Ultra装备了512GB同一内存，总价为74249国民币，对年夜少数用户来说，假如不须要运转如斯年夜范围的模子，能够恰当下降同一内存容量，从而节俭本钱。【本文停止】如需转载请务必注明出处：快科技义务编纂：彩色