微闻

标签: TPU

  • 谷歌推出Gemma 3:可在单块 GPU/TPU 上运行的最强模型

    谷歌推出Gemma 3:可在单块 GPU/TPU 上运行的最强模型

    今天,谷歌推出了Gemma 3,这是一组轻量级、最先进的开源模型。旨在直接在端侧设备上快速运行,帮助开发者在人们需要的任何地方创建人工智能应用。Gemma 3提供多种尺寸 (1B、4B、12B 和 27B),可根据特定的硬件和性能需求选择。Gemma 3模型在配备单个 GPU/TPU 的主机上的性能表现超越了 Llama-405B、DeepSeek-V3 和 o3-mini。谷歌 Gemma 3 模型支持128k上下文窗口、超过35种语言、文本和视觉理解及推理、函数调用和结构化输出。Gemma 在推出1年后下载量超过1亿次,活跃的 Gemmaverse 社区已经创建了超过六万个 Gemma 变体。

    —— 谷歌博客

  • Google Cloud 推出第六代TPU:Trillium

    Google Cloud 向所有客户推出第六代 TPU

    Google Cloud今天宣布面向客户推出其第六代 TPU Trillium,并透露其最新的 Gemini 2.0 旗舰模型已经使用Trillium TPU 进行训练。凭借其 13 Pb/s 对分带宽的单个 Jupiter 数据中心网络结构,用户可部署超过 100,000 个 Trillium 芯片组成的 AI 超级计算机,获取到前所未有的 91 exaflops 性能。

    Trillium 相较上一代产品具有以下优势:训练性能提升 4 倍以上,推理吞吐量提升 3 倍,能源效率提升 67%,每芯片峰值计算性能提升 4.7 倍,高带宽内存 (HBM) 容量翻倍,芯片间互连 (ICI) 带宽翻倍,每美元训练性能提升 2.5 倍,每美元推理性能提升 1.4 倍。

    —— Google 博客