标签: 端侧

  • 端侧大模型功耗问题

    荣耀CEO赵明:功耗是端侧大模型亟待解决的问题

    对于未来端侧大模型的趋势,荣耀CEO赵明今天 (27日) 接受媒体采访时认为,大模型在手机上的落地会是恰到好处,不用刻意追求更大的模型,像ChatGPT这种能力未来在手机侧很难复刻,也不是核心应用场景。端侧AI是个人工具,要让个人在AI世界变得更强大,更好地管理和使用网络大模型。“目前,端侧70亿参数大模型还不能长期持久地使用。跑两小时,手机可能就没电了。低功耗的70亿参数大模型才是有价值的。未来随着端侧大模型逐步把能力构建起来,20亿模型就能实现70亿的效果。未来,大模型也会有不同的参数,比如10亿、20亿、30亿,而不是任何时候都用大参数的模型。”

    —— 科创板日报