硅谷圈黑客爆料 GPT-4 参数
在AI博客节目 Latent Space 上，George Hotz (iPhone 和 PS3 破解第一人) 爆料 GPT-4 其实只比1750亿参数的 GPT-3 大一些，任何人都能用8倍资金得到它。
GPT-4 是一个8路混合模型，由8个2200亿参数的专家模型组合而成，OpenAI 使用了不同数据训练了同一个模型8次，然后用了一些技巧使它实际做了 16-iter 推理，混合模型是在没有新想法时所会做的。
—— Latent Space
硅谷圈黑客爆料 GPT-4 参数
在AI博客节目 Latent Space 上，George Hotz (iPhone 和 PS3 破解第一人) 爆料 GPT-4 其实只比1750亿参数的 GPT-3 大一些，任何人都能用8倍资金得到它。
GPT-4 是一个8路混合模型，由8个2200亿参数的专家模型组合而成，OpenAI 使用了不同数据训练了同一个模型8次，然后用了一些技巧使它实际做了 16-iter 推理，混合模型是在没有新想法时所会做的。
—— Latent Space
发表回复