标签: 语言模型

  • LINE开源日语大型语言模型

    LINE开源日语大型语言模型

    Line日本总部本周宣布开源自家开发的日语大型语言模型(LLM)。

    Line 将以 Apache License 2.0 授权开源其 japanese-large-lm 模型,可用于研究和商业用途,包含 36 亿和 17 亿个参数两个版本,均可在 HuggingFace Hub 上获取。

    自 2020 年 11 月起,Line 一直专注于大型语言模型 HyperCLOVA,在 2021 年 5 月,Line 首次公开了基于 2040 亿个参数训练的韩文版 LLM HyperCLOVA,然后在 11 月公布了拥有 850 亿个参数的日语专用版本。

    此次公开的模型与 HyperCLOVA 是不同部门并行开发的。此次开源的模型团队指出,此模型是基于 Line 自家的日语大型 Web 文本进行训练的,使用了 650GB 数据集进行训练。

    研究团队还提供了本次公开的两个模型与 Rinna-3.6B 和 OpenCALM-7B 模型的准确度和困惑度(perplexity score,PPL)比较数据。

    —— ithome.com.tw

  • Stability AI发布日语版高性能语言模型

    Stability AI 发布日语 StableLM 模型

    Stability AI 今天发布了日语 StableLM Alpha,将其语言模型产品扩展至国际市场,这是面向日语使用者的性能最佳的公开语言模型。

    新的70亿参数通用语言模型旨在为日本用户提供增强的人工智能文本生成能力。Stability AI 表示,在该公司进行的评估中,日语 StableLM 的表现优于其他四种基准日语模型。

    新模型发布了两个版本:日语 StableLM
    基础版 Alpha 7B 和日语 StableLM 指令版 Alpha 7B。

    基础模型设计用于使用大规模日语和英语训练数据进行一般文本生成。指令模型使用监督微调技术进行额外调整,以遵循用户提示和说明。

    此次发布为日本人工智能开发人员和研究人员提供了适合其语言的新生成模型。这也标志着 Stability AI 首次扩展到 Stable Diffusion 等英语语言模型之外。此举标志着随着全球生成式人工智能应用的增加,未来可能会进入其他国际市场。

    —— maginative

  • Google Bard支持中文聊天

    Google Bard支持中文聊天

    Google Bard 人工智能现在支持中文聊天

    Bard是由Google开发的生成式人工智能聊天机器人,基于PaLM2大型语言模型。

    发布之初只支持英文聊天,在2023年5月10日举行的Google开发者大会”Google I/O 2023″上,宣布增加了对日语和韩语的支援,今日有用户反映 Google Bard 支持中文对话,想体验的用户可以试一试。

    https://bard.google.com

  • OpenAI推出新版GPT-4和GPT-3.5-turbo

    OpenAI在降低定价的同时推出了新的生成文本功能

    随着生成式人工智能领域的竞争日益激烈,OpenAI正在升级其文本生成模型,并同时降低价格。

    今天,OpenAI宣布推出了GPT-3.5-turbo和GPT-4的新版本,后者是其最新的文本生成人工智能,具备称为函数调用的功能。正如OpenAI在一篇博文中解释的那样,函数调用允许开发者描述编程函数给GPT-3.5-turbo和GPT-4,并让这些模型创建代码来执行这些函数。

    例如,函数调用可以帮助创建聊天机器人,通过调用外部工具来回答问题,将自然语言转换为数据库查询,并从文本中提取结构化数据。OpenAI写道:“这些模型经过精细调整,既能检测何时需要调用函数…,又能回复符合函数签名的JSON。函数调用使开发者能够更可靠地从模型中获得结构化数据。”

    除了函数调用,OpenAI还推出了一个具有大大扩展上下文窗口的GPT-3.5-turbo版本。上下文窗口以标记或文本的原始位表示,指的是模型在生成任何其他文本之前考虑的文本范围。具有较小上下文窗口的模型往往会“忘记”甚至是最近的对话内容,导致它们偏离主题,通常是以问题方式偏离主题。

    —— Tech Crunch

  • ChatGPT无法实现精确计算

    清华教授:ChatGPT无法实现非0即1的精确计算

    清华大学长聘副教授、聆心智能创始人、国家杰青获得者黄民烈表示,ChatGPT存在不足和缺陷,比如,无法实现数学计算和符号推理,具体表现为无法实现非0即1的精确计算。

    因为ChatGPT本质上是一个语言模型,其体现的能力来源于对训练数据的拟合;其运行机制中并没有显式的逻辑推理与判断。此外,ChatGPT还存在准确性、安全性等方面的问题。

    —— 每日经济新闻

  • 谷歌将推出更强大的语言模型升级版Bard

    谷歌 CEO :我们有更强大的语言模型,升级版 Bard 聊天机器人即将上线

    谷歌首席执行官桑达尔・皮查伊(Sundar Pichai)近日在接受纽约时报播客采访时表示,我们有更强大的语言模型,即将会推出升级版 Bard 聊天机器人。

    谷歌于上周向美国、英国地区的用户开放了聊天机器人 Bard 服务,但初期反馈结果并不优秀。此外还爆出了 Bard 使用 ChatGPT 进行训练的新闻,让谷歌“焦头烂额”。

    皮查伊在采访中做出了回应,翻译内容如下:“我们有更强大的模型,Bard 能够更好地回答数学问题,改进推理和编程能力。升级版 Bard 将于下周会有新进展”。

    皮查伊表示现有 Bard 功能不够强大,是因为谷歌出于谨慎考虑而做出的决定。皮查伊表示:“我认为在完全掌控之前,我们不需要推出功能更强大的模型”。他还指出 Bard 正在运行 LaMDA 的轻量级版本。

    —— IThome

  • 百度回应质疑:百度自研语言模型

    百度回应质疑:文心一言是完全自主研发 呼吁不信谣不传谣

    百度发表微博说:我们注意到对文心一言文生图功能的相关反馈。回应说明如下:

    1、文心一言完全是百度自研的大语言模型,文生图能力来自文心跨模态大模型ERNIE-ViLG。

    2、在大模型训练中,我们使用的是全球互联网公开数据,符合行业惯例。大家也会从接下来文生图能力的快速调优迭代,看到百度的自研实力。

    文心一言正在大家的使用过程中不断学习和成长,请大家给自研技术和产品一点信心和时间,不传谣信谣,也希望文心一言能够给大家带来更多欢乐。

    —— 百度的微博

  • 百度文心一言正式发布

    被称为中国版ChatGPT的百度文心一言,今日14:00在百度北京总部大楼正式发布,百度同时在上海张江人工智能岛百度飞桨中心设立发布会分会场。

    百度创始人李彦宏亲自出席发布会并进行文心一言产品介绍,他在开场白中表示:百度文心一言“十月怀胎“,终于”一朝分娩”。据了解,百度已经连续多日进行持续到凌晨的压力测试,为了支持文心一言,亚洲目前最大的单体智算中心山西阳泉百度智算中心,已经将算力提升到每秒可以完成400亿亿次浮点运算,将与百度在江苏盐城等地的其他几座智算中心一起,为“文心一言”提供算力支持。(每经网)

  • GPT-4将于下周发布

    OpenAI 新一代模型 GPT-4 将于下周发布

    微软德国CTO Andreas Braun 在3月9日举行的「AI in Focus – Digital Kickoff」活动中透露到:

    GPT-4 将于下周发布,它是一个多模态模型,除了生成文本还可以生成图像、视频和音乐。这项技术已经发展到基本上”适用于所有语言”。

    微软德国CEO Marianne Janik 还在活动上强调: “微软不会使用客户的数据来训练模型。”

    GPT-4 的发布活动可能是指微软将在3月16日 (北京时间17日0点) 举办的「The Future of Work with AI」发布会,届时微软CEO Satya Nadella 和 Microsoft 365 负责人 Jared Spataro 将在直播中展示最新的AI产品。

    —— Heise Online