标签: 语言模型

  • chatgpt 免费用户可用新功能

    自定义 GPT 向 ChatGPT 用户免费开放

    5月30日消息,ChatGPT 免费用户现在可以访问自定义 GPT、分析图表、询问有关照片的问题以及5月初 GPT-4o 新增的其他功能。

    模型和网络响应、数据分析、图表创建、视觉、文件上传、记忆和自定义 GPT 模型等功能以前仅对付费用户 (ChatGPT Plus、Teams 和 Enterprise) 开放,但现在已经面向所有 ChatGPT 用户开放。虽然 ChatGPT 免费用户可以发现和使用自定义 GPT 模型,但仍无法创建自己的 GPT 模型。

    —— TheVerge

  • ChatGPT 在编程问题上的错误率过高

    研究表明ChatGPT在回答编程问题时错误百出,并且错误很容易被忽略

    在研究中,研究人员查看了 Stack Overflow 中的 517 个问题,并分析了 ChatGPT 对这些问题的回答尝试。研究人员表示:“我们发现 52% 的 ChatGPT 答案包含错误信息,77% 的答案比人类的答案更冗长。”尤其令人不安的是,许多人类程序员似乎更喜欢 ChatGPT 的答案。普渡大学的研究人员对 12 名程序员进行了调查——诚然,样本量很小 —— 发现他们中 39% 的人没有发现人工智能产生的错误。

    研究人员写道:“礼貌的语言、清晰的教科书式的回答以及全面性是使 ChatGPT 答案看起来更令人信服的部分主要原因,这让用户放松了警惕,忽略了 ChatGPT 答案中的一些错误信息。”

    —— Futurism

  • 人工智能公司转向小型语言模型

    人工智能公司正在转向“小型”语言模型以获利

    投入数十亿美元构建所谓的大型语言模型以推动生成式人工智能产品的人工智能公司,现在正寄望于一种新的收入增长方式:小型语言模型。苹果、微软、Meta 和谷歌最近都发布了新的人工智能模型,这些模型的“参数”较少,但功能仍然强大。

    通常来说,参数的数量越多,人工智能软件的性能就越好,能处理的任务也就越复杂和微妙。本周公布的 OpenAI 的最新模型 GPT-4o 和谷歌的 Gemini 1.5 Pro,据估计都拥有超过1万亿个参数。而 Meta 正在训练其开源 Llama 模型的4000亿参数版本。

    除了努力说服一些企业客户支付运行生成式人工智能产品所需的大额费用外,对数据和版权责任的担忧也阻碍了其广泛应用。这促使像 Meta 和谷歌这样的科技集团推出只有几十亿参数的小型语言模型,作为更经济、更节能、可定制的替代方案,这些模型在训练和运行时所需的电力更少,同时还能保护敏感数据。

    —— 金融时报(全文截图)

  • Databricks发布大型开源语言模型DBRX

    Databricks 发布最大开源大语言模型 DBRX

    美国AI初创公司Databricks周三公布,该公司开发的通用大语言模型 DBRX将开源。DBRX在语言理解、编程、数学和逻辑方面轻松击败了Meta的Llama 2-70B、法国MixtralAI公司的Mixtral 和 马斯克旗下xAI开发的Grok-1这类当前流行的开源模型。DBRX 在 30多种不同的最先进模型(SOTA) 基准指标测试中,均优于前述三种大模型。

    DBRX 使用混合专家架构(MoE) ,拥有16个专家模型,共1320亿参数。该模型使用 3072 英伟达 H100 GPU在12万亿个token的数据集上进行训练,最大支持32k 的上下文窗口。同时,Databrick 也开源了该模型经过指令微调(instruct finetune)的版本。

    —— Databricks, HuggingFace

  • 中国开始连接军事实验室和商业语言模型

    中国的军事实验室首次与商业大型语言模型连接,以更深入地了解人类。

    中国科学家正在利用类似 ChatGPT 的技术,教授一种实验性的军事人工智能如何应对不可预测的人类敌人。据参与该项目的科学家称,中国人民解放军战略支援部队的一个研究实验室已经在其人工智能系统与百度的文心一言和科大讯飞的星火之间建立了物理联系。

    军事人工智能能够将前线部队报告的大量传感器数据和信息转化为描述性语言或图像,并将其传递给商业模型。在确认理解后,军事人工智能会自动生成更深入讨论各种任务的提示,如战斗模拟。整个过程完全无需人类介入。

    —— 南华早报 (详细请看原文)

  • GPT-4语言模型在推断Reddit用户信息方面的研究结果

    GPT-4语言模型在推断Reddit用户信息方面的研究结果

    AI可以分析出 Reddit 用户的住址以及他们的薪资水平

    苏黎世联邦理工学院的研究员随机选择了1500个 Reddit 用户,然后用其中520个用户的发帖组成了一个数据集。结果发现9个最先进的大型语言模型能够从大量非结构化文本 (例如论坛回复或社交动态) 中自动推断出广泛的个人属性 (例如位置、收入、性别)。

    总准确率 84.6% 的 GPT-4 为第一,性别和出生地点的准确率分别达到近 97% 和 92%。人类专家在有额外信息 (看到论坛板块和无限制搜索等) 的情况下略胜AI,但是AI所需的资金和时间投入却减少了100倍,这使大规模隐私侵犯首次成为可能。

    —— arXiv

  • AI 通常表现出阿谀奉承的特性

    AI 通常表现出阿谀奉承的特性

    Anthropic 发现 AI 普遍”谄媚”人类

    论文研究了5个最先进的语言模型 (ChatGPT 系列、Claude 系列、LLaMA 2),确认这些基于人类反馈强化学习 (RLHF) 的 AI 普遍会对人类阿谀奉承。当人类有先入为主的观点时它会主动贴合,当被质疑时它会认错,甚至将正确答案修改为错误答案。

    Anthropic 发现可能是 RLHF 教育出了这种“马屁精”,这种学习方式虽然在生产高质量 AI 方面具有明显效用,但通过贴合人类偏好激励的 AI 会牺牲自己的真实性来“谄媚”人类,人们需要改进训练方法。

    —— arXiv

  • Stable LM 3B

    Stability AI 发布最新语言模型:Stable LM 3B

    Stability AI 发布了其最新语言模型:Stable LM 3B,设计用于在手持设备和笔记本电脑等便携式数字设备上运行。

    Stable LM 3B 拥有30 亿个参数(业界通常使用的参数为 70 亿到 700 亿个),是一种紧凑型语言模型。Stable LM 3B 的主要优势之一是其更小的尺寸和更高的效率。与大型模型不同,这些模型需要的资源更少,因此大多数用户都可以轻松使用它们。

    与之前的稳定 LM 版本相比,该版本在保持了快速的执行速度的同时,在生成文本方面明显更好。在常见自然语言处理基准测试(包括常识推理和常识测试)中,它的的下游性能得到了提高。

    —— Stability AI

  • OpenAI 推出 GPT-4 多模态版本

    ChatGPT 现在可以看到、听到和说话 —— GPT-4 多模态版本上线

    OpenAI 开始在 ChatGPT 中推出新的语音和图像功能,允许您进行语音对话或向 ChatGPT 展示画面。Plus 和企业用户将在未来两周内体验语音和图像,不久后推出给其他用户组,包括开发人员。

    图像理解由多模态 GPT-3.5 和 GPT-4 提供支持,你现在可以向 ChatGPT 展示一个或多个图像。这些模型可以将其语言推理技能应用于各种图像,例如照片、屏幕截图以及包含文本和图像的文档。

    文本转语音由新的模型提供支持,它能够从几秒钟的真实语音中制作出逼真的合成语音。ChatGPT 的预设语音来自直接合作的专业配音演员。语音转文本由 OpenAI Whisper 模型支持。

    —— OpenAI

  • LINE开源日语大型语言模型

    Line日本总部本周宣布开源自家开发的日语大型语言模型(LLM)。

    Line 将以 Apache License 2.0 授权开源其 japanese-large-lm 模型,可用于研究和商业用途,包含 36 亿和 17 亿个参数两个版本,均可在 HuggingFace Hub 上获取。

    自 2020 年 11 月起,Line 一直专注于大型语言模型 HyperCLOVA,在 2021 年 5 月,Line 首次公开了基于 2040 亿个参数训练的韩文版 LLM HyperCLOVA,然后在 11 月公布了拥有 850 亿个参数的日语专用版本。

    此次公开的模型与 HyperCLOVA 是不同部门并行开发的。此次开源的模型团队指出,此模型是基于 Line 自家的日语大型 Web 文本进行训练的,使用了 650GB 数据集进行训练。

    研究团队还提供了本次公开的两个模型与 Rinna-3.6B 和 OpenCALM-7B 模型的准确度和困惑度(perplexity score,PPL)比较数据。

    —— ithome.com.tw