Line日本总部本周宣布开源自家开发的日语大型语言模型(LLM)。
Line 将以 Apache License 2.0 授权开源其 japanese-large-lm 模型,可用于研究和商业用途,包含 36 亿和 17 亿个参数两个版本,均可在 HuggingFace Hub 上获取。
自 2020 年 11 月起,Line 一直专注于大型语言模型 HyperCLOVA,在 2021 年 5 月,Line 首次公开了基于 2040 亿个参数训练的韩文版 LLM HyperCLOVA,然后在 11 月公布了拥有 850 亿个参数的日语专用版本。
此次公开的模型与 HyperCLOVA 是不同部门并行开发的。此次开源的模型团队指出,此模型是基于 Line 自家的日语大型 Web 文本进行训练的,使用了 650GB 数据集进行训练。
研究团队还提供了本次公开的两个模型与 Rinna-3.6B 和 OpenCALM-7B 模型的准确度和困惑度(perplexity score,PPL)比较数据。
—— ithome.com.tw