LINE开源日语大型语言模型

Line日本总部本周宣布开源自家开发的日语大型语言模型（LLM）。

Line 将以 Apache License 2.0 授权开源其 japanese-large-lm 模型，可用于研究和商业用途，包含 36 亿和 17 亿个参数两个版本，均可在 HuggingFace Hub 上获取。

自 2020 年 11 月起，Line 一直专注于大型语言模型 HyperCLOVA，在 2021 年 5 月，Line 首次公开了基于 2040 亿个参数训练的韩文版 LLM HyperCLOVA，然后在 11 月公布了拥有 850 亿个参数的日语专用版本。

此次公开的模型与 HyperCLOVA 是不同部门并行开发的。此次开源的模型团队指出，此模型是基于 Line 自家的日语大型 Web 文本进行训练的，使用了 650GB 数据集进行训练。

研究团队还提供了本次公开的两个模型与 Rinna-3.6B 和 OpenCALM-7B 模型的准确度和困惑度（perplexity score，PPL）比较数据。

—— ithome.com.tw