Construction of a japanese financial benchmark for large language models

M Hirano - arXiv preprint arXiv:2403.15062, 2024 - arxiv.org
With the recent development of large language models (LLMs), models that focus on certain
domains and languages have been discussed for their necessity. There is also a growing …

Construction of Domain-specified Japanese Large Language Model for Finance through Continual Pre-training

M Hirano, K Imajo - arXiv preprint arXiv:2404.10555, 2024 - arxiv.org
Large language models (LLMs) are now widely used in various fields, including finance.
However, Japanese financial-specific LLMs have not been proposed yet. Hence, this study …

The Construction of Instruction-tuned LLMs for Finance without Instruction Data Using Continual Pretraining and Model Merging

M Hirano, K Imajo - arXiv preprint arXiv:2409.19854, 2024 - arxiv.org
This paper proposes a novel method for constructing instruction-tuned large language
models (LLMs) for finance without instruction data. Traditionally, developing such domain …

Enhancing Financial Domain Adaptation of Language Models via Model Augmentation

K Tanabe, M Hirano, K Matoya, K Imajo… - arXiv preprint arXiv …, 2024 - arxiv.org
The domain adaptation of language models, including large language models (LLMs), has
become increasingly important as the use of such models continues to expand. This study …

[PDF][PDF] Natural Language Processing for Business Process Innovation

K IWATSUKI, T AKAGI, K HIRANO - nipponsteel.com
Since business knowledge is stored in the form of documents, the application of natural
language processing to them is mandatory for business process innovation. At Nippon Steel …

[PDF][PDF] JMedRoBERTa: 日本語の医学論文にもとづいた事前学習済み言語モデルの構築と評価

杉本海人, 壹岐太一, 知田悠生, 金沢輝一… - 言語処理学会第29 回年次 …, 2023 - anlp.jp
概要英語圏において, 医学論文で事前学習を行った言語モデルが, 医療ドメインの様々なタスクで
有効であることが示されている. 日本語では診療記録で事前学習を行った UTH-BERT [1] …

金融特化大規模言語モデルの構築と検証

平野正徳, 今城健太郎, 齋藤俊太… - 人工知能学会第二種 …, 2024 - jstage.jst.go.jp
抄録 本研究では, 金融に特化した LLM の構築に取り組んだ. まず, ドメイン特化のコーパスを構築し,
そのコーパスを用いた継続事前学習を実施した. その上で, 金融に特化した金融知識の有無を確認 …

[PDF][PDF] 有価証券報告書へのテキストマイニングの適用に関する文献レビュー

近藤隆史, コンドウタカヒト, 石光裕… - 京都マネジメント …, 2023 - ksu.repo.nii.ac.jp
有価証券報告書へのテキストマイニングの 適用に関する文献レビュー Page 1 近藤隆史・石光裕:有価
証券報告書へのテキストマイニングの適用に関する文献レビュー 93 有価証券報告書へのテキスト …

[PDF][PDF] 自然言語処理技術活用による業務プロセス変革

岩月憲一, 赤木俊夫, 平野弘二 - 日本製鉄技報, 2023 - nipponsteel.com
抄 録業務知識は文書の形で蓄えられているため, 業務プロセス変革のためには自然言語処理技術
を活用することが必須である. 日本製鉄 (株) では, 鉄鋼分野に特化した自然言語処理技術を開発す …