Publications
International Conference
2026
- Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, and Jun Suzuki. Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning. Proceedings of the Fourteenth International Conference on Learning Representations (ICLR) [OpenReview].
- Ryo Fujii, Makoto Morishita, Kazuki Yano, and Jun Suzuki. TimeMachine-bench: A Benchmark on Evaluating Model's Capability on Repository-level Migration Tasks. Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (EACL) [ACL Anthology].
- Keigo Shibata, Kazuki Yano, Ryosuke Takahashi, Wataru Ikeda, and Jun Suzuki. Suppressing Final Layer Hidden State Jumps in Transformer Pretraining. Findings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (EACL) [ACL Anthology].
2025
- Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki. Efficient Construction of Model Family through Progressive Training Using Model Expansion. In Proceedings of Conference on Language Modeling (COLM) [OpenReview].
- Wataru Ikeda, Kazuki Yano, Ryosuke Takahashi, Jaesung Lee, Keigo Shibata, Jun Suzuki. Layer-wise Importance Analysis of Feed-Forward Networks in Transformer-based Language Models. In Proceedings of Conference on Language Modeling (COLM) [OpenReview].
- Kazuki Yano, Takumi Ito, Jun Suzuki. STEP: Staged Parameter-Efficient Pre-training for Large Language Models. Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL) [ACL Anthology].
2024
- Keito Kudo, Hiroyuki Deguchi, Makoto Morishita, Ryo Fujii, Takumi Ito, Shintaro Ozaki, Koki Natsumi, Kai Sato, Kazuki Yano, Ryosuke Takahashi, Subaru Kimura, Tomomasa Hara, Yusuke Sakai, Jun Suzuki. Document-level Translation with LLM Reranking: Team-J at WMT 2024 General Translation Task. Proceedings of the Ninth Conference on Machine Translation (WMT) [ACL Anthology].
Domestic Conference (Japan)
2026
- 矢野一樹, 清野舜, 小林颯介, 高瀬翔, 鈴木潤. 事前学習における学習率スケジューラが事後学習後の性能に与える影響. 言語処理学会第32回年次大会 (NLP 2026)
- 柴田圭悟, 矢野一樹, 高橋良允, 李宰成, 池田航, 鈴木 潤. Transformer事前学習における最終層隠れ状態ジャンプの抑制. 言語処理学会第32回年次大会 (NLP 2026)
- 藤井諒, 森下睦, 矢野一樹, 鈴木潤. TimeMachine-bench: LLMは「あの日」のコードを最新環境に適応できるか？. 言語処理学会第32回年次大会 (NLP 2026)
- 津田純花, 矢野一樹, 赤間怜奈, 鈴木潤. 日本語の倒置が大規模言語モデルの読解性能に与える影響. 言語処理学会第32回年次大会 (NLP 2026)
2025
- 矢野一樹, 伊藤拓海, 鈴木潤. モデル拡張によるパラメータ効率的なLLMの事前学習. 言語処理学会第31回年次大会 (NLP 2025)
- 矢野一樹, 高瀬翔, 小林颯介, 清野舜, 鈴木潤. モデル拡張を用いた段階的事前学習によるモデル系列の効率的な構築. 言語処理学会第31回年次大会 (NLP 2025)
- 李宰成, 矢野一樹, 高橋良允, 柴田圭悟, 池田航, 鈴木潤. LLM 事前学習の効率化と性質改善:埋め込み層および出力層のパラメータ固定による再利用. 言語処理学会第31回年次大会 (NLP 2025)
- 池田航, 矢野一樹, 高橋良允, 李宰成, 柴田圭悟, 鈴木潤. Transformer LLM における層単位のFFN層の重要度検証. 言語処理学会第31回年次大会 (NLP 2025)
- 柴田圭悟, 高橋良允, 矢野一樹, 李宰成, 池田航, 鈴木潤. Transformer LLMの内部挙動改善:隠れ状態ベクトルの数値的収束性の向上. 言語処理学会第31回年次大会 (NLP 2025)
- 高橋良允, 矢野一樹, 成瀬健太, 武井美緒, 梶佑輔, 鈴木潤. LLMにおける内部表現を用いた日本語スタイル制御メカニズムの分析. 言語処理学会第31回年次大会 (NLP 2025)
2024
- 矢野一樹, 綿岡晃輝, Thien Q. Tran, 髙橋翼, Seng Pei Liew, 鈴木潤. 対話モデルに対する敵対的プロンプトの効率的な最適化. 言語処理学会第30回年次大会 (NLP 2024)
2023
- 矢野一樹, 伊藤拓海, 鈴木潤. LoRAチューニングの効果的な利用のための設定分析. NLP若手の会 第18回シンポジウム (Yans 2023)
- 矢野一樹, ジェプカ ラファウ, 荒木健治. 日本語知識グラフを用いた質問応答システムの構築とグラフサイズの影響の検証. 情報処理学会 第255回自然言語処理研究会.