Q. CyberAgentLM2-7Bは32,000トークンに対応している（2023年）はどれくらいですか？

• CyberAgentLM2は約50,000文字相当の大容量テキストを処理可能である50000 文字相当
• NICTは最大3,110億パラメータのLLMを開発するなど研究を行っている3110 億パラメータ
• NICTは1,790億パラメータのモデルの事前学習に取り組む予定である1790 億パラメータ
• サイバーエージェントが開発した日本語LLMのパラメータ数は最大68億である68 億パラメータ
• サイバーエージェントが公開したCyberAgentLM2-7Bのパラメータ数は70億である70 億パラメータ

AIの進化に伴う課題と現状の取組 第1節 1,790億パラメータのモデルの事前学習に取り組み、適切な学習の設定等を探索していく予定である。さらに、より大規模な事前学習用データ、大規模な言語モデルの構築に際し、ポジティブ・ネガティブ両方の要素に関して改善を図るとともに、WISDOM X、MICSUS等既存のアプリケーションやシステムの高度化等にも取り組む予定としている（2024年5月現在、NICTではさらに開発を進め、最大3,110億パラメータのLLMを開発するなど、複数種類のLLMを開発しパラメータや学習データの違いによる性能への影響等を研究している）。 イ サイバーエージェントが開発した日本語LLM「CyberAgentLM」 *6 *7 2023年5月、サイバーエージェントが最大68億パラメータの日本語LLMを開発したことを発表した。2023年11月には、より高性能な70億パラメータ、32,000トークン対応の日本語LLM「CyberAgentLM2-7B」と、チャット形式でチューニングを行った「CyberAgentLM2-7B-Chat」の種類を公開した。日本語の文章として約50,000文字相当の大容量テキストを処理可能である。商用利用が可能なApacheLicense2.0で提供されている。 ウ 日本電信電話（NTT）が開発した日本語LLM「tsuzumi」 2023年11月にNTTが開発した、軽量かつ世界トップレベルの日本語処理能力を持つLLMモデル「tsuzumi」が発表された。「tsuzumi」のパラメータサイズは6～70億と軽量であり、クラウド提供型LLMの課題である学習やチューニングに必要なコストを低減できる。「tsuzumi」は英語と日本語に対応しているほか、視覚や聴覚などのモーダルに対応し、特定の業界や企業組織に特化したチューニングが可能である。2024年3月から商用サービスが開始されており、今後はチューニング機能の充実やマルチモーダルの実装も順次展開される見込みである*8。 2 生成AIが及ぼす課題 前述のような生成AI自身が抱える制約事項のほか、生成AIの進展・普及には、それに伴う社会的・経済的な課題も多く、国内外のテック事業者、プラットフォーム事業者、業界団体や政府等による対策検討が進められている。 1 偽・誤情報の流通・拡散等の課題及び対策 「ディープフェイク」とは、「ディープラーニング（深層学習）」と「フェイク（偽物）」を組み合わせた造語で、本物又は真実であるかのように誤って表示し、人々が発言又は行動していない言動を行っているかのような描写をすることを特徴とする、AI技術を用いて合成された音声、画像あるいは動画コンテンツのことをいう。近年、世界各国でこれらディープフェイクによる情報操作や犯罪利用が増加しており、その対策には各方面からの取組が行われているものの、いたちごっこの様相を呈している。 *6 サイバーエージェント、「サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開―オープンなデータで学習した商用利用可能なモデルを提供―」2023年5月17日, <https://www.cyberagent.co.jp/news/detail/id=28817>（2024/3/22 参照） *7 サイバーエージェント、「独自の日本語LLM（大規模言語モデル）のバージョン2を一般公開―32,000トークン対応の商用利用可能なチャットモデルを提供―」2023年11月2日, <https://www.cyberagent.co.jp/news/detail/id=29479>（2024/3/22 参照） *8 NTT、「NTT独自の大規模言語モデル「tsuzumi」を用いた商用サービスを2024年3月提供開始」2023年11月1日, <https://group.ntt/jp/newsrelease/2023/11/01/231101a.html>（2024/3/22 参照） 令和6年版 情報通信白書 第I部 49