Q. PLaMo-2のパラメータ数（2025年）はどれくらいですか？

• Mistral Large 2のパラメータ数は1230億である123 億
• OpenAIの推論モデル「OpenAI o1」が2025年東大入試の合格最低点を上回った
• DeepSeek-R1のパラメータ数は6710億である671 億
• Phi-4のパラメータ数は140億である14 億
• Microsoftが発表したPhi-4は140億パラメータである140 億パラメータ

(第Ⅰ部 特集) AIの爆発的な進展の動向 (AIの技術開発における現状と動向) 4 ● AIが爆発的に進展、世界的な開発競争が激化。新たな技術動向も見られる。 ≫ 大規模言語モデル(LLM)は、巨大な投資が可能な海外ビッグテック企業や海外スタートアップ企業等が発展を牽引。 ≫ 性能向上をもたらす新たな技術が進展、開発競争が一層激化。 (推論に強いモデル(例:OpenAI o1)、中国の新興企業によるオープンモデル(DeepSeek-R1)の登場、 高性能な小型モデルの開発等)。 ≫ いわゆる「AIエージェント」や、AIを応用したロボット開発の動きも世界的に加速。 LLMのパラメータ数の推移 最近の技術動向の例 (LLM関係) 大規模化の一方、効率性重視の小規模モデルの開発も盛んに 推論モデルの登場 ・2024年9月、OpenAIが、数学等の分野に 大規模化 悟道2.0(1750B) 強い「OpenAI o1」開発発表。 Switch Transformer(1571B) PaLM(540B) ・2025年東大入試の合格最低点を上回ったとの報道 DeepSeek-R1(671B) PLAmo-100B- instruct(100B) GPT-3(175B) KARAKURI LM 70B lm-jp-3-172b- instruct3(172B) Chat v0.1(70B) CyberAgentLM3- 22B-Chat(22B) Phi-4(14B) Turing-NLG(17.2B) Megatron-LM(8.3B) PLAmo2(8B) Mistral Large -2(123B) GPT-2(1.5B) BERT-Large(340M) ELMo(94M) 小規模モデル の開発も盛ん 0.01 2018 2019 2020 2021 2022 2023 2024 2025 開発年月 ※最近の最先端大規模モデルはパラメータ数非公表の場合が多いことに注意 (出典)東京大学 松尾研究室「AIの進化と日本の戦略」(2023年)及び開発組織の発表資料等を基に作成 中国スタートアップ企業のDeepSeek-R1 ・2025年1月、中国のAIスタートアップ企業 DeepSeekが、「DeepSeek-R1」の開発を発表。 ・半導体企業等の株価が下落する等の影響。 相対的に小規模な言語モデルの開発 ・機密性が求められる等のローカル環境での利用や 特定用途で優位性等の観点から、 小規模なモデルも積極的な開発が進展。 ・Microsoftが2024年12月に発表したPhi-4 (140億パラメータ)は、複雑な推論にも対応。