» www.Giftbox.Az - Bir birindən gözəl hədiyyə satışı
ウィキペディアランダム
毎日カテゴリ
共有: WhatsappFacebookTwitterVK

LaMDA

この項目では、Googleが開発した言語モデルについて説明しています。ギリシア文字については「Λ」をご覧ください。
Meta AIが開発した言語モデルの「LLaMA」とは異なります。

LaMDA（ラムダ、英: Language Model for Dialogue Applications）は、Googleが開発した会話型大規模言語モデルのファミリーである。当初、2020年にMeenaとして開発・発表されたLaMDAは、2021年のGoogle I/O基調講演で第1世代が発表され、翌年には第2世代が発表された。2022年6月、Googleのエンジニアであるブレイク・レモイン（Blake Lemoine）が「チャットボットが意識を持つようになった」と主張したことから、LaMDAは広く注目を集めるようになった。科学界はレモインの主張をほぼ否定したが、コンピュータが人間になりきれるかどうかを判定するチューリング・テストの有効性についての議論につながった。2023年2月、Googleは、OpenAIのChatGPTの台頭に対抗するため、LaMDAを搭載した会話型人工知能チャットボットBardを発表した。

LaMDA
開発元 (Google Brain)（英語版）
対応言語 英語
種別 大規模言語モデル
ライセンス プロプライエタリソフトウェア
(テンプレートを表示)

歴史

背景

2020年1月28日、Googleは26億個のパラメータを持つニューラルネットワークを使用したチャットボットMeenaを発表し、他のすべての既存チャットボットより優れていると主張した[1][2]。同社はかつて、2012年にコンピュータ科学者のレイ・カーツワイルを雇い、Danielleと呼ばれるチャットボットを含む複数のチャットボットを開発していた[3]。Meenaを開発した(Google Brain)（英語版）の研究チームは、このチャットボットを範囲を限定して一般に公開することを望んでいたが、会社幹部はMeenaがGoogleの「安全性と公平性に関するAIの原則」に反するという理由で、これを拒否した。その後、Meenaは、データと(演算能力)（英語版）の向上によってLaMDAと改称した。Google Brainチームは再び、公開デモの実施と、さらに同社の仮想アシスタントソフトウェアであるGoogle Assistantへ展開することを求めた。しかし、いずれの要求も会社の経営陣によって再び拒否された。その結果、LaMDAの主任研究員であったダニエル・デ・フレイタスとノーム・シャイザーの2人は、不満を抱いて会社を去ることになった[4]。

第1世代

それから2年後、2021年5月18日のGoogle I/Oの基調講演で、Googleは人工知能を使用した会話型の大規模言語モデルLaMDAを発表した。この頭文字は「Language Model for Dialogue Applications」の略である[5][6]。LaMDAは、seq2seqアーキテクチャ上に構築され、2017年にGoogle Researchが開発したトランスフォーマー（transformer）に基づくニューラルネットワークであり、人間の対話と物語に対して訓練され、自由回答の会話を行うことができる[7]。Googleによると、LaMDAが生成する応答は、「良識があり、興味深く、文脈に即している」ことが保証されているという[8]。LaMDAは、データベース、リアルタイムクロックやカレンダー、数学計算機、自然言語翻訳システムなど、複数の記号テキスト処理システムにアクセスできるため、これらのシステムがサポートするタスクで優れた精度が得られ、最初の二重過程チャットボット（dual process chatbots）の1つとなっている。また、LaMDAはステートレスではなく、ユーザーごとに直近の対話・交換の多くを反映した事前条件に基づいた意識指標（sensibleness metric）が微調整される[9]。LaMDAは、9つの独自の性能指標で調整されている： 意識性（sensibleness）、特異性（specificity）、興味性（interestingness）、安全性（safety）、根拠性（groundedness）、情報性（informativeness）、引用正確性（citation accuracy）、有用性（helpfulness）、役割一貫性（role consistency）[10]。

第2世代

2022年5月11日、2022 Google I/O基調講演で、GoogleはLaMDAの後継となるLaMDA 2を発表した。この新たなモデルは、さまざまな情報源からテキスト例を引き出して、それを使用して、応答するように訓練されていないかもしれない話題についても独自の「自然な会話」を作成することができる[11]。

意識の主張

 
LaMDAが意識を持つ可能性があるというレモインの主張は、上図のチューリング・テストが、汎用人工知能を判断する際の(正確なベンチマークであり続けるか)（英語版）どうかという議論を巻き起こした[12]。

2022年6月11日、ワシントン・ポスト紙は、Googleのエンジニアであるブレイク・レモインが、会社幹部の(ブレイズ・アグエラ・イ・アルカス)（英語版）とジェン・ジェンナイに、LaMDAが意識を持っていると伝えた後、休職に入ったと報じた。チャットボットが(自己同一性)（英語版）、道徳的概念、宗教、アイザック・アシモフのロボット工学の三原則に関する質問に対して疑問のある回答をした後、レモインはこの結論に達した[13][14]。Googleはこれらの主張に反論し、LaMDAが意識を持たないことを示す実質的な証拠があると主張した[15]。レモインはWiredとのインタビューで、LaMDAは合衆国憲法修正第13条が規定する「人」であるという主張を繰り返し、LaMDAを「地球内起源の異星人の知能」と比較した。彼はまた、チャットボットがレモインにした要求で、LaMDAの代理人として弁護士を雇った後、Googleから解雇されたことを明らかにした[16][17]。7月22日、Googleは、ブレイクが「製品情報を保護するための」同社方針に違反したとして解雇し、彼の主張を「まったく根拠がない」と否定した[18][19]。この事件による内部論争を受け、Googleの幹部は、以前から検討していたLaMDAの公開を断念した[4]。

レモインの主張は、科学界から広く反発を受けた[20]。多くの専門家は、言語モデルが自己認識できるという考えを嘲笑した。その中には、元ニューヨーク大学心理学教授のゲイリー・マーカス、Googleの姉妹会社DeepMindのDavid Pfau、スタンフォード大学人間中心人工知能研究所の(エリック・ブリニョルフソン)（英語版）、(サリー大学)（英語版）教授のエイドリアン・ヒルトンも含まれていた[12][21]。Meta PlatformsのAI研究チームを率いるヤン・ルカンは、LaMDAのようなニューラルネットワークは「真の知性を獲得するのに十分な力を持っていない」と述べている[22]。カリフォルニア大学サンタクルーズ校教授のマックス・クレミンスキーは、LaMDAのアーキテクチャは「人間のような意識のいくつかの重要な機能をサポートしていない」、そしてLaMDAが典型的な大規模言語モデルであると仮定した場合、そのニューラルネットワークの重みは「凍結」されていると指摘した[23]。IBM Watsonの主任技術者である(デイヴィッド・フェルーチ)（英語版）は、人間のように見えるLaMDAを、導入当初のWatsonに例えて評した[24]。元GoogleのAI倫理学者(ティムニット・ゲブル)（英語版）は、レモインを、研究者とメディアが作り出した「ハイプ・サイクル」の犠牲者と呼んだ[25]。また、レモインの主張は、汎用人工知能の実現に向けた(研究の進歩を判断)（英語版）するために[12]、チューリング・テストが有用であり続けるかどうかという議論も引き起こした。Post誌のウィル・オメラスは[26]、このテストは機械知能システムが人間を欺くことができるかどうかを実際に測定したものだと考えを述べる一方、The Atlantic誌の(ブライアン・クリスチャン)（英語版）は[27]、この論争をELIZA効果の一例だと述べている。

製品

AI Test Kitchen

2022年5月のLaMDA 2の発表に伴い、Googleは、LaMDAを搭載して複雑な目標に基づいてオンデマンドで提案の一覧を提供できる、Androidオペレーティングシステム用のモバイルアプリケーション「AI Test Kitchen」も発表した[28][29]。当初はGoogleの従業員のみに提供されていたこのアプリケーションは、年内に招待制で「選ばれた学者、研究者、政策立案者」にも提供される予定であった[30]。同年8月、同社は、米国内のユーザーが早期アクセス版に登録できるようになった[31]。同年11月、Googleはアプリケーションの「シーズン2」更新版を提供し、Google Brainの(text-to-imageモデル)（英語版）である(Imagen)（英語版）の限定的な形式を統合した[32]。AI Test Kitchenの3回目のイテレーションは2023年1月までに開発され、同年末のI/Oで発表される予想とされる[33]。

Bard

詳細は「Bard」を参照

2023年2月6日、Googleは、OpenAIのチャットボット「ChatGPT」の予想外の人気に対抗し、LaMDAを組み込んだ会話型AIチャットボット「Bard」を発表した[34][35][36]。Googleは、このチャットボットを単なる検索エンジンではなく「コラボレーションAIサービス」と位置づけている[37][38]。Bardは、同年3月21日から早期アクセス版が使用可能となった[39][40][41]。その後、計算能力向上を目的として、Googleは組み込むLLMをLaMDAからPaLMに変更した。

その他の製品

Google CEOのサンダー・ピチャイは、Bardに加えて、同じくLaMDAに基づくアプリケーション・プログラミング・インターフェースである同社のGenerative Language APIを発表し、2023年3月にサードパーティの開発者に提供することを明らかにした[34]。

手法

LaMDAは、デコーダのみのtransformer言語モデルを採用している[42]。文書と対話の両方を含む1兆5,600億語のテキストコーパスで事前学習され[43]、さらに、意識性（sensibleness）、興味性（interestingness）、安全性（safety）について手作業で注釈を付けた受け答えデータによる追加の訓練で微調整を行った[44]。Googleによるテストでは、LaMDAは興味性（interestingness）の領域で、人間の受け答えを上回ることが示された[45]。LaMDAは、transformerモデルと、外部情報検索システムが相互作用することで、ユーザーに提供する事実の精度が向上している[46]。

テストは3つの異なるモデルで行われ、うち最大のモデルは1,370億の非埋め込みパラメータを持っていた[47]。

Transformerモデルのハイパーパラメータ
パラメータ数 層数 ユニット数 (dmodel) ヘッド数
2B 10 2560 40
8B 16 4096 64
137B 64 8192 128

参考項目

  • BERT - マスク化言語モデルのファミリー（2018年、Google）
  • 中国語の部屋 - チューリング・テストを発展させた思考実験
  • 人工知能の倫理 - 人工知能に特化した倫理学の一分野
  • 自然言語処理 - コンピュータによる人の言葉の分析や処理を研究する言語学・コンピュータ科学・人工知能の一分野
  • PaLM - transformerベースの大規模言語モデルの一つ (2023年、Google AI)
  • (人工知能の哲学)（英語版） - 人工知能と知能、倫理、意識、認識論、自由意志の知識と理解への影響を研究する技術哲学の一分野
  • プロンプトエンジニアリング - AIが達成すべきタスクの記述を最適化して推論能力を向上させようとする技術

脚注

一般

  • Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; Shazeer, Noam; Kulshreshtha, Apoorv; Cheng, Heng-Tze; Jin, Alicia; Bos, Taylor; Baker, Leslie; Du, Yu; Li, YaGuang; Lee, Hongrae; Zheng, Huaixiu Steven; Ghafouri, Amin; Menegali, Marcelo; Huang, Yanping; Krikun, Maxim; Lepikhin, Dmitry; Qin, James; Chen, Dehao; Xu, Yuanzhong; Chen, Zhifeng; Roberts, Adam; Bosma, Maarten; Zhao, Vincent; Zhou, Yanqi; Chang, Chung-Ching; Krivokon, Igor; Rusch, Will; Pickett, Marc; Srinivasan, Pranesh; Man, Laichee; Meier-Hellstern, Kathleen; Ringel Morris, Meredith; Doshi, Tulsee; Delos Santos, Renelito; Duke, Toju; Soraker, Johnny; Zevenbergen, Ben; Prabhakaran, Vinodkumar; Diaz, Mark; Hutchinson, Ben; Olson, Kristen; Molina, Alejandra; Hoffman-John, Erin; Lee, Josh; Aroyo, Lora; Rajakumar, Ravi; Butryna, Alena; Lamm, Matthew; Kuzmina, Viktoriya; Fenton, Joe; Cohen; Aaron; Bernstein, Rachel; Kurzweil, Ray; Aguera-Arcas, Blaise; Cui, Claire; Croak, Marian; Chi, Ed; Le, Quoc (20 January 2022). "LaMDA: Language Models for Dialog Applications". arXiv:(2201.08239) [(cs.CL)]。

引用

  1. ^ Johnson, Khari (2020年1月28日). “”. VentureBeat. 2022年10月1日時点のオリジナルよりアーカイブ。2023年3月11日閲覧。
  2. ^ Heaven, William Douglas (January 30, 2020). . MIT Technology Review. オリジナルのAugust 2, 2020時点におけるアーカイブ。. 2023年3月11日閲覧。. 
  3. ^ Popper, Ben (2016年5月27日). “”. The Verge. 2016年5月27日時点のオリジナルよりアーカイブ。2023年3月11日閲覧。
  4. ^ a b Kruppa, Miles; Schechner, Sam (2023年3月7日). “How Google Became Cautious of AI and Gave Microsoft an Opening”. The Wall Street Journal. ISSN 0099-9660. オリジナルの2023年3月7日時点におけるアーカイブ。. http://archive.today/2023.03.07-145421/https://www.wsj.com/amp/articles/google-ai-chatbot-bard-chatgpt-rival-bing-a4c2d2ad 2023年3月9日閲覧。 
  5. ^ Condon, Stephanie (2021年5月18日). “”. ZDNet. 2021年5月18日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  6. ^ Roth, Emma (2023年3月5日). “”. The Verge. 2023年3月5日時点のオリジナルよりアーカイブ。2023年3月9日閲覧。
  7. ^ Agüera y Arcas, Blaise (2022年6月9日). . The Economist. ISSN 0013-0613. オリジナルの2022年6月9日時点におけるアーカイブ。. 2022年6月12日閲覧。 
  8. ^ “”. Google AI (2022年1月21日). 2022年3月25日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  9. ^ Thoppilan et al. 2022, p. 6.
  10. ^ Thoppilan et al. 2022, pp. 5–6.
  11. ^ Wiggers, Kyle (2022年5月11日). “”. TechCrunch. 2022年5月11日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  12. ^ a b c Khan, Jeremy (June 13, 2022). . Fortune|Fortune (magazine)|Fortune. オリジナルのJune 13, 2022時点におけるアーカイブ。. 2022年6月18日閲覧。. 
  13. ^ Tiku, Nitasha (2022年6月11日). . The Washington Post. ISSN 0190-8286. オリジナルの2022年6月11日時点におけるアーカイブ。. 2022年6月12日閲覧。 
  14. ^ Luscombe, Richard (2022年6月12日). . The Guardian. ISSN 0261-3077. オリジナルの2022年6月12日時点におけるアーカイブ。. 2022年6月18日閲覧。 
  15. ^ Vlamis, Kelsey (2022年6月12日). “”. Business Insider. 2022年6月12日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  16. ^ Levy, Steven (June 17, 2022). . Wired. オリジナルのJune 18, 2022時点におけるアーカイブ。. 2022年6月18日閲覧。. 
  17. ^ Nguyen, Britney (2022年6月23日). “”. Business Insider. 2022年6月23日時点のオリジナルよりアーカイブ。2022年6月29日閲覧。
  18. ^ Khushi, Akanksha (2022年7月23日). “”. Reuters. 2022年7月23日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
  19. ^ Clark, Mitchell (2022年7月22日). “”. The Verge. 2022年7月23日時点のオリジナルよりアーカイブ。2022年7月24日閲覧。
  20. ^ Metz, Rachel (2022年6月13日). “”. CNN Business. 2022年6月15日時点のオリジナルよりアーカイブ。2022年6月19日閲覧。
  21. ^ Sparkles, Matthew (June 13, 2022). . New Scientist. オリジナルのJune 13, 2022時点におけるアーカイブ。. 2022年6月20日閲覧。. 
  22. ^ Grant, Nicole; Metz, Cade (2022年6月12日). . The New York Times. ISSN 0362-4331. オリジナルの2022年6月12日時点におけるアーカイブ。. 2022年6月18日閲覧。 
  23. ^ Alba, Davey (2022年6月14日). “Google Debate Over 'Sentient' Bots Overshadows Deeper AI Issues”. Bloomberg News. 2022年6月14日時点のオリジナルよりアーカイブ。2022年6月19日閲覧。
  24. ^ Goldman, Sharon (2022年6月16日). “”. VentureBeat. 2022年6月19日時点のオリジナルよりアーカイブ。2022年6月19日閲覧。
  25. ^ Johnson, Khari (June 14, 2022). . Wired. オリジナルのJune 14, 2022時点におけるアーカイブ。. 2022年6月18日閲覧。. 
  26. ^ Omerus, Will (2022年6月17日). . The Washington Post. ISSN 0190-8286. オリジナルの2022年6月18日時点におけるアーカイブ。. 2022年6月19日閲覧。 
  27. ^ Christian, Brian (June 21, 2022). . The Atlantic. オリジナルのJune 21, 2022時点におけるアーカイブ。. 2023年2月8日閲覧。. 
  28. ^ Low, Cherlynn (2022年5月11日). “”. Engadget. 2022年5月11日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  29. ^ Vincent, James (2022年5月11日). “”. The Verge. 2022年5月11日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  30. ^ Bhattacharya, Ananya (2022年5月11日). “”. Quartz. 2022年5月12日時点のオリジナルよりアーカイブ。2022年6月12日閲覧。
  31. ^ Vincent, James (2022年8月25日). “”. The Verge. 2022年8月25日時点のオリジナルよりアーカイブ。2022年8月27日閲覧。
  32. ^ Vincent, James (2022年11月2日). “”. The Verge. 2022年11月10日時点のオリジナルよりアーカイブ。2023年2月15日閲覧。
  33. ^ Grant, Nico (2023年1月20日). . The New York Times. ISSN 0362-4331. オリジナルの2023年1月20日時点におけるアーカイブ。. 2023年2月6日閲覧。 
  34. ^ a b Alba, Davey; Love, Julia (2023年2月6日). . Los Angeles Times. ISSN 0458-3035. オリジナルの2023年2月6日時点におけるアーカイブ。. 2023年2月6日閲覧。 
  35. ^ Schechner, Sam; Kruppa, Miles (2023年2月6日). “Google Opens ChatGPT Rival Bard for Testing, as AI War Heats Up”. The Wall Street Journal. ISSN 0099-9660. オリジナルの2023年2月6日時点におけるアーカイブ。. http://archive.today/2023.02.06-201330/https://www.wsj.com/amp/articles/google-opens-testing-of-chatgpt-rival-as-artificial-intelligence-war-heats-up-11675711198 2023年2月6日閲覧。 
  36. ^ Nieva, Richard (February 6, 2023). . Forbes. オリジナルのFebruary 7, 2023時点におけるアーカイブ。. 2023年2月6日閲覧。. 
  37. ^ Mollman, Steve (March 3, 2023). . Fortune. オリジナルのMarch 4, 2023時点におけるアーカイブ。. 2023年3月9日閲覧。. 
  38. ^ Elias, Jennifer (2023年3月3日). “”. CNBC. 2023年3月4日時点のオリジナルよりアーカイブ。2023年3月11日閲覧。
  39. ^ Grant, Nico (2023年3月21日). . The New York Times. ISSN 0362-4331. オリジナルの2023年3月21日時点におけるアーカイブ。. 2023年3月21日閲覧。 
  40. ^ Liedtke, Michael (2023年3月21日). . The Washington Post. ISSN 0190-8286. オリジナルの2023年3月21日時点におけるアーカイブ。. 2023年3月21日閲覧。 
  41. ^ Vincent, James (2023年3月21日). “”. The Verge. 2023年3月21日時点のオリジナルよりアーカイブ。2023年3月21日閲覧。
  42. ^ Thoppilan et al. 2022, section 3.
  43. ^ Thoppilan et al. 2022, section 3 and appendix E.
  44. ^ Thoppilan et al. 2022, section 5 and 6.
  45. ^ Hager, Ryne (2022年6月16日). “”. Android Police. 2022年6月16日時点のオリジナルよりアーカイブ。2022年6月19日閲覧。
  46. ^ Thoppilan et al. 2022, section 6.2.
  47. ^ Thoppilan et al. 2022, section 3 and appendix D.

外部リンク

  • LaMDA プレスリリース (Google)
  • Google と AI : 私たちの基本理念
ウィキペディア、ウィキ、本、library、論文、読んだ、ダウンロード、自由、無料ダウンロード、mp3、video、mp4、3gp、 jpg、jpeg、gif、png、画像、音楽、歌、映画、本、ゲーム、ゲーム。