- ビジネスに関する時事情報
- デジタル化・IT化によるビジネスの自動化・効率化
- ホームページ作成
- ビジネス効率化に有効な情報機器の紹介
- デジタルマーケティング
- ロボット・IoT・AI (人工知能)・その他
【運営元】株式会社ダークマター
【その他】プライバシーポリシー
近年、大規模な言語モデル（LLM）の開発が進み、さまざまな分野で活用されるようになりました。経済研究においても、LLMはデータの収集・処理・分析を自動化することで、研究者の負担を軽減し、新しい発見を可能にする可能性を秘めています。
Anton Korinek氏の論文「Language Models and Cognitive Automation for Economic Research」では、LLMが経済研究にどのように貢献できるかを検討しています。論文では、LLMがさまざまなタスクを自動化できることを示しています。
注意：グラフや注釈のようなものは省いてあります。また翻訳についても完全でない部分があり得ます。詳細については原論文を参照してください。
今回は全11回中の1回目です。
第3回 3 Applications：応用
第4回 3.1 Ideation：アイデア出し
第5回 3.2 Writing：執筆
第6回 3.3 Background Research：背景調査
第7回 3.4 Coding：コーディング
第8回 3.5 Data Analysis：データ分析
第9回 3.6 Mathematical Derivations：数学的導出
第10回 3.7 Summary：まとめ
第11回 4 Outlook and Concluding Thoughts：展望と考察
Recent advances in large language models (LLMs) have the potential to revolutionize research in economics and other scientic disciplines. LLMs have just crossed the threshold to become useful across a wide range of cognitive tasks as was illustrated by the viral reception of ChatGPT, a version of OpenAI’s GPT3.5 model that was released on November 28th, 2022, gained more than 100m users in its first two months, and is now estimated to produce a volume of text every 14 days that is equivalent to all the printed works of humanity (Thompson, 2023). Google and Microsoft are about to give users of their search engines and office suites access to powerful LLMs.
▽
近頃の大規模自然言語モデル（LLM）の進歩には、経済学やその他の科学分野の研究に革命を起こす力が示唆されています。2022年11月28 日にOpenAI から公開されたGPT3.5をベースにした最初のChatGPTが大きな反響を引き起こしたことからわかるように、LLMは広範囲にわたる認知タスクにおいて活躍する関門をちょうど超えはじめているところです。 ChatGPTは最初の２ヶ月で1億の利用者を獲得し、そして現在は14日ごとに、人類のすべての印刷物に相当する量のテキストが生成されると推定されています(Thompson、2023)。Google社とMicrosoft社は、自社が提供する検索エンジンやオフィスソフトの利用者に対して、強力なLLMへのアクセスを付与しようとしています。
The objective of this article is twofold. First, it describes 25 use cases of modern LLMs to interested economic researchers, based on my own recent exploration of the space. I have categorized the use cases that I experimented with into six domains: ideation, writing, background research, data analysis, coding, and mathematical derivations. I provide general instructions for how to take advantage of each of these capabilites and demonstrate them using specific examples.
▽
本記事には2つのねらいがあります。1つ目に、経済学の研究者に向けて、LLMのユースケースを25個提示します。これらは、私自身がこの分野を最近探索した結果に基づいています。私が試行錯誤したユースケースを、アイデア出し、執筆、背景調査、データ分析、コーディング、数学的導出の 6 つの領域に分類しています。それぞれの応用の一般的な手順を示し、さらに具体的な使用例もお見せします。
Moreover, I attempt to classify each LLM capability from experimental to highly useful. (A summary is provided in Table 1 on page 29.) My hope is that this description will enable other researchers to take advantage of the rapidly growing capabilities of LLMs. At present, I view LLMs to be most useful as assistants that can automate small micro tasks that researchers engage in numerous times during the day but that are too small to be assigned to human research assistants. LLMs are useful for such tasks because of their high speed and the low transaction cost.
▽
LLMの各機能を、実験的なものから非常に有用なものまで評価すしようとしています（概要は 29 ページの表 1参照 ）。この情報によって研究者たちが目まぐるしく成長するLLMをより活用しやすくなることを望んでいます。私の観点からすると、現時点でLLMは、研究助手に割り当てるには小さすぎるような、研究者が1日の中で繰り返し行うタスクを自動化するのに使いやすいです。高い速度と低いトランザクションコストを特徴としてもつLLMならではの得意分野でしょう。
Moreover, LLMs are also useful as tutors in coding and data analysis tasks as well as in ideation and writing. I posit that researchers can significantly increase their productivity by incorporating LLMs into their workflow.
▽
さらに、LLM は、コーディングやデータ分析、他にアイデア出しや執筆の家庭教師の役も果たすことができます。研究者は LLM をワークフローに組み込むことで、生産性を大幅に向上できると私は考えています。
Second, studying the current capabilities of LLMs is useful because it foreshadows what future generations of LLMs will be able to do. In recent years, the amount of compute (computational power) employed in training cutting-edge LLMs has doubled on average every six months, delivering rapid increases in capabilities. There is widespread anticipation that these advances will continue in the near future, and that systems even more powerful than the ones discussed in this article will be released soon.
▽
２つ目のねらいですが、LLMの現在の能力を探索することは、次世代の LLM の可能性を予測することにつながります。近年、最先端の LLM のトレーニングに使用されるコンピューティング能力は6か月ごとに平均 2 倍に伸びており、これがLLMの能力に急速な成長をもたらしています。このような進歩がここ数年続いていくことが期待されています。そして本記事で描写しているシステムよりさらに強力なも のがもうすぐリリースされるのに違いないです。
It is useful for researchers to familiarize themselves even with experimental capabilities because LLMs are advancing so rapidly. In the longer term, I hypothesize that LLMs may usher in an era of cognitive automation that may have profound implications for scientific progress in economics and other disciplines. Additionally, such cognitive automation may also have stark effects on the value of cognitive labor.
▽
LLMはこんなに急速に進化しているため、研究者たちにとって、LLMはどういうことができるのかを実際に触れて体感することが有用です。長期的にLLMは、認知タスクの完全な自動化の時代をもたらし、経済学やその他の分野における科学の進歩に重大な影響を与えることを予想します。さらに認知タスクに関わる労働市場にも顕著な影響を及ぼす可能性もあるでしょう。
The reactions to the release of the latest generation of LLMs, such as ChatGPT, have been sharply divided: One camp of commentators label LLMs as nothing but “stochastic parrots” (Bender et al., 2021) or “advanced autocomplete”. Another camp equates ChatGPT with the advent of artificial general intelligence (AGI), i.e., artificial intelligence that prossesses human-level intelligence across all domains. One of the reasons for such divergent views is that the capabilities or “intelligence” of LLMs are so different from human intelligence, making it hard for humans to relate and to compare. I therefore want to express two warnings before I proceed:
▽
ChatGPTをはじめとする、最新の LLM への反応は２つのグループに大きく分かれています。一部の有識者たちは、LLM を「確率論的にしゃべるオウム」(Bender et al., 2021) または「高度な自動完成システム」に過ぎないと言っています。別の有識者たちは、ChatGPT を汎用人工知能 (AGI)、つまり、あらゆる分野において人間と同程度の知能を有する人工知能と等価であると主張します。なぜ2つのグループでこんなに違うかというと、LLMが持つ「知能」は人間の知能と性質が根本的に異なり、人間のように「理解」や「感じる」ことができないからです。
ここで2つの注意点を述べたいと思います。
▽
▽
Ultimately, I believe that the most useful attitude towards the current generation of LLMs is to heed the lessons of comparative advantage that Ricardo taught us two centuries ago: LLMs increasingly have comparative advantage in generating content; humans currently have comparative advantage in evaluating and discriminating content. LLMs also have super-human capabilities in processing large amounts of text. All this creates ample space for productive collaboration, as we will explore throughout the remainder of the paper.
▽
最終的に、現代のLLMに対する最も適切な考え方は、リカルドが2世紀前に私たちに教えてくれた教訓にヒントが潜んでいると私は思っています。LLMは人間よりも文章を生成する行為に関して有利であることが明らかです。これに対して、人間はコンテンツの比較と評価の部分でLLMに勝ります。LLMは人間よりも大量な文章の処理が得意です。これらのことにより、人間とLLMの協業の意義が大きいことが示されています。この記事を通じてこれに関する詳細を述べていきます。
Section 2 observes that LLMs are a category of foundation models, which represent a new paradigm in artificial intelligence. Foundation models are vast deep learning models that are pre-trained on large amounts of data to create a foundation that can then be adapted for different applications. LLMs are capable of learning the structure of their training data and forming higher-level abstract representations of concepts. LLMs have been improving according to predictable scaling laws as a function of the amount of computation, parameter count, and size of training data employed. This has led to a rapid rise in the capabilities of LLMs, many of which are emergent, i.e., they are not present in smaller models but suddenly emerge once a certain threshold is crossed. Modern LLMs are, in some ways, starting to blur the difference between the cognitive capabilities of humans and AI systems. In Section 3, I lay out six different areas in which LLMs can be useful. In the process of ideation, LLMs can help to brainstorm, evaluate ideas, and provide counterarguments.
▽
本記事の第２章では、LLM が自然言語も基盤モデルの新しいタイプであり、人工知能の新しいフェーズをもたらすことについて解説します。基盤モデルは膨大な量のデータで「事前学習」がされている、サイズの非常に大きいモデルです。これらの汎用的な学習済みモデルはファインチューニングを経て、さまざまなタスクに応用できます。 LLMは訓練データに隠されている構造とパターンを習得し、さらに概念の抽象的な表現をする能力を獲得しています。スケール則によると、LLMの能力はパラメータのサイズ、必要とするデータの量が増えるにつれてますます上昇し、表現力の高いモデルになっていきます。これがまさに小さいモデルにはなかった、LLMの能力の急成長をもたらしています。ある意味で現在の大規模言語モデルは人間の知能と人工知能の境目を跨ろうとしています。第３章では、6つの領域においてLLMが役に立つ例を出します。例えば、ブレスト、アイデアの評価、反論の提供に使用することができます。
In writing, they can synthesize text, provide examples, edit and evaluate text, and generate catchy tweets or titles for a paper. In background research, they can be useful for searching and summarizing the literature, translating text, explaining concepts, and formatting references. LLMs are also very capable in coding, writing code based on instructions in natural language, explaining code, translating code between programming languages, and even debugging code. For data analysis, LLMs can extract data from text, reformat data, classify text, extract sentiment, and even simulate humans to generate data. Finally, LLMs are starting to display emergent capabilities in math ematical derivations, starting from setting up models and working through derivations to explaining models. At the end of the section, Table 1 provides a systematic overview of all the described use cases and my rating of their usefulness as of Feb 1, 2023.
▽
テキストの他に、例を考案し、人間がかいたテキストの編集や評価、SNSのツイートや論文のタイトルなどを生成できます。調査に使用する場合、文献の検索と要約、テキストの翻訳、概念の説明、参考文献の体型的な整備で有用です。LLMはコーディングも得意であり、自然言語による指示を受けてプログラミングコードを書いて、コードを説明し、異なるプログラミング言語間でのコードを変換し、コード のデバッグにおいて優れた能力を示しています。データ分析に使用する場合、テキストからデータの抽出、データ整形、テキスト分類、感情分析、モックデータの生成などをLLMが行うことができます。さらに最近、LLM は、数学的な導出や数学敵モデリングやその説明ができるようになってきました。本章の最後に、表１は先述の各応用について系統的な概要および私による、2023年2月1 日時点での「有用性」の評価を示しています。
In the final section, I speculate on the medium- and long-run implications of advances in LLMs for cognitive labor. I hypothesize that in the medium term, LLM-based assistants will become increasingly useful for generating more and more of the content that makes up research papers, while human researchers will focus on their comparative advantage, i.e., organizing research projects, prompting, and evaluating generated content. In the long term, AI systems may be able to produce and articulate superior economic models by themselves.
▽
最終章では、LLMの技術進化による認知タスクの労働市場へのインパクトについて考察します。中期的には、LLMを用いたアシスタントは、研究論文を構成する多くのコンテンツの作成にますます使いやすくなると思います。その場合、研究者は自分たちが得意とするタスク（研究プロジェクトの推進、プロンプトエンジニアリング、生成されたコンテンツの評価など）に集中することができます。長いスパンでは、AIのシステムは高度な経済モデルを自ら生成することができるかもしれません。
原論文
Language Models and Cognitive Automation for Economic Research
LLMについては以前のブログ記事を参考にしてください。
LLMとは？未来のAI技術を理解する
👇このページのQRコード
【運営元】株式会社ダークマター
【その他】プライバシーポリシー