- ビジネスに関する時事情報
- デジタル化・IT化によるビジネスの自動化・効率化
- ホームページ作成
- ビジネス効率化に有効な情報機器の紹介
- デジタルマーケティング
- ロボット・IoT・AI (人工知能)・その他
【運営元】株式会社ダークマター
【その他】プライバシーポリシー
今回は全11回中の6回目です。
第1回 1 Introduction：はじめに
第2回 2 What Are LLMs?：LLMとは何か？
第3回 3 Applications：応用
第4回 3.1 Ideation：アイデア出し
第5回 3.2 Writing：執筆
第8回 3.5 Data Analysis：データ分析
第9回 3.6 Mathematical Derivations：数学的導出
第10回 3.7 Summary：まとめ
第11回 4 Outlook and Concluding Thoughts：展望と考察
There are a variety of tasks that researchers perform in order to conduct background research and learn about both existing and new work in their reserach area. These include summarizing text, searching relevant literature, seeking to understand new concepts, and translating text from other languages.
▽
研究者が自身の専門分野における既存の研究や新しい研究について情報収集を行うために、テキストの要約や翻訳、関連文献の検索、新しい概念の理解など、さまざまな調査タスクを行います。
First, LLMs are very capable at summarizing. They are usually adept at extracting the most relevant content from a passage of text, as illustrated here:
Please summarize the following text in one sentence:
Large language models (LLMs) have the potential to revolutionize economic research. This paper describes six domains in which LLMs are starting to become useful: ideation, background research, writing, data analysis, coding, and mathematical derivations. I provide general instructions and demonstrate specific use cases for how to take advantage of each of these and classify the LLM capabilities that are displayed on a range from “experimental” to “highly useful.” I hypothesize that ongoing advances will improve the performance of LLMs across all of these domains, and that economic researchers who take advantage of LLMs to automate micro tasks will become significantly more productive. Finally, I speculate on the longer-term implications of cognitive automation via LLMs for economic research.
This paper discusses the potential of large language models to revolutionize economic research by providing general instructions and demonstrating specific use cases for how to take advantage of six domains in which LLMs are becoming useful.
The summary sentence it provided covers all the important bases. Summaries of longer texts are limited by the transformer technology on which the systems are based. As already mentioned, for GPT3.5, the amount of text that can be processed is limited to 4000 tokens or about 3000 words.
▽
大前提としてLLMは、要約のタスクが大いに得意です。以下の例に示すように、一連の文章から最も関連するコンテンツを上手に抽出してくれます。
次の文章を一文で要約してください。
大規模言語モデル(LLM)は、経済学の研究に革命をもたらす可能性があります。この論文では、LLMが有用性を見せ始めている6つの領域、アイデア出し、背景調査、執筆、データ分析、コーディング、および数学的導出について説明します。それぞれのユースケースについて、「実験的」から「非常に有用」にわたるLLM機能を、一般的な手順と具体的な使用例を示します。今後も継続するのであろう技術の進歩により、これらすべての領域にわたってLLMの性能が向上し、LLMを利用して細かいタスクを自動化することによって、経済学の研究者の生産性が大幅に向上すると仮説を立てています。最後に、LLMによる認知タスクの自動化が、経済学の研究に及ぼす長期的な影響も推測しています。
この論文では、6つの領域で、LLMの有用性を活用するための一般的な手順と具体的な応用例を提示することによって、LLMが経済学の研究に革命をもたらす可能性について議論をします。
この概要の一文は全ての重要なポイントをカバーしています。さらに長い文章の要約は、モデルのコアとなるトランスフォーマの技術の限界により限界が見えることもあります。先述の通り、GPT3.5では一度の処理できるテキストのボリュームの上限はおおよそ4000トークン、あるいは単語数で言うと3000です。
LLMs are of limited usefulness for searching the literature. When asked for citations, there is a risk that they may hallucinate and make up authoritative-sounding papers that do not actually exist. They are frequently able to provide standard references that are frequently cited in the literature, but even so, all references they provide should always be double-checked. On the other hand, a tool that I found useful when exploring new areas of literature that I am not familiar with - and that only reports paper that exist - is available at https://elicit.org:
▽
LLMは文献の検索を行う能力には一定の限界があります。引用を求められると、幻覚を起こし、威厳があるように聞こえるが全く存在しないような論文をでっち上げる可能性があります。確かに頻繁に引用されるような参考文献を挙げることも可能ですが、それでも提供されている引用先を常に人間によるダブルチェックが必須です。
他方で、文献を探すときに以下のような有用なツールを見つけました。まだ慣れていませんが、実際に存在する論文のみ回答するようです。 https://elicit.org
Once references are found and it is verified that they are not hallucinated, LLMs are very capable of formatting them in the desired manner:
Please convert the following reference to bibtex format:
Anton Korinek (2023), Large Language Models and Cognitive Automation for Economic Research, NBER Working Paper 30957, February 2023.
@techreport{Korinek2023, title={Large Language Models and Cognitive Automation for Economic Research}, author={Anton Korinek}, year={2023}, institution={National Bureau of Economic Research}, number={30957}, month={February}, }
Now format it in APA style:
Korinek, A. (2023). Large language models and cognitive automation for economic research. National Bureau of Economic Research Working Paper, 30957.
I have omitted it for space reasons, but it goes without saying that the system can convert a whole bibliography in batch format, for example from APA to Chicago format or into bibtex format (subject to the limit of about 3000 words per request). In the example above, notice that the LLM even knew what the abbreviation “NBER” stands for. For highly-cited works that the LLM has frequently encountered in its training dataset, a prompt like “bibtex reference for stiglitz weiss” also works well and saves the user from having to copy or type the detailed citation information of the work in question. However, to be sure, I would double-check the information for all but the most highly cited papers - the system blatantly made up articles and citation information when I asked it to generate bibtex references for works with lower citation counts.
▽
LLMは形式の変換が得意です。参考文献が見つかり、そしてそれらが幻覚の結果として捏造されたものではないことが確認されると、LLMには希望する形式で文献リストを整形してくれます。
次の参考文献を bibtex フォーマットに変換してください。
Anton Korinek (2023), Large Language Models and Cognitive Automation for Economic Research, NBER Working Paper 30957, February 2023.
@techreport{Korinek2023, title={Large Language Models and Cognitive Automation for Economic Research}, author={Anton Korinek}, year={2023}, institution={National Bureau of Economic Research}, number={30957}, month={February}, }
次に、 APA スタイルに変換してください。
Korinek, A. (2023). Large language models and cognitive automation for economic research. National Bureau of Economic Research Working Paper, 30957.
いうまでもなく、AIシステムは参考文献の全てをバッチフォーマットに変換することができます。例えば、APA形式からChicago形式への変換、あるいはbibtexフォーマットへの変換（ただし、リクエスト当たりおおよそ3000単語数の制限あり）も可能です。
上記の例では、LLMが“NBER”という略記が何を意味するのかさえわかっていたということに注目してください。訓練データに登場していた、頻繁に引用される論文の場合、「stiglitz weissのbibtex参照」のようなプロンプトでも正しく機能し、ユーザーが当該論文の詳細な引用情報をコピーしたり入力したりする手間が省けます。しかし、いかなる場合でも私は必ず、最も頻繁に引用される論文を除いて、回答された情報をダブルチェックします。
Jiao et al. (2023) demonstrate that LLMs such as ChatGPT perform competitively with commercial translation products on high-resource European languages. The following example using GPT3.5 originates from a demonstration I gave at the Bank of Finland in January 2023. According to my human hosts, the translation was impressive.
Please translate the following abstract into Finnish:
Large language models (LLMs) have the potential to revolutionize economic research. This paper describes six domains in which LLMs are starting to become useful: ideation, background research, writing, data analysis, coding, and mathematical derivations. I provide general instructions and demonstrate specific use cases for how to take advantage of each of these and classify the LLM capabilities that are displayed on a range from “experimental” to “highly useful.” I hypothesize that ongoing advances will improve the performance of LLMs across all of these domains, and that economic researchers who take advantage of LLMs to automate micro tasks will become significantly more productive. Finally, I speculate on the longer-term implications of cognitive automation via LLMs for economic research.
Suuret kielimallit (LLM:t) voivat mullistaa taloustieteellisen tutkimuksen. Tässä artikkelissa kuvataan kuusi aluetta, joissa LLM:t alkavat olla hyödyllisiä: ideointi, taustatutkimus, kirjoittaminen, datan analysointi, koodaus ja matemaattisten johtopäätösten tekeminen. Tarjoan yleisiä ohjeita ja osoitan erityisiä tapauksia, joilla hyödyntää näitä ja luokittelen LLM:n kyvyt asteikolla “kokeellinen” - “erittäin hyödyllinen”. Hypoteesinani on, että jatkuva kehitys parantaa LLM:n suorituskykyä kaikilla näillä alueilla, ja että taloustieteelliset tutkijat, jotka hyödyntävät LLM:ää mikrotöiden automatisoimiseen, tulevat merkittävästi tuottavammiksi. Lopuksi spekuloin LLM:n kognitiivisen automatisoinnin pitkän aikavälin vaikutuksista taloustieteelliseen tutkimukseen.
Performance on lower-resource languages for which less digitized text and fewer digi tized translations are available is worse.
▽
Jiao et al.(2023)は、ChatGPTのようなLLMは、よく使われる欧州の言語について、市販の機械翻訳ツールと比べた時に、精度の競争力が高いことを示しています。次の例では、GPT3.5ベースのモデルを用いた、フィンランド銀行で私が行ったデモストレーションから抽出したものです。人間の開催者の方々の意見によると、翻訳の質が素晴らしかったようです。
次の該当をフィンランド語に翻訳してください。
※英語からフィンランド語への翻訳。原文を参照。
使用頻度が比較的低い言語の場合は、訓練データの量が少ないので、翻訳の精度はやや劣ります。
LLMs can act as a tutor and explain many common economic concepts very clearly - at a level that is quite useful for students who are trying to learn new, and even for more advanced researchers who are branching out beyond their main area of expertise.
Why are instrumental variables useful?
Instrumental variables are useful because they can help to identify causal relationships between variables. They are used when there is a correlation between the independent and dependent variables, but it is not clear which variable is causing the other. Instrumental variables can help to identify the causal relationship by introducing a third variable that is correlated with the independent variable, but not with the dependent variable. This allows researchers to isolate the effect of the independent variable on the dependent variable.
Other concept questions that the LLM answered superbly included the following, for which I am leaving out the responses for space reasons:
But sometimes the system can go terribly wrong:
What is the second theorem of welfare economics?
The Second Theorem of Welfare Economics states that any competitive equilibrium is Pareto efficient. This means that any competitive market outcome is the most efficient outcome possible, as it cannot be improved upon without making at least one individual worse off.
I thought that was the rst theorem?!
No, the First Theorem of Welfare Economics states that any Pareto efficient outcome can be achieved through some competitive equilibrium.
Ok, can you explain again what is the rst theorem of welfare economics and what is the second theorem?
The First Theorem of Welfare Economics states that any Pareto efficient outcome can be achieved through some competitive equilibrium. This means that any outcome that is beneficial to all parties involved can be achieved through a competitive market. The Second Theorem of Welfare Economics states that any competitive equilibrium is Pareto efficient. This means that any competitive market outcome is the most efficient outcome possible, as it cannot be improved upon without making at least one individual worse off.
The two fundamental theorems of welfare economics are cornerstones of modern eco nomics, but for some reason the LLM confuses the two. This illustrates that - although they give clear and impressive responses in many instances - the responses of LLMs cannot always be trusted, even on what seems like rather basic questions about fun damental concepts.
▽
LLMは家庭教師の役割を果たし、一般的な経済学の概念の多くを非常にわかりやすく説明してくれます。これは、新しいことを学ぼうとしている学生や、自身の専門を超えて活動分野を広げようとしている研究者にとっても非常に役立つ性能です。
操作変数が役立つのは何故でしょうか?
操作変数は、変数間の因果関係を特定するのに役に立ちます。独立変数と従属変数の間に相関関係があるが、どちらの変数が他方の変数の原因となっているのかが明らかでない場合に採用されます。操作変数は、独立変数とは相関するが従属変数とは相関しない3番目の変数を導入することで、因果関係を特定し、これにより、独立変数が従属変数に及ぼす影響を分離することができるようになります。
以下は、LLMが見事に説明をしてくれた他の概念です。本記事のスペースの都合上、得られた回答は省略させていただきます。
しかし、時には、システムがひどい間違いを引き起こすこともあります。
厚生経済学の第２定理とは何ですか?
厚生経済学の第2定理は、あらゆる競争均衡はパレート効率的であると主張しています。これは、そのような競争市場の結果であっても、可能の限り効率的な結果であり、最低1人の個人の状況を悪化させずにはこれ以上改善することはできないということを意味します。
あれ？でもそれが第１定理だと思ったのですが…
いいえ、厚生経済学の第一定理は、パレート効率的な結果は何らかの競争均衡を通じて達成できると述べています。
では、もう一度、厚生経済学の第１定理と厚生経済学の第２定理のそれぞれを説明してくれますか？
厚生経済学の第１定理は、パレート効率的な結果は何らかの競争均衡を通じて達成できると述べています。これは、関係者全員にとって有益な結果は、競争市場を通じて達成できることを意味します。厚生経済学の第2定理は、あらゆる競争均衡はパレート効率的であると述べています。これは、競争市場での結果は、少なくとも1人の個人の状況を悪化させずに改善することはできないため、可能な限り最も効率的な結果であることを意味します。
このように、LLMが2つの定理を混乱させています。これは、LLMが多くの場合に明確で威厳ある回答を提供するにもかかわらず、その回答の信憑性を疑う余地があることを示しています。学問の根本にある概念に関するベーシックな質問でさえ注意が必要です。
原論文
Language Models and Cognitive Automation for Economic Research
LLMについては以前のブログ記事を参考にしてください。
LLMとは？未来のAI技術を理解する
👇このページのQRコード
【運営元】株式会社ダークマター
【その他】プライバシーポリシー