LLMとは

LLM（大規模言語モデル）とは、大量のデータ学習と高度なディープラーニング（深層学習）技術によって構築された言語モデルです。言語モデルとは、テキストデータを学習し、次に来る単語の出現確率をモデル化する技術を指します。これに対し、LLMは、従来の言語モデルよりも計算量やデータ量、パラメータ数を大幅に増加させることで、高精度な言語理解を実現し、人間に近い流暢な会話が可能です。

しかし、LLMには、虚偽や誤解を招く情報を生成してしまう「ハルシネーション」や、悪意のあるプロンプトを入力して不適切な行為や回答させる「プロンプトインジェクション」といった問題も存在します。

最近では、LLMの開発コストの高さや学習時間の長さから、モデルの規模を抑えたSLM（小規模言語モデル）も台頭してきています。LLMが汎用的な処理を得意とする一方で、SLMは医療や金融など特定の分野に特化しています。

（参考）LLMとSLMの比較

LLMは、以下のステップにより文脈を考慮した自然な文章を生成することができます。

1. トークン化

入力文をトークンと呼ばれる最小単位に分割します。トークンは単語や句読点、記号などで構成され、コンピュータが理解しやすい形に処理されます。

2. 文脈理解

各トークン間の関連性を計算し、文全体の文脈を把握します。これにより、LLMは単なる単語の並びだけでなく、より深い文脈を理解することが可能です。

3. エンコード

ニューラルネットワークを用いて、入力データの特徴を抽出し、トークンが持つ意味や関連性を学習します。

4. デコード

次のトークンを予測し、最も確率の高い単語を選択します。このプロセスにより、LLMは自然なフレーズを生成することが可能です。

2017年にGoogleの研究者が発表した「Transformer」をベースに、現在数多くのLLMが開発されています。ここでは、代表的なLLMをご紹介します。

BERT

BERT（Bidirectional Encoder Representations from Transformer）とは、2018年にGoogleが発表した自然言語処理モデルです。文章を文頭と文末の双方向から学習させることで、より精密に文脈を読むことができるようになりました。

LaMDA

LaMDA（Language Models for Dialogue Applications）は、2021年にGoogleが発表した会話特化の大規模言語モデルです。他の言語モデルとは異なり、対話を通して学習を重ね、構築したモデルであり、幅広いテーマに自然な会話で対応できます。

GPTシリーズ

他のLLMと比較して、文脈の理解や文章生成に優れているのが大きな特徴です。また、テキストや画像、音声など多様なメディアを入出力・処理する能力をもつマルチモーダルモデルです。

LLMは、文章の作成・要約・校正や翻訳、検索エンジン、カスタマーサポート（チャットボット）プログラムなど、自然言語を用いるさまざまなタスクに活用されています。また、音声や画像など多様なメディアを処理できるマルチモーダルモデルも台頭してきており、文章以外にも画像・動画の生成など、さらなる活用が期待されています。