ディープラーニングを用いた「大規模言語モデル」の変遷

ご存知のように、近年はAIを用いたビジネスが急成長しており、広告業界でも様々なツールが登場している。

例えばサイバーエージェントは、配信中で最も効果が出ている既存広告に対して新広告の効果予測値を競わせ、AIによる効果予測値が既存1位よりも上回った新広告のみを広告主に納品し、広告配信するサービスを手掛けている。博報堂は、発想法や打ち合せのノウハウを再現するためにAI技術を活用し、アイデアやコンセプトのきっかけとなるワードやフレーズを生成するクラウドサービスを展開した（2019年6月～2022年3月）。

10月号で触れた古典的自然言語処理技術に加えて、2017年頃に深層学習（ディープラーニング）を用いた「汎用的な大規模言語モデル」が登場したことで、高品質な文章生成が行えるようになってきた。ここでいう「汎用的」とは、言語モデルを少しいじることで、様々なテキストの生成をしたり、文章の識別（例えば、ツイートを喜怒哀楽に自動分類）などを行ったりすることを指す。「言語モデル」とは、「文中のある単語列が出現する確率を、前の単語に基づいて決定する確率統計モデル」である。

具体的な例を挙げると、「お魚くわえたドラ猫 追っかけて 素足でかけてく 陽気な_____」に当てはまる単語、「サザエさん」を予測するAIのことである。インターネット上の文書を...