Red Hat SummitLLM と SLM
大規模言語モデル (LLM) と小規模言語モデル (SLM) はいずれも、人間の言語 (プログラミング言語を含む) を解釈するようにトレーニングされた人工知能 (AI) システムの一種です。通常、両者の主な違いは、トレーニングに使用されるデータセットのサイズ、それらのデータセットでのトレーニングに使用されるプロセス、ユースケースを開始する際のコストとメリットです。
その呼称が示すように、LLM と SLM はどちらも言語で構成されるデータセットでトレーニングされるものであり、画像 (例：DALL·E) や動画 (例：Sora) でトレーニングされるモデルとは区別されます。言語ベースのデータセットの例としては、Web ページのテキスト、開発者コード、E メール、マニュアルなどがあります。
SLM と LLM のアプリケーションとして最もよく知られるものの 1 つが生成 AI です。これは、さまざまな予測不可能なクエリに対して、スクリプト化されていないコンテンツ応答を生成できます (そのため、この名前が付けられています)。特に LLM は、GPT-4 基盤モデルと、ChatGPT (膨大なデータセットでトレーニングされ、数兆個に及ぶパラメーターを使用して幅広い人間のクエリに応答する会話型チャットボット) のおかげで、一般の人々の間でよく知られるようになりました。生成 AI は人気がありますが、予測 AI のような生成型ではない LLM と SLM の応用分野もあります。
LLM と SLM は通常、異なるデータセットでトレーニングされる
LLM と SLM の相違点の 1 つを示す優れた例が、GPT-4/ChatGPT が対象とする範囲、すなわち、トレーニングに使用されるデータセットです。
LLM は通常、非常に幅広いレベルで人間の知能をエミュレートすることを目的としており、そのため、広範囲にわたる大規模なデータセットでトレーニングされます。GPT-4/ChatGPT の場合、これには特定の日付までのパブリックインターネット全体が含まれます。こうして ChatGPT は、一般ユーザーからの幅広いクエリを解釈して応答することで有名になりました。しかしこれは、通称「ハルシネーション」(ある業界に特有のクエリやニッチなクエリに正確に応答するためのファインチューニングやドメイン固有のトレーニングが不足しているために起こる) と呼ばれる、誤った応答をする可能性があることで時折注目される理由でもあります。
一方、SLM は通常、特定の業界ドメイン (専門分野) に合わせて調整された小規模なデータセットでトレーニングされます。たとえば、医療提供者は、医療データセットでトレーニングされた SLM 搭載のチャットボットを使用して、ユーザーの健康に関する専門的ではないクエリにドメイン固有の知識を注入し、質問と応答の質を高めることができます。この場合、SLM を搭載したチャットボットをインターネット全体のデータを基にトレーニングする必要はありません。ネット上のブログ記事や架空の小説、詩などは医療のユースケースとは無関係だからです。
つまり、SLM は通常、特定の領域では優れていますが、一般的な知識や全体的な文脈の理解においては LLM に比べて劣ります。
Red Hat のリソース
SLM と LLM のトレーニングプロセスは異なる
SLM と LLM の違いを示す要素は、データセットのサイズと範囲だけではありません。重要なのは、LLM と同じデータセットでトレーニングされたモデルでも、SLM と見なされる場合があるという点です。これは、データの量だけでなく、トレーニングパラメーターと全体的なプロセスも各モデルの定義に含まれるからです。つまり、モデルのトレーニングに使用されるデータの量だけではなく、モデルがそのデータから何を学習するように設計されているのかが重要です。
パラメーター
機械学習におけるパラメーターは、モデルがどのような予測を行うかを決定する内部変数です。つまり、モデルはパラメーターによって、データセットの生データをどのように処理するかを決定します。トレーニング中、AI モデルは予測を改善するためにパラメーターを継続的に調整します。これは、ラジオのダイヤルを回して聴きたいチャンネルを探すようなものです。この非常に複雑なプロセスには、パラメーターの総数以外にも、パラメーターがモデルにどのように階層化されるか、パラメーターが相互にどのように重み付けされるか、(単純な記憶と比較して) パターン認識に対してどのように最適化されるかなどの要素があります。
パラメーターがいくつあれば SLM である、または LLM である、といった明確な業界定義はありません。むしろ、最も重要なことは、SLM のユースケースは特定の知識領域に重点を置いているため、通常、LLM よりもパラメーターがはるかに少ないということです。LLM である GPT-4/ChatGPT の場合、ほぼすべてのユーザー入力に応答できるように、数兆個のパラメーターでトレーニングされたと言われています。ただし、GPT-4 は LLM の例としては他に類を見ないほど大規模なものであることに注目すべきでしょう。IBM が提供しているオープンソースの Granite モデルのように、パラメーターが 30 億から 350 億の、より小規模な LLM (SLM とまではいかない) の例は多数あります。SLM は想定される用途がはるかに狭いため、通常、パラメーターの数は少なくなります (それでも数十億に及ぶ場合もあります)。
ファインチューニング
ファインチューニングは、SLM と LLM の違いを示すモデルトレーニングのもう 1 つの側面で、事前にトレーニングされたモデルを新しいデータを使用して調整し、更新するプロセスです。通常、ファインチューニングの目的は、事前にトレーニングされたモデルを特定のユースケースに合わせてカスタマイズすることです。新しいデータセットを導入して、既存のパラメーターが新しいコンテキストでも許容できる結果を生成できるかどうかをテストします。一般に、モデルに含まれるパラメーターが多いほど、ファインチューニングは難しくなり、時間がかかり、リソースの消費量も多くなります。つまり、LLM では SLM よりも多くの作業が必要になります。
パラメーターとファインチューニング以外に、トレーニングプロセスの種類や複雑さも SLM と LLM では通常異なります。「自己注意メカニズム」や「エンコーダー/デコーダー・モデルスキーム」などのさまざまなモデルトレーニングを理解するには、データサイエンスの高度な専門知識が必要です。SLM と LLM のトレーニングの基本的な違いは、SLM では通常、LLM トレーニングよりもリソース効率が高く、特定のユースケースに重点を置いたアプローチが好まれることです。
バイアス
どの AI モデルでもある程度のファインチューニングが行われますが、LLM の対象範囲は広く、考えられるあらゆる推論に合わせて調整することは不可能です。また、LLM は通常、インターネットなどのオープンにアクセスできるデータセットに基づいてトレーニングされますが、SLM は多くの場合、ある業界や企業に固有のデータセットでトレーニングされます。これにより、特定のグループやアイデアの過小評価や誤った表現、あるいは事実の不正確さなどのバイアスが生じる可能性があります。LLM と SLM は言語モデルなので、方言、地理的位置、文法に関連する言語バイアスも継承する可能性があります。
つまり、どの言語モデルもバイアスを継承する可能性がありますが、特に LLM では、その範囲を考慮すると、バイアスが発生する可能性がより高くなります。小規模なデータセットでトレーニングされる SLM では、必然的に生じるバイアスをより簡単に軽減することができます。
LLM と SLM には異なるリソースが必要
LLM でも SLM でも、ビジネスユースケース向けのモデルをトレーニングする場合は、リソースを大量に消費します。しかし、LLM のトレーニングには特に多くのリソースが必要です。GPT-4 の場合、合計 25,000 個の NVIDIA A100 GPU が同時に 90 - 100 日間連続して実行されました。繰り返しになりますが、GPT-4 は最大級の LLM です。Granite などの他の LLM は、それほど多くのリソースを必要としませんでした。SLM のトレーニングにもかなりのコンピューティング・リソースが必要になる可能性がありますが、LLM に必要なリソースよりはるかに少なくなります。
トレーニングと推論のリソース要件
モデルのトレーニングとモデルの推論の違いに注意することも重要です。前述したように、トレーニングは AI モデル開発の最初のステップです。推論は、トレーニングされた AI モデルが新しいデータに基づいて予測を行うために従うプロセスです。たとえば、ユーザーが ChatGPT に質問すると、ChatGPT が呼び出されてユーザーに予測が返されます。その予測を生成するプロセスが推論です。
Granite モデルファミリーなど、一部の事前トレーニング済み LLM は、1 つのハイパワー・ワークステーションのリソースを使って推論を行うことができます (たとえば、Granite モデルは 1 つの V100-32GB GPU2 に適合)。ただし、多くの場合、データを生成するために複数の並列処理ユニットが必要になります。さらに、LLM に同時にアクセスするユーザーの数が増えるほど、モデルによる推論の実行速度は遅くなります。一方、SLM は通常、スマートフォンなどのモバイルデバイスのリソースを使って推論を行うように設計されています。
LLM または SLM を使い始める場合のコストとメリット
「どのモデルが優れているのか？」という質問に対する答えはありません。それは組織の計画、リソース、専門知識、スケジュール、その他の要因によって異なります。また、ユースケースに応じて、モデルをゼロからトレーニングすべきなのか、事前トレーニング済みのモデルをファインチューニングすべきなのかを判断することも重要です。LLM か SLM か、どちらを選択するかを決めるにあたって考慮すべき事柄には次のようなものがあります。
コスト
一般に、LLM では、トレーニング、ファインチューニング、推論の実行にはるかに多くのリソースが必要になります。重要なのは、トレーニングへの投資はそれほど頻繁に行われるものではないということです。コンピューティング・リソースが必要なのはモデルのトレーニング中だけです。これは断続的に行うタスクであり、継続的に実施するものではありません。しかし、推論の実行には継続的にコストがかかります。モデルがより多くのユーザーに使われるようになるにつれて、ニーズも増す可能性があります。ほとんどの場合、大規模なクラウド・コンピューティング・リソース、オンプレミスリソースへの多額の投資、あるいはその両方が必要になります。
SLM は、エッジコンピューティングなど、低レイテンシーのユースケースでの使用が頻繁に検討されます。これは、より重要なリソースへの継続的かつ強力な接続を必要とせず、1 つのモバイルデバイスで利用できるリソースだけで実行できることが多いからです。
専門知識
Granite、Llama、GPT-4 など、多くの一般的な事前トレーニング済み LLM は、AI を使い始めるための、より「プラグアンドプレイ」な選択肢を提供します。データサイエンティストがゼロから設計したりトレーニングしたりする必要がないため、多くの場合、AI の実験を始めようとしている組織に適しています。一方、SLM では通常、ニッチなデータセットに基づいて正確にファインチューニングするために、データサイエンスと業界知識の両方の領域における専門知識が必要です。
セキュリティ
LLM の潜在的なリスクの 1 つは、アプリケーション・プログラミング・インタフェース (API) を介した機密データの漏洩です。具体的には、組織のデータに基づいて LLM をファインチューニングする場合、コンプライアンスと企業ポリシーに細心の注意を払う必要があります。SLM はより高度に制御できるため、データ漏洩のリスクは低くなるでしょう。
Red Hat のサポート内容
Red Hat AI では、生成 AI と予測 AI の機能に加えて、MLOps サポートを利用できます。これにより、複数のハイブリッドクラウド環境にわたって、柔軟で信頼できる AI ソリューションを大規模に構築できます。AI 導入を加速し、AI ソリューションを提供する上での複雑さを取り除き、データがどこに存在しても開発しデプロイできる柔軟性をもたらします。
Red Hat AI を Red Hat のオープン・ハイブリッドクラウド・インフラストラクチャと組み合わせると、エンタープライズ向けにカスタマイズされた AI ソリューションの構築、モデルとアプリケーションのライフサイクル管理、ハードウェア・アクセラレーションの要件への適応が可能になります。また、単一のプラットフォームで重要なワークロードと並行してデプロイ、実行、運用できるようになります。
初心者向けの機械学習と AI
ML および AI モデルを初めて使う場合は InstructLab を試してみてください。これは、LLM のトレーニングのためのコミュニティ主導によるソリューションです。無料で実験し、AI モデルの開発に直接貢献できます。
IBM の Granite モデルファミリーに簡単にアクセス
次のステップに進む準備ができたら、Red Hat® Enterprise Linux® AI の出番です。これは、エンタープライズ・アプリケーション向けの Granite ファミリー LLM を開発、テスト、実行できる基盤モデル・プラットフォームです。Granite は、Red Hat が完全にサポートし補償する、オープンソースライセンスの AI モデルファミリーです。オープンソースのアプローチにより、信頼性とセキュリティを維持しながら、生成 AI のイノベーションを促進します。
エンタープライズ対応のスケール
Red Hat® OpenShift® AI は、ハイブリッドクラウド環境全体でモデルを大規模にサポートできるプラットフォームです。独自のユースケースに合わせて独自のデータを使用した AI モデルのトレーニング、プロンプトチューニング、ファインチューニング、提供が可能です。
これらの製品を組み合わせることで、データサイエンティストと開発者が連携できる統合ソリューションが提供され、モデルを実験からプロダクションへと迅速に移行できるようになります。
パートナーとともに成長する
また、Red Hat の統合パートナーにより、オープンソース・プラットフォームと連携するよう構築された、信頼できる AI ツールのエコシステムの成長への扉が開かれます。
Red Hat 公式ブログ
Red Hat のお客様、パートナー、およびコミュニティのエコシステムに関する最新の情報を入手しましょう。
