【基本】RAGとAzure AI SearchとAzure OpenAI On Your Data

RAGとは

RAG（Retrieval-Augmented Generation）は、直訳すると、Retrieval＝検索、Augmented＝強化された、Generation＝世代です。一般的には、検索拡張生成などと言われます。

今のモデル（LLM）に外部知識ソースからの情報検索と組み合わせることで回答精度を向上させる技術です。

ChatGPTやGeminiを皆さんが使用しているときに、質問によっては、不正確な情報に基づいた回答が生成されたり、最新の情報を反映していない回答を生成されたりすることがありせんでしょうか。これは、ChatGPT等が学習しているデータがある時期のもので、しかもインターネット上にあるデータに限定されているからこのようなことが起こってしまいます。

そこで、これを防ぐためにRAGを使用します。
RAGを使用することで、外部知識ソースから関連する情報を検索し、その情報をChatGPT等が回答に組み込むことで、回答の精度と信頼性を向上させます。

近年、RAGを用いて自社データから検索した結果をChatGPT等の回答生成の際に利用したりしています。このように、素のChatGPT等を実務上の仕様に耐え得るようにパワーアップすることで、生成AIを会社の業務に利用しようとしています。

Azure AI Searchとは

生成AIを会社の業務に利用しようしている企業の中には、自社データや機密情報、個人情報が漏えいしてしまうセキュリティ上の懸念から、MicrosoftのAzureでChatGPT（Azure OpenAI）を用いるところも多くあります。

そのAzureで提供されているサービスがAzure AI Searchです。なお、数か月まではAzure Cognitive Searchと呼ばれていました。

Azure AI Searchは、従来の検索機能に加えて、RAG向けの主要な情報検索としても用いることができます。以下が、主要な機能です。

Azure AI Searchを使用したRAG

Azure AI Searchを使用したRAGへのアプローチとして、例えば、以下のような使い方をMicrosoftのHPでは示されています。

Azure OpenAI On Your Data

Azure OpenAI On Your Dataは、Azure Blob ストレージ コンテナーに自社のデータなど独自のデータをアップロードし、Azure AI Searchを用いてインデックス作成し、これをもとにAzure OpenAIに返答させる機能です（Azureのリソースのみで簡単に構築できるRAGともいえます）。

まとめ

RAGとAzure AI SearchとAzure OpenAI On Your Dataの基本について今回まとめてみました。

Azure OpenAI On Your Dataは、Azureのリソースのみで簡単に構築できるRAGなので、自分で試しに構築する分には簡単にできます。

ただ、LangChain等＋Azure AI SearchのRAGとAzure OpenAI On Your Dataのどちらの回答精度が高いかは正直わかりません。

Azure AI Searchの技術の進歩にその結果が左右されるのではないかと思っています。

最後に自分でAzure OpenAIを構築したい人向けの本を2冊紹介します。