Computer Vision

Python, Computer Vision, AI, Transhumanism 関連

RAGを使った検索+LLM

最近Amazon(AWS)がようやくAIに本腰を入れてきていて、Amazon Bedrockを使うと、いくつかのLLMを簡単に試すことができるようになっている。

Command R+というRAG前提のLLMが登場。Xで話題になっていたので、RAGってどんなもんかと試してみた。

 

キーワード検索は便利だが、ターゲットのキーワードが明確にわかってないと情報になかなから辿り着けない。一方でLLMは、独自のデータベースに含まれている情報が不足している。そこで検索に、LLMを追加して提供しようというのがRAGという手法らしい。

わかりやすいのは、社内とか、特定の商品説明に特化しつつ、最新のLLMを活用して、単なるDB検索だけじゃない、柔軟な応対を期待するようなアプリかと思う。

 

今回試したのは、

ChatGPT+Amazon Kendra
AWSのCloud 9を使って構築するサンプル。
要素としては、langchainを使っている。


もうひとつ、別の構成

Amazon Bedrock と「ナレッジベース

 

 

を試した。

LLMとしては、Claude(sonnet)を使って確認した。

どちらもそのまま試しただけなので、細かな手順と説明は省略するが、感想としては、検索機能の拡張という印象だった。

現状、インターネットの検索市場だと、Googleの寡占状態にあり、いずれLLM系のエンジンを前面にもってきた別企業の検索サービスにシフトするのか、そのあたりも気になる所だ。

今の所、GoogleがAIを追加する形で実装してきているので、いまのところ検索は検索で残っているが、以前に比べるとGoogle検索より、ChatGPTで調べる方が増えてきたし、LLMは今後、様々な商品や、サービスの一部に活用されていくだろう。

 

尚、「最大 750 時間の無料利用枠」が使える場合があるかと思うが、Kendraは結構金額が高いので、テストが終わったら削除しておく事をおわすれないく。


追記:Kendraは、Developer EditionとEnterprise Edition があり、筆者誤ってEnterprise Editionを選択するというしくじりをしてしまい、後日対応に苦労した。

くれぐれも、プランの選択には、くれぐれも気をつけましょう。