Farfalle — オープンソースの AI 検索エンジンで、ローカルで LLM（llama3、gemma、mistral）を実行するか、クラウドモデル（Groq/llama3、OpenAI/gpt4-o）を使用できます。
体験アドレス：
部署
前提条件
• Docker
• Ollama
llama3、mistral、gemma など、サポートされているモデルをダウンロードします。
ollama を起動します：ollama serve
API キーの取得
• Tavily
申請先：https://app.tavily.com/home
Tavilyについて：
Tavilyは、大規模言語モデル（LLM）と検索強化生成（RAG）アプリケーション向けに設計された検索エンジンです。効率的で高速かつ持続可能な検索結果を提供することを目指しています。Tavily Search APIを使用すると、AI開発者は簡単にアプリケーションをリアルタイムのオンライン情報と統合できます。主な目標は、信頼性のある情報源からの真実で信頼性の高い情報を提供し、AI生成コンテンツの正確性と信頼性を向上させることです。Tavilyの特徴は次のとおりです：
高速な応答：Tavilyは迅速に検索結果を返すことができます。
良い要約：各ページの良い要約を返し、すべてのコンテンツをロードする必要はありません。
関連画像：検索クエリに関連する画像を返します。
LLMの最適化：大規模言語モデルに最適化された検索結果を提供し、AIアプリケーションの意思決定能力を向上させます。
バイアスの削減：信頼できるリアルタイムの知識ベースに接続することで、幻覚（hallucinations）と全体的なバイアスを削減します。
• OpenAI（オプション）
• Groq（オプション）
プロジェクトのクローン
git clone [email protected]/farfalle.git
cd farfalle
環境変数の追加
.touch .env
.env ファイルに以下の変数を追加します：
必須#
TAVILY_API_KEY=...
オプション#
OPENAI_API_KEY=...
GROQ_API_KEY=...
コンテナの実行
Docker Compose 2.22.0 以上が必要です。
docker-compose -f docker-compose.dev.yaml up -d