プロジェクト名:FreeAskInternet -- ローカライズされた大規模言語モデルの対話システム
Github オープンソースアドレス:https://github.com/nashsu/FreeAskInternet
FreeAskInternet は、複数の先進的な大規模言語モデルを組み合わせて、検索と回答生成のサービスを提供する無料のオープンソースの大規模言語モデルツールです。
私たちは GPU を必要とせずにローカルで直接インストールして実行することができます。それは、各大規模言語モデルの検索アグリゲータのように見えます。
このプロジェクトの説明によると、FreeAskInternet は大規模言語モデル(LLM)を使用して回答を生成し、グラフィックプロセッシングユニット(GPU)に依存しないで済むとのことです。ユーザーが質問をすると、システムは SearXNG を使用して複数のエンジンを検索し、検索結果を ChatGPT3.5 言語モデルと組み合わせて回答を生成します。すべてのプロセスはローカルで実行され、GPU または OpenAI や Google の API キーは必要ありません。
注:SearXNG は無料のインターネットメタ検索エンジンであり、さまざまな検索サービスとデータベースからの結果を集約します。オープンソースアドレス:https://github.com/searxng/searxng。
FreeAskInternet の特徴をまとめると次のとおりです:
無料でオープンソースであり、自分でローカルにインストールできます。
ChatGPT3.5、Qwen、Kimi、ZhipuAI などの API を使用しており、これらの API のキーを持っていなくても使用できます。
無料の API を使用しているため、通常は GPU が必要な大規模言語モデルとは異なり、FreeAskInternet は GPU なしで実行できるため、ユーザーのハードウェア要件が低くなります。
ollama などのカスタム大規模言語モデルも使用できます(ダウンロードアドレス:https://ollama.com/)。これにより、ユーザーはより柔軟性と個別化のオプションを得ることができます。
インストールは簡単で、Docker Compose を使用して一般的なコンテナオーケストレーションツールを介して FreeAskInternet を迅速にデプロイできるため、インストールと設定の手間が省けます。
FreeAskInternet の動作原理:ユーザーがインターフェースに入力した質問に対して、SearXNG が複数のエンジンを検索し、検索が完了すると、システムは自動的に検索結果のリンク内容をクロールして収集し、これらの内容を選択した LLM(Large Language Models:大規模言語モデル)に渡します。例えば、ChatGPT3.5、Kimi、Qwen、ZhipuAI、またはカスタムの ollama などです。これらのモデルは渡されたコンテンツを参考にしてコンテンツを生成し、ユーザーの質問に回答します。
インストールと使用方法
このプロジェクトはまだ初期段階にありますので、いくつかの問題があるかもしれませんが、個人の学習には十分です。
プロジェクトはまだ新しいですが、現在 6.8k のスターを獲得しており、人気は継続していますので、注目してください。
インストールする前に、ローカルに Docker がインストールされ、docker-compose がサポートされている必要があります。インストールが完了したら、リンクhttp://localhost:3000 を開いて使用を開始できます。
インストールと使用方法は以下の通りです:
git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d