banner
andrewji8

Being towards death

Heed not to the tree-rustling and leaf-lashing rain, Why not stroll along, whistle and sing under its rein. Lighter and better suited than horses are straw sandals and a bamboo staff, Who's afraid? A palm-leaf plaited cape provides enough to misty weather in life sustain. A thorny spring breeze sobers up the spirit, I feel a slight chill, The setting sun over the mountain offers greetings still. Looking back over the bleak passage survived, The return in time Shall not be affected by windswept rain or shine.
telegram
twitter
github

無料でオープンソースであり、GPUは必要ありません。大規模言語モデルをローカルで展開する対話システム

プロジェクト名:FreeAskInternet -- ローカライズされた大規模言語モデルの対話システム
Github オープンソースアドレス:https://github.com/nashsu/FreeAskInternet

FreeAskInternet は、複数の先進的な大規模言語モデルを組み合わせて、検索と回答生成のサービスを提供する無料のオープンソースの大規模言語モデルツールです。

私たちは GPU を必要とせずにローカルで直接インストールして実行することができます。それは、各大規模言語モデルの検索アグリゲータのように見えます。

このプロジェクトの説明によると、FreeAskInternet は大規模言語モデル(LLM)を使用して回答を生成し、グラフィックプロセッシングユニット(GPU)に依存しないで済むとのことです。ユーザーが質問をすると、システムは SearXNG を使用して複数のエンジンを検索し、検索結果を ChatGPT3.5 言語モデルと組み合わせて回答を生成します。すべてのプロセスはローカルで実行され、GPU または OpenAI や Google の API キーは必要ありません。

注:SearXNG は無料のインターネットメタ検索エンジンであり、さまざまな検索サービスとデータベースからの結果を集約します。オープンソースアドレス:https://github.com/searxng/searxng。

image

image

FreeAskInternet の特徴をまとめると次のとおりです:

無料でオープンソースであり、自分でローカルにインストールできます。

ChatGPT3.5、Qwen、Kimi、ZhipuAI などの API を使用しており、これらの API のキーを持っていなくても使用できます。

無料の API を使用しているため、通常は GPU が必要な大規模言語モデルとは異なり、FreeAskInternet は GPU なしで実行できるため、ユーザーのハードウェア要件が低くなります。

ollama などのカスタム大規模言語モデルも使用できます(ダウンロードアドレス:https://ollama.com/)。これにより、ユーザーはより柔軟性と個別化のオプションを得ることができます。

インストールは簡単で、Docker Compose を使用して一般的なコンテナオーケストレーションツールを介して FreeAskInternet を迅速にデプロイできるため、インストールと設定の手間が省けます。

FreeAskInternet の動作原理:ユーザーがインターフェースに入力した質問に対して、SearXNG が複数のエンジンを検索し、検索が完了すると、システムは自動的に検索結果のリンク内容をクロールして収集し、これらの内容を選択した LLM(Large Language Models:大規模言語モデル)に渡します。例えば、ChatGPT3.5、Kimi、Qwen、ZhipuAI、またはカスタムの ollama などです。これらのモデルは渡されたコンテンツを参考にしてコンテンツを生成し、ユーザーの質問に回答します。

インストールと使用方法
このプロジェクトはまだ初期段階にありますので、いくつかの問題があるかもしれませんが、個人の学習には十分です。

プロジェクトはまだ新しいですが、現在 6.8k のスターを獲得しており、人気は継続していますので、注目してください。

image

インストールする前に、ローカルに Docker がインストールされ、docker-compose がサポートされている必要があります。インストールが完了したら、リンクhttp://localhost:3000 を開いて使用を開始できます。
インストールと使用方法は以下の通りです:

git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d
読み込み中...
文章は、創作者によって署名され、ブロックチェーンに安全に保存されています。