banner
andrewji8

Being towards death

Heed not to the tree-rustling and leaf-lashing rain, Why not stroll along, whistle and sing under its rein. Lighter and better suited than horses are straw sandals and a bamboo staff, Who's afraid? A palm-leaf plaited cape provides enough to misty weather in life sustain. A thorny spring breeze sobers up the spirit, I feel a slight chill, The setting sun over the mountain offers greetings still. Looking back over the bleak passage survived, The return in time Shall not be affected by windswept rain or shine.
telegram
twitter
github

免費開源,無需 GPU,本地化部署大型語言模型的對話系統

項目名: FreeAskInternet -- 本地化大語言模型的對話系統
Github 開源地址:https://github.com/nashsu/FreeAskInternet

FreeAskInternet 是一個免費開源的大語言模型工具,它結合了多個先進的大語言模型來提供搜索和答案生成的服務。

我們可以直接在本地安裝運行,無需 GPU,看起來更像是一個各個大語言模型的搜索聚合器。

根據該項目的描述, FreeAskInternet 是使用大型語言模型(LLM)來生成答案,無需依賴圖形處理單元(GPU)。用戶提出問題後,系統會利用 SearXNG 進行多引擎搜索,並將搜索結果與 ChatGPT3.5 語言模型結合,基於這些搜索結果生成答案。所有過程都在本地運行,不需要 GPU 或者 OpenAI 或 Google 的 API 密鑰。

註:SearXNG 是一個免費的互聯網元搜索引擎,它聚合來自各種搜索服務和數據庫的結果,開源地址:https://github.com/searxng/searxng。

image

image
總結下來 FreeAskInternet 的特點有:

免費開源,我們可以本地自己安裝完成。

使用了 ChatGPT3.5、Qwen、Kimi、致普 AI 等 API,用戶無需擁有這些 API 的密鑰即可使用它們。

由於使用了免費的 API,與通常需要 GPU 來運行的大語言模型不同,FreeAskInternet 不需要 GPU 即可運行,降低了用戶的硬件要求。

我們也可以自定義大語言模型,如 ollama(下載地址:https://ollama.com/),這為用戶提供了更多的靈活性和個性化選項。

安裝簡單,通過 Docker Compose 一個流行的容器編排工具,用戶可以快速部署 FreeAskInternet,簡化了安裝和配置過程。

FreeAskInternet 工作原理:用戶在界面輸入的問題,SearXNG 進行多引擎搜索,搜索完成後,系統會自動爬取並收集搜索結果中的鏈接內容,然後將這些內容傳遞給選定的 LLM(Large Language Models:大語言模型),如 ChatGPT3.5、Kimi、Qwen、ZhipuAI 或自定義的 ollama,這些模型利用傳遞的內容作為參考,生成內容並回答用戶的問題。

安裝使用
該項目還處於早期階段,所以難免有一些問題,但個人學習使用完全足夠了。

雖然項目成立不久,但目前已收獲了 6.8k star,熱度還在持續提升,可以多關注:

image
安裝前需要你本地已安裝 docker,並支持 docker-compose,安裝完成後就可以打開鏈接 http://localhost:3000 開始使用了。
安裝使用如下:

git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d
載入中......
此文章數據所有權由區塊鏈加密技術和智能合約保障僅歸創作者所有。