banner
andrewji8

Being towards death

Heed not to the tree-rustling and leaf-lashing rain, Why not stroll along, whistle and sing under its rein. Lighter and better suited than horses are straw sandals and a bamboo staff, Who's afraid? A palm-leaf plaited cape provides enough to misty weather in life sustain. A thorny spring breeze sobers up the spirit, I feel a slight chill, The setting sun over the mountain offers greetings still. Looking back over the bleak passage survived, The return in time Shall not be affected by windswept rain or shine.
telegram
twitter
github

免费开源,无需 GPU,本地化部署大语言模型的对话系统

项目名: FreeAskInternet -- 本地化大语言模型的对话系统
Github 开源地址:https://github.com/nashsu/FreeAskInternet

FreeAskInternet 是一个免费开源的大语言模型工具,它结合了多个先进的大语言模型来提供搜索和答案生成的服务。

我们可以直接在本地安装运行,无需 GPU,看起来更像是一个各个大语言模型的搜索聚合器。

根据该项目的描述, FreeAskInternet 是使用大型语言模型(LLM)来生成答案,无需依赖图形处理单元(GPU)。用户提出问题后,系统会利用 SearXNG 进行多引擎搜索,并将搜索结果与 ChatGPT3.5 语言模型结合,基于这些搜索结果生成答案。所有过程都在本地运行,不需要 GPU 或者 OpenAI 或 Google 的 API 密钥。

注:SearXNG 是一个免费的互联网元搜索引擎,它聚合来自各种搜索服务和数据库的结果,开源地址:https://github.com/searxng/searxng。

image

image
总结下来 FreeAskInternet 的特点有:

免费开源,我们可以本地自己安装完成。

使用了 ChatGPT3.5、Qwen、Kimi、致普 AI 等 API,用户无需拥有这些 API 的密钥即可使用它们。

由于使用了免费的 API,与通常需要 GPU 来运行的大语言模型不同,FreeAskInternet 不需要 GPU 即可运行,降低了用户的硬件要求。

我们也可以自定义大语言模型,如 ollama(下载地址:https://ollama.com/),这为用户提供了更多的灵活性和个性化选项。

安装简单,通过 Docker Compose 一个流行的容器编排工具,用户可以快速部署 FreeAskInternet,简化了安装和配置过程。

FreeAskInternet 工作原理:用户在界面输入的问题,SearXNG 进行多引擎搜索,搜索完成后,系统会自动爬取并收集搜索结果中的链接内容,然后将这些内容传递给选定的 LLM(Large Language Models:大语言模型),如 ChatGPT3.5、Kimi、Qwen、ZhipuAI 或自定义的 ollama,这些模型利用传递的内容作为参考,生成内容并回答用户的问题。

安装使用
该项目还处于早期阶段,所以难免有一些问题,但个人学习使用完全足够了。

虽然项目成立不久,但目前已收获了 6.8k star,热度还在持续提升,可以多关注:

image
安装前需要你本地已安装 docker,并支持 docker-compose,安装完成后就可以打开链接 http://localhost:3000 开始使用了。
安装使用如下:

git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d
加载中...
此文章数据所有权由区块链加密技术和智能合约保障仅归创作者所有。