banner
andrewji8

Being towards death

Heed not to the tree-rustling and leaf-lashing rain, Why not stroll along, whistle and sing under its rein. Lighter and better suited than horses are straw sandals and a bamboo staff, Who's afraid? A palm-leaf plaited cape provides enough to misty weather in life sustain. A thorny spring breeze sobers up the spirit, I feel a slight chill, The setting sun over the mountain offers greetings still. Looking back over the bleak passage survived, The return in time Shall not be affected by windswept rain or shine.
telegram
twitter
github

谷歌Gemma本地快速运行,设备要求低,操作简单

Gemma 已经介绍过了,另外还介绍了使用代码的方式和他进行聊天。
代码这种方式,比较适合搞开发的程序员,相对门槛较高。
从使用的角度来说,用起来也不方便。
今天介绍另外一种对任何人都更友好的方式,直接使用可视化软件和 Gemma 进行交流。
今天要用的软件叫 lmstudio,一个支持一键运行众多大模型的软件。

https://lmstudio.ai (需要魔法)

image

它的最新版 0.2.16 已经支持 Gemma 模型,20 亿和 70 亿参数的模型都支持。
这个软件挺不错,除了支持和大量开源模型聊天之外,还能启动兼容 OpenAI 的 API 服务。
对普通用户和开发者都比较友好。
软件也有多平台支持,目前已经支持 Windows,Mac(Apple Silicon M 系列),Linux 这三个系统。
另外软件默认好像是调用 CPU 进行推理,所以设备门槛就降低了很多很多。
小模型推理速度也非常不错。

image
安装完软件之后(旧版用户记得升级),在主界面上就可以看到 Google's Gemma 2b Instruct 的卡片。在卡片中找到 download,点一下就开始下载模型了。
整个过程非常简单,但是内网用户可能遇到无法下载的问题。
下载完成之后,在软件顶部下拉选择 Gemma 模型,等待模型加载完成就可以进行对话了。

image

在窗口底部 User 后面输入内容,就可以开始聊天了。
你可以直接发中文,它能听懂,但是他会用英文回答你。

image

加载中...
此文章数据所有权由区块链加密技术和智能合约保障仅归创作者所有。