Gemma 已经介绍过了,另外还介绍了使用代码的方式和他进行聊天。
代码这种方式,比较适合搞开发的程序员,相对门槛较高。
从使用的角度来说,用起来也不方便。
今天介绍另外一种对任何人都更友好的方式,直接使用可视化软件和 Gemma 进行交流。
今天要用的软件叫 lmstudio,一个支持一键运行众多大模型的软件。
它的最新版 0.2.16 已经支持 Gemma 模型,20 亿和 70 亿参数的模型都支持。
这个软件挺不错,除了支持和大量开源模型聊天之外,还能启动兼容 OpenAI 的 API 服务。
对普通用户和开发者都比较友好。
软件也有多平台支持,目前已经支持 Windows,Mac(Apple Silicon M 系列),Linux 这三个系统。
另外软件默认好像是调用 CPU 进行推理,所以设备门槛就降低了很多很多。
小模型推理速度也非常不错。
安装完软件之后(旧版用户记得升级),在主界面上就可以看到 Google's Gemma 2b Instruct 的卡片。在卡片中找到 download,点一下就开始下载模型了。
整个过程非常简单,但是内网用户可能遇到无法下载的问题。
下载完成之后,在软件顶部下拉选择 Gemma 模型,等待模型加载完成就可以进行对话了。
在窗口底部 User 后面输入内容,就可以开始聊天了。
你可以直接发中文,它能听懂,但是他会用英文回答你。