現在無料で、Geminiよりも10倍速く、GPT-4よりも18倍速いです！

Groq は、完全に国内の美しい製造業チェーンによって作られた AI チップであり、現在世界で最も高速な AI チップと言えます。

このチップをベースに動作する Mixtral8x7B-32k と Llama 270B-4k は、1 秒あたり 500 トークンの出力が可能であり、Gemini よりも 10 倍速く、GPT-4 よりも 18 倍速いです！

公式ウェブサイトの紹介
LPU™ 推論エンジンを作成しました。これは同じカテゴリの製品の中で最初で最速のものであり、リアルタイム AI 市場にサービスを提供しています。私たちの推論（トレーニングではない）ソリューションにより、私たちは計算センターの AI パフォーマンスリーダーとしての速度と精度を実現しています。他のプロバイダとは異なり、私たちはクラウドサービスを代理することはありません。私たちは独自のチップ、コンパイラ、ソフトウェア、システム、GroqCloud™を構築しました。私たちの第一世代の GroqChip™は、Language Processing Unit™（LPU）という新しいプロセッサのカテゴリです。これが私たちの秘密の一部です。私たちのパフォーマンスにより、人工知能はさまざまな産業でより大きな潜在能力を持つようになりました。これはリアルタイム AI、低遅延、低バッチサイズのソリューションについてのものです。

呼び出し方法
API 申請アドレス：https://console.groq.com/keys

const Groq = require('groq-sdk');

const groq = new Groq();
async function main() {
  const chatCompletion = await groq.chat.completions.create({
    "messages": [
      {
        "role": "system",
        "content": "私の質問には日本語でお答えください"
      },
      {
        "role": "user",
        "content": "どのモデルですか？何を待っていますか？"
      },
      {
        "role": "assistant",
        "content": "こんにちは！私は人工知能アシスタントです。質問に答えたり、疑問に答えたり、さまざまなトピックに関する情報を提供したりすることを目的としています。数学の問題を計算したり、百科事典の知識を提供したり、情報の検索や言語の調整、詩の作成など、さまざまな種類の言語処理タスクをサポートできます。何かお手伝いできることはありますか？"
      }
    ],
    "model": "mixtral-8x7b-32768",
    "temperature": 0.5,
    "max_tokens": 1024,
    "top_p": 1,
    "stream": true,
    "stop": null
  });

  for await (const chunk of chatCompletion) {
    process.stdout.write(chunk.choices[0]?.delta?.content || '');
  }
}

main();

サポートされているモデル
ただし、現在サポートされているモデルは少なく、無料で体験することができるのは次の 3 つだけです：

LLaMA2-70b
Mixtral-8x7b
Gemma-7b-it
上記の API キーの申請アドレスからいくつかのキーを申請してください。

QPS は十分に提供されています
・1 分あたり 30 リクエスト（RPM）

・1 日あたり 14,400 リクエスト（RPD）

・1 分あたり 40,000 トークン（TPM）