私たちは、Hugging Face の人気のあるオープンモデルを Cloudflare Workers AI に統合します。これは、テキスト生成推論（TGI）など、私たちのプロダクション環境デプロイメントソリューションによって可能になります。
テキスト生成推論（TGI）
https://github.com/huggingface/text-generation-inference/
Cloudflare Workers AI にデプロイすることで、開発者は GPU インフラストラクチャやサーバーの管理を必要とせずに、低コストで強力な生成型 AI アプリケーションを構築することができます。実際の計算コストのみを支払う必要があり、アイドルリソースのコストを支払う必要はありません。
開発者向けの生成型 AI ツール
この新しいサービスは、昨年 Cloudfalre との戦略的パートナーシップの一環として発表されたものです。開発者や組織は、GPU リソースの不足とサーバーの固定コストという主要な問題に直面しています。
戦略的パートナーシップ
https://blog.cloudflare.com/zh-cn/partnering-with-hugging-face-deploying-ai-easier-affordable-zh-cn/
Cloudflare Workers AI 上のデプロイは、これらの課題に対するサーバーレスアクセスおよび実行可能な Hugging Face モデルの解決策を提供します。
リクエストベースの課金
https://developers.cloudflare.com/workers-ai/platform/pricing
具体的な例を挙げると、RAG アプリケーションを開発し、1 日に約 1000 件のリクエストを処理し、各リクエストには 1000 トークンの入力と 100 トークンの出力が含まれているとします。使用するモデルは Meta Llama 2 7B です。このような LLM 推論の生産コストは、約 1 ドル / 日です。
Cloudflare の価格ページ
私たちは、この統合を非常に早く実現できたことをうれしく思っています。Cloudflare のグローバルネットワーク上のサーバーレス GPU 機能と、Hugging Face の人気のあるオープンソースモデルを組み合わせることで、世界のコミュニティに多くの刺激的なイノベーションをもたらします。
John Graham-Cumming、Cloudflare の CTO
使用方法
Hugging Face モデルを Cloudflare Workers AI で使用するのは非常に簡単です。以下は、Nous Research の最新モデル Mistral 7B を Hermes 2 Pro で使用する方法のステップバイステップガイドです。
利用可能なすべてのモデルは、Cloudflare Collection で見つけることができます。
Cloudflare Collection
https://hf.co/collections/Cloudflare/hf-curated-models-available-on-workers-ai-66036e7ad5064318b3e45db6
注意：Cloudflare アカウントと API トークンが必要です。
Cloudflare アカウント
https://developers.cloudflare.com/fundamentals/setup/find-account-and-zone-ids/
API トークン
https://dash.cloudflare.com/profile/api-tokens
Llama、Gemma、Mistral などのモデルを含む、すべてのサポートされているモデルのページで、「Cloudflare にデプロイ」オプションを見つけることができます。
「デプロイ」メニューを開き、「Cloudflare Workers AI」を選択します。これにより、このモデルの使用方法とリクエストの送信方法についてのガイドが表示されます。
注意：使用したいモデルに「Cloudflare Workers AI」オプションがない場合、現在はサポートされていないことを意味します。モデルの可用性を拡張するために、Cloudflare と協力しています。リクエストを提出するためには、お問い合わせください。
この統合を使用するには、2 つの方法があります：Workers AI REST API を使用するか、Cloudflare AI SDK を直接 Workers で使用するかを選択します。お好みの方法を選択し、コードを環境にコピーします。REST API を使用する場合は、ACCOUNTID と APITOKEN 変数が定義されていることを確認してください。
Workers AI REST API
https://developers.cloudflare.com/workers-ai/get-started/rest-api/
Cloudflare AI SDK
https://developers.cloudflare.com/workers-ai/get-started/workers-wrangler/#1-create-a-worker-project
ACCOUNTID
https://developers.cloudflare.com/fundamentals/setup/find-account-and-zone-ids/
APITOKEN
https://dash.cloudflare.com/profile/api-tokens
以上です！これで、Cloudflare Workers AI にホストされている Hugging Face モデルにリクエストを送信する準備が整いました。モデルが期待する正しいヒントとテンプレートを使用することを確認してください。