使用跨區域推論提高輸送量

隨需模型推論 – 在傳送 InvokeModel、、InvokeModelWithResponseStreamConverse 或 ConverseStream請求modelId時，將推論設定檔的 ID 指定為 。推論描述檔會定義一或多個區域，其可將源自來源區域的推論請求路由至這些區域。使用跨區域推論可動態路由模型調用請求至推論描述檔中定義的區域，藉此提高輸送量和效能。使用者流量、需求和資源使用率的路由因素。如需詳細資訊，請參閱 提交提示並使用模型推論產生回應

批次推論 – 在傳送請求modelId時，將推論描述檔的 ID 指定為 ，以批次推論非同步方式提交CreateModelInvocationJob請求。使用推論描述檔可讓您跨多個 使用運算 AWS 區域 ，並為您的批次任務縮短處理時間。任務完成後，您可以從來源區域中的 Amazon S3 儲存貯體擷取輸出檔案。

產生知識庫回應 – 您可以在查詢知識庫或剖析資料來源中的非文字資訊後產生回應時使用跨區域推論。如需詳細資訊，請參閱 使用查詢和回應測試您的知識庫 和 資料來源的剖析選項。

模型評估 – 您可以提交推論描述檔做為模型，以在提交模型評估任務時進行評估。如需詳細資訊，請參閱評估 Amazon Bedrock 資源的效能。

提示管理 – 您可以在產生提示管理中建立的提示的回應時使用跨區域推論。如需詳細資訊，請參閱 在 Amazon Bedrock 中使用提示管理來建構和存放可重複使用的提示

提示流程 – 您可以在為提示產生回應時使用跨區域推論，以便在提示流程中的提示節點中定義內嵌。如需詳細資訊，請參閱使用 Amazon Bedrock 流程建置 end-to-end生成式 AI 工作流程。

使用跨區域推論無需額外的路由成本。價格是根據您呼叫推論設定檔的區域來計算。如需定價的詳細資訊，請參閱 Amazon Bedrock 定價。

使用跨區域推論時，您的輸送量最多可達到推論設定檔所在區域中預設配額的兩倍。輸送量的增加僅適用於透過推論設定檔執行的調用，如果您選擇區域模型調用請求，則一般配額仍然適用。例如，如果您叫用美國 Anthropic Claude 3 Sonnet us-east-1 中的推論設定檔，您的輸送量每分鐘可以達到 1，000 個請求，每分鐘可以達到 2，000，000 個字符。若要查看隨需輸送量的預設配額，請參閱 中的執行期配額區段，Amazon Bedrock 的配額或使用 Service Quotas 主控台。

跨區域推論請求會保留在所使用的推論描述檔一部分的區域中。例如，使用歐盟推論設定檔提出的請求會保留在歐盟區域。