Configuration et personnalisation des requêtes et de la génération de réponses

Suivez les étapes de la console à l'adresseTestez votre base de connaissances à l'aide de requêtes et de réponses. Lorsque vous ouvrez le volet Configurations, les options suivantes s'affichent pour le type de recherche :

Lorsque vous créez un Retrieve ou RetrieveAndGeneratedemande, inclure un retrievalConfiguration champ, mappé à un KnowledgeBaseRetrievalConfigurationobjet. Pour connaître l'emplacement de ce champ, reportez-vous au Retrieve et RetrieveAndGeneratecorps de requête dans la API référence.

L'JSONobjet suivant indique les champs minimaux requis dans l'KnowledgeBaseRetrievalConfigurationobjet pour définir les configurations de type de recherche :

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "overrideSearchType": "HYBRID | SEMANTIC"
    }
}

Spécifiez le type de recherche dans le overrideSearchType champ. Vous avez les options suivantes :

POST /retrieveAndGenerate HTTP/1.1
Content-type: application/json
{
   "input": {
      "text": "string"
   },
   "retrieveAndGenerateConfiguration": {
      "knowledgeBaseConfiguration": {
         "orchestrationConfiguration": { // Query decomposition
           "queryTransformationConfiguration": {
                "type": "string" // enum of QUERY_DECOMPOSITION
           }
         },
...}
}
     

Pour modifier les paramètres d'inférence lorsque vous interrogez une base de connaissances, suivez les étapes de la console sur. Testez votre base de connaissances à l'aide de requêtes et de réponses Lorsque vous ouvrez le volet Configurations, vous verrez une section sur les paramètres d'inférence. Modifiez les paramètres selon vos besoins.

Pour modifier les paramètres d'inférence lorsque vous discutez avec votre document, suivez les étapes décrites dansDiscutez avec votre document sans configuration de base de connaissances. Dans le volet Configurations, développez la section Paramètres d'inférence et modifiez les paramètres si nécessaire.

Vous fournissez les paramètres du modèle lors de l'appel au RetrieveAndGenerateAPI. Vous pouvez personnaliser le modèle en fournissant des paramètres d'inférence dans le inferenceConfig champ du knowledgeBaseConfiguration (si vous interrogez une base de connaissances) ou du externalSourcesConfiguration (si vous discutez avec votre document).

Le inferenceConfig champ contient un textInferenceConfig champ qui contient les paramètres suivants que vous pouvez :

Vous pouvez personnaliser le modèle en utilisant les paramètres suivants dans le inferenceConfig champ des deux externalSourcesConfiguration et knowledgeBaseConfiguration :

Pour une explication détaillée de la fonction de chacun de ces paramètres, voirInfluencez la génération de réponses avec des paramètres d'inférence.

En outre, vous pouvez fournir des paramètres personnalisés non pris en charge textInferenceConfig par la additionalModelRequestFields carte. Vous pouvez fournir des paramètres propres à des modèles spécifiques avec cet argument. Pour les paramètres uniques, voirParamètres de demande d'inférence et champs de réponse pour les modèles de base.

Si un paramètre est omistextInferenceConfig, une valeur par défaut sera utilisée. Tout paramètre non reconnu dans textInferneceConfig sera ignoré, tandis que tout paramètre non reconnu dans AdditionalModelRequestFields provoquera une exception.

Une exception de validation est émise s'il existe le même paramètre dans additionalModelRequestFields les deuxTextInferenceConfig.

Utilisation des paramètres du modèle dans RetrieveAndGenerate

Voici un exemple de structure pour inferenceConfig et additionalModelRequestFields sous le corps generationConfiguration de la RetrieveAndGenerate demande :

"inferenceConfig": {
    "textInferenceConfig": {
        "temperature": 0.5,  
        "topP": 0.5,
        "maxTokens": 2048,
        "stopSequences": ["\nObservation"]
    }
},
"additionalModelRequestFields": {
    "top_k": 50
}

L'exemple suivant définit une valeur temperature de 0,5, top_p de 0,5 ou maxTokens de 2048, arrête la génération s'il rencontre la chaîne « \ nObservation » dans la réponse générée et transmet une top_k valeur personnalisée de 50.

Suivez les étapes de la console à l'adresseTestez votre base de connaissances à l'aide de requêtes et de réponses. Dans le volet Configurations, développez le nombre maximal de résultats récupérés.

Lorsque vous créez un Retrieve ou RetrieveAndGeneratedemande, inclure un retrievalConfiguration champ, mappé à un KnowledgeBaseRetrievalConfigurationobjet. Pour connaître l'emplacement de ce champ, reportez-vous au Retrieve et RetrieveAndGeneratecorps de requête dans la API référence.

L'JSONobjet suivant indique les champs minimaux requis dans l'KnowledgeBaseRetrievalConfigurationobjet pour définir le nombre maximal de résultats à renvoyer :

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "numberOfResults": number
    }
}

Spécifiez le nombre maximum de résultats extraits (voir le numberOfResults champ KnowledgeBaseRetrievalConfigurationpour connaître la plage de valeurs acceptées) à renvoyer dans le numberOfResults champ.

Suivez les étapes de la console à l'adresseTestez votre base de connaissances à l'aide de requêtes et de réponses. Lorsque vous ouvrez le volet Configurations, vous verrez une section Filtres. Les procédures suivantes décrivent différents cas d'utilisation :

L'image suivante montre un exemple de configuration de filtre qui renvoie tous les documents écrits selon 2018 le genre"entertainment", en plus des documents dont le genre est "cooking" ou "sports" et dont l'auteur commence par"C".

Lorsque vous créez un Retrieve ou RetrieveAndGeneratedemande, inclure un retrievalConfiguration champ, mappé à un KnowledgeBaseRetrievalConfigurationobjet. Pour connaître l'emplacement de ce champ, reportez-vous au Retrieve et RetrieveAndGeneratecorps de requête dans la API référence.

Les JSON objets suivants indiquent les champs minimaux requis dans l'KnowledgeBaseRetrievalConfigurationobjet pour définir des filtres pour différents cas d'utilisation :

Le tableau suivant décrit les types de filtres que vous pouvez utiliser :

Pour combiner les types de filtres, vous pouvez utiliser l'un des opérateurs logiques suivants :

Pour des exemples, voir Envoyer une requête et inclure des filtres (Retrieve) et Envoyer une requête et inclure des filtres (RetrieveAndGenerate).

Suivez les étapes de la console à l'adresseTestez votre base de connaissances à l'aide de requêtes et de réponses. Dans la fenêtre de test, activez l'option Générer des réponses. Ensuite, dans le volet Configurations, développez la section du modèle d'invite de la base de connaissances.

Lorsque vous créez un RetrieveAndGeneratedemande, inclure un generationConfiguration champ, mappé à un GenerationConfigurationobjet. Pour connaître l'emplacement de ce champ, reportez-vous au RetrieveAndGeneratecorps de la demande dans la API référence.

L'JSONobjet suivant indique les champs minimaux requis dans l'GenerationConfigurationobjet pour définir le nombre maximal de résultats extraits à renvoyer :

"generationConfiguration": {
    "promptTemplate": {
        "textPromptTemplate": "string"
    }
}

Entrez votre modèle d'invite personnalisé dans le textPromptTemplate champ, y compris les espaces réservés et les XML balises d'invite si nécessaire. Pour connaître le nombre maximal de caractères autorisés dans l'invite du système, consultez le textPromptTemplate champ dans GenerationConfiguration.

Suivez les étapes de la console à l'adresseTestez votre base de connaissances à l'aide de requêtes et de réponses. Dans la fenêtre de test, activez l'option Générer des réponses. Ensuite, dans le volet Configurations, développez la section Gardrails.

Lorsque vous créez un RetrieveAndGeneratedemande, incluez le guardrailConfiguration champ dans le generationConfiguration pour utiliser votre garde-corps avec la demande. Pour connaître l'emplacement de ce champ, reportez-vous au RetrieveAndGeneratecorps de la demande dans la API référence.

L'JSONobjet suivant indique les champs minimaux requis GenerationConfigurationpour définir le guardrailConfiguration :

"generationConfiguration": {
    "guardrailConfiguration": {
        "guardrailId": "string",
        "guardrailVersion": "string"
    }
}

Spécifiez l'extrémité guardrailId et guardrailVersion des rambardes que vous avez choisies.