Configura e personalizza le interrogazioni e la generazione di risposte

Segui i passaggi della console indicati inMetti alla prova la tua base di conoscenze con domande e risposte. Quando apri il riquadro Configurazioni, vedrai le seguenti opzioni per il tipo di ricerca:

Quando crei un Retrieve o RetrieveAndGeneraterichiesta, includi un retrievalConfiguration campo mappato su un KnowledgeBaseRetrievalConfigurationoggetto. Per visualizzare la posizione di questo campo, fare riferimento a Retrieve e RetrieveAndGeneraterichiedi gli organi nel API riferimento.

L'JSONoggetto seguente mostra i campi minimi richiesti nell'KnowledgeBaseRetrievalConfigurationoggetto per impostare le configurazioni dei tipi di ricerca:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "overrideSearchType": "HYBRID | SEMANTIC"
    }
}

Specificare il tipo di ricerca nel overrideSearchType campo. Sono disponibili le seguenti opzioni:

POST /retrieveAndGenerate HTTP/1.1
Content-type: application/json
{
   "input": {
      "text": "string"
   },
   "retrieveAndGenerateConfiguration": {
      "knowledgeBaseConfiguration": {
         "orchestrationConfiguration": { // Query decomposition
           "queryTransformationConfiguration": {
                "type": "string" // enum of QUERY_DECOMPOSITION
           }
         },
...}
}
     

Per modificare i parametri di inferenza durante l'interrogazione di una knowledge base, segui i passaggi della console all'indirizzo. Metti alla prova la tua base di conoscenze con domande e risposte Quando apri il riquadro Configurazioni, vedrai una sezione Parametri di inferenza. Modificate i parametri secondo necessità.

Per modificare i parametri di inferenza durante la chat con il documento, segui i passaggi riportati in. Chatta con il tuo documento senza una knowledge base configurata Nel riquadro Configurazioni, espandi la sezione Parametri di inferenza e modifica i parametri secondo necessità.

I parametri del modello vengono forniti nella chiamata a RetrieveAndGenerateAPI. È possibile personalizzare il modello fornendo parametri di inferenza nel inferenceConfig campo del knowledgeBaseConfiguration (se si interroga una knowledge base) o del externalSourcesConfiguration (se si comunica tramite chat con il documento).

All'interno del inferenceConfig campo c'è un textInferenceConfig campo che contiene i seguenti parametri che puoi:

È possibile personalizzare il modello utilizzando i seguenti parametri nel inferenceConfig campo di entrambi externalSourcesConfiguration eknowledgeBaseConfiguration:

Per una spiegazione dettagliata della funzione di ciascuno di questi parametri, vedereInfluenza la generazione della risposta con parametri di inferenza.

Inoltre, è possibile fornire parametri personalizzati non supportati textInferenceConfig tramite la additionalModelRequestFields mappa. È possibile fornire parametri univoci per modelli specifici con questo argomento, per i parametri univoci vedereParametri di richiesta di inferenza e campi di risposta per modelli di base.

Se un parametro viene omesso datextInferenceConfig, verrà utilizzato un valore predefinito. Tutti i parametri non riconosciuti in textInferneceConfig verranno ignorati, mentre tutti i parametri non riconosciuti in AdditionalModelRequestFields causeranno un'eccezione.

Viene generata un'eccezione di convalida se è presente lo stesso parametro in entrambi e. additionalModelRequestFields TextInferenceConfig

Utilizzo dei parametri del modello in RetrieveAndGenerate

Di seguito è riportato un esempio della struttura per inferenceConfig e additionalModelRequestFields generationConfiguration sotto il corpo della RetrieveAndGenerate richiesta:

"inferenceConfig": {
    "textInferenceConfig": {
        "temperature": 0.5,  
        "topP": 0.5,
        "maxTokens": 2048,
        "stopSequences": ["\nObservation"]
    }
},
"additionalModelRequestFields": {
    "top_k": 50
}

L'esempio seguente imposta a temperature 0,5, top_p 0,5 o 2048, maxTokens interrompe la generazione se incontra la stringa «\nObservation" nella risposta generata e passa un valore personalizzato top_k di 50.

Segui i passaggi della console indicati inMetti alla prova la tua base di conoscenze con domande e risposte. Nel riquadro Configurazioni, espandi il Numero massimo di risultati recuperati.

Quando si crea un Retrieve o RetrieveAndGeneraterichiesta, includi un retrievalConfiguration campo mappato su un KnowledgeBaseRetrievalConfigurationoggetto. Per visualizzare la posizione di questo campo, fare riferimento a Retrieve e RetrieveAndGeneraterichiedi gli organi nel API riferimento.

L'JSONoggetto seguente mostra i campi minimi richiesti nell'KnowledgeBaseRetrievalConfigurationoggetto per impostare il numero massimo di risultati da restituire:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "numberOfResults": number
    }
}

Specificate il numero massimo di risultati recuperati (consultate il numberOfResults campo KnowledgeBaseRetrievalConfigurationper l'intervallo di valori accettati) da restituire nel numberOfResults campo.

Segui i passaggi della console all'indirizzoMetti alla prova la tua base di conoscenze con domande e risposte. Quando apri il riquadro Configurazioni, vedrai una sezione Filtri. Le seguenti procedure descrivono diversi casi d'uso:

L'immagine seguente mostra un esempio di configurazione del filtro che restituisce tutti i documenti 2018 scritti in base al genere"entertainment", oltre ai documenti il cui genere è "cooking" o "sports" e il cui autore inizia con"C".

Quando si crea un Retrieve o RetrieveAndGeneraterichiesta, includi un retrievalConfiguration campo mappato su un KnowledgeBaseRetrievalConfigurationoggetto. Per visualizzare la posizione di questo campo, fare riferimento a Retrieve e RetrieveAndGeneraterichiedi gli organi nel API riferimento.

I seguenti JSON oggetti mostrano i campi minimi richiesti nell'KnowledgeBaseRetrievalConfigurationoggetto per impostare filtri per diversi casi d'uso:

La tabella seguente descrive i tipi di filtro che è possibile utilizzare:

Per combinare i tipi di filtro, puoi utilizzare uno dei seguenti operatori logici:

Ad esempio, vedete Inviare una query e includere filtri (Recupera) e Inviare una query e includere filtri (RetrieveAndGenerate).

Segui i passaggi della console inMetti alla prova la tua base di conoscenze con domande e risposte. Nella finestra di test, attiva Genera risposte. Quindi, nel riquadro Configurazioni, espandi la sezione relativa al modello di prompt della Knowledge Base.

Quando crei un RetrieveAndGeneraterichiesta, includi un generationConfiguration campo mappato su un GenerationConfigurationoggetto. Per visualizzare la posizione di questo campo, fare riferimento a RetrieveAndGeneratecorpo della richiesta nel API riferimento.

L'JSONoggetto seguente mostra i campi minimi richiesti nell'GenerationConfigurationoggetto per impostare il numero massimo di risultati recuperati da restituire:

"generationConfiguration": {
    "promptTemplate": {
        "textPromptTemplate": "string"
    }
}

Inserisci il modello di prompt personalizzato nel textPromptTemplate campo, inclusi segnaposto e tag di richiesta, se necessario. XML Per il numero massimo di caratteri consentiti nel prompt di sistema, consulta il campo in. textPromptTemplate GenerationConfiguration

Segui i passaggi della console inMetti alla prova la tua base di conoscenze con domande e risposte. Nella finestra di test, attiva Genera risposte. Quindi, nel riquadro Configurazioni, espandi la sezione Guardrails.

Quando crei un RetrieveAndGeneraterichiesta, includi il guardrailConfiguration campo all'interno del campo generationConfiguration per utilizzare il guardrail con la richiesta. Per vedere la posizione di questo campo, consulta il RetrieveAndGeneratecorpo della richiesta nel API riferimento.

L'JSONoggetto seguente mostra i campi minimi richiesti GenerationConfigurationper impostareguardrailConfiguration:

"generationConfiguration": {
    "guardrailConfiguration": {
        "guardrailId": "string",
        "guardrailVersion": "string"
    }
}

Specificate guardrailId la guardrailVersion fine dei guardrail scelti.