Personalizzazione delle configurazioni degli iperparametri dei modelli in Neptune ML

Gli iperparametri di livello 1 hanno la precedenza più alta. Se imposti maxHPONumberOfTrainingJobs su un valore minore di 10, vengono ottimizzati solo gli iperparametri di livello 1 e gli altri assumono i valori predefiniti.

Gli iperparametri di livello 2 hanno una precedenza inferiore, quindi se sono presenti più di 10 ma meno di 50 processi di addestramento totali per un processo di ottimizzazione, vengono ottimizzati sia gli iperparametri di livello 1 che di livello 2.

Gli iperparametri di livello 3 vengono ottimizzati insieme a quelli di livello 1 e 2 solo se sono presenti più di 50 processi di addestramento totali.

Infine, gli iperparametri fissi non vengono mai ottimizzati e assumono sempre i valori predefiniti.

model (stringa): tipo di modello da addestrare (da non modificare). I valori validi sono:

In generale, è consigliabile non modificare direttamente il valore model, in quanto diversi tipi di modello hanno spesso iperparametri applicabili sostanzialmente diversi e ciò può causare un errore di analisi dopo l'avvio del processo di addestramento.

Per modificare il tipo di modello, utilizzate il modelName parametro contenuto nel file modelTrainingAPIanziché modificarlo nel model-HPO-configuration.json file.

Un modo per modificare il tipo di modello e apportare modifiche granulari agli iperparametri consiste nel copiare il modello di configurazione del modello predefinito per il modello da usare e incollarlo nel file model-HPO-configuration.json. Esiste una cartella denominata hpo-configuration-templates nella stessa posizione Amazon S3 del file model-HPO-configuration.json se il tipo di attività dedotto supporta più modelli. Questa cartella contiene tutte le configurazioni di iperparametri predefinite per gli altri modelli applicabili all'attività.

Ad esempio, per modificare le configurazioni del modello e degli iperparametri per un'attività di previsione dei collegamenti KGE dal modello predefinito transe a un modello distmult, è sufficiente incollare il contenuto del file hpo-configuration-templates/distmult.json nel file model-HPO-configuration.json e quindi modificare gli iperparametri in base alle esigenze.

task_type (stringa): tipo di attività di machine learning dedotto o passato direttamente al processo di elaborazione dei dati (da non modificare). I valori validi sono:

Il processo di elaborazione dei dati deduce il tipo di attività esaminando il set di dati esportato e il file di configurazione del processo di apprendimento generato per verificare le proprietà del set di dati.

Questo valore non deve essere modificato. Se si desidera addestrare un'attività diversa, è necessario eseguire un nuovo processo di elaborazione dei dati. Se il valore task_type non è quello previsto, è consigliabile verificare gli input del processo di elaborazione dati per assicurarsi che siano corretti. Ciò include i parametri del modelTraining API file di configurazione del training job generato dal processo di esportazione dei dati.

eval_metric— (String) La metrica di valutazione deve essere utilizzata per valutare le prestazioni del modello e per selezionare il modello con le migliori prestazioni tra le esecuzioni. HPO I valori validi sono:

Ad esempio, per modificare la metrica in F1, modifica il valore eval_metric come indicato di seguito:

"  eval_metric": {
    "metric": "F1",
  },

In alternativa, per modificare la metrica in un punteggio di accuratezza topk, dovrai modificare eval_metric come indicato di seguito:

  "eval_metric": {
    "metric": "acc_topk",
    "topk": 2
  },

eval_frequency (oggetto): specifica con quale frequenza durante l'addestramento devono essere verificate le prestazioni del modello sul set di convalida. In base alle prestazioni di convalida, è quindi possibile avviare l'arresto anticipato e salvare il modello migliore.

L'oggetto eval_frequency contiene due elementi, ovvero "type" e "value". Per esempio:

  "eval_frequency": {
    "type":  "evaluate_every_pct",
    "value":  0.1
  },

I valori type validi sono:

L'impostazione predefinita per eval_frequency è:

  "eval_frequency": {
    "type":  "evaluate_every_epoch",
    "value":  1
  },

1-tier-param (obbligatorio): array di iperparametri di livello 1.

Se non si desidera ottimizzare alcun iperparametro, è possibile impostare questo parametro su un array vuoto. Ciò non influisce sul numero totale di lavori di formazione avviati dal processo di ottimizzazione degli iperparametri dell' SageMaker IA. Significa solo che tutti i processi di addestramento, se ne esistono più di 1 ma meno di 10, verranno eseguiti con lo stesso set di iperparametri.

D'altra parte, per trattare tutti gli iperparametri ottimizzabili con uguale importanza, puoi includere tutti gli iperparametri in questo array.

2-tier-param (obbligatorio): array di iperparametri di livello 2.

Questi parametri vengono ottimizzati solo se il valore di maxHPONumberOfTrainingJobs è maggiore di 10. In caso contrario, assumono i valori predefiniti.

Se disponi di un budget di addestramento di almeno 10 processi di addestramento o se non desideri iperparametri di livello 2 per altri motivi, ma desideri ottimizzare tutti gli iperparametri ottimizzabili, puoi impostare questo parametro su un array vuoto.

3-tier-param (obbligatorio): array di iperparametri di livello 3.

Questi parametri vengono ottimizzati solo se il valore di maxHPONumberOfTrainingJobs è maggiore di 50. In caso contrario, assumono i valori predefiniti.

Se non si desiderano iperparametri di livello 3, è possibile impostare questo parametro su un array vuoto.

fixed-param (obbligatorio): array di iperparametri fissi che accettano solo i relativi valori predefiniti e non variano in processi di addestramento diversi.

Per variare tutti gli iperparametri, puoi impostare questo parametro su un array vuoto e impostare il valore per maxHPONumberOfTrainingJobs su un numero sufficientemente elevato per variare tutti i livelli o impostare tutti gli iperparametri come di livello 1.

param (stringa): nome dell'iperparametro (da non modificare).

Vedi l'elenco dei nomi di iperparametri validi in Neptune ML.

type (stringa): tipo dell'iperparametro (da non modificare).

I tipi validi sono bool, int e float.

default (stringa): valore predefinito per l'iperparametro.

È possibile impostare un nuovo valore predefinito.

range (array): intervallo per un iperparametro ottimizzabile in modo continuo.

Deve essere un array con due valori, ovvero il valore minimo e il valore massimo dell'intervallo ([min, max]).

options (array): opzioni per un iperparametro categoriale ottimizzabile.

Questo array deve contenere tutte le opzioni da considerare:

  "options" : [value1, value2, ... valuen]

inc_strategy (stringa): tipo di modifica incrementale per gli intervalli di iperparametri ottimizzabili in modo continuo (da non modificare).

I valori validi sono log, linear e power2. Si applica solo quando è impostata la chiave di intervallo.

La modifica di questo elemento può determinare il mancato utilizzo dell'intero intervallo dell'iperparametro per l'ottimizzazione.

inc_val (float): quantità in base alla differiscono gli incrementi successivi per gli iperparametri ottimizzabili in modo continuo (da non modificare).

Si applica solo quando è impostata la chiave di intervallo.

La modifica di questo elemento può determinare il mancato utilizzo dell'intero intervallo dell'iperparametro per l'ottimizzazione.

node_strategy (stringa): indica che l'intervallo effettivo per questo iperparametro deve cambiare in base al numero di nodi nel grafo (da non modificare).

I valori validi sono "perM" (per milione), "per10M" (per 10 milioni) e "per100M" (per 100 milioni).

Invece di modificare questo valore, prova a modificare range.

edge_strategy (stringa): indica che l'intervallo effettivo per questo iperparametro deve cambiare in base al numero di archi nel grafo (da non modificare).

I valori validi sono "perM" (per milione), "per10M" (per 10 milioni) e "per100M" (per 100 milioni).

Invece di modificare questo valore, prova a modificare range.

batch-size: dimensioni del batch dei nodi di destinazione utilizzati in un unico passaggio in avanti. Tipo: int.

L'impostazione di questo valore su un valore molto più grande può causare problemi di memoria per l'addestramento sulle GPU istanze.

concat-node-embed: indica se ottenere o meno la rappresentazione iniziale di un nodo concatenando le relative funzionalità elaborate con incorporamenti iniziali del nodo apprendibili per aumentare l'espressività del modello. Tipo: bool.

dropout: probabilità di abbandono applicata ai livelli di abbandono. Tipo: float.

edge-num-hidden: dimensioni del livello nascosto o il numero di unità per il modulo della funzionalità arco. Usato solo quando use-edge-features è impostato su True. Tipo: float.

enable-early-stop: attiva/disattiva l'utilizzo della funzionalità di arresto anticipato. Tipo: bool. Default: true

Usa questo parametro booleano per disattivare la funzionalità di arresto anticipato.

fanout: numero di neighbor da campionare per un nodo di destinazione durante il campionamento dei neighbor. Tipo: int.

Questo valore è strettamente associato a num-layers e deve trovarsi sempre nello stesso livello di iperparametri. Questo perché è possibile specificare un fanout per ogni livello potenzialeGNN.

Poiché questo iperparametro può causare ampie variazioni nelle prestazioni del modello, deve essere fisso o impostato come iperparametro di livello 2 o di livello 3. Impostarlo su un valore elevato può causare, GPU ad esempio, problemi di memoria per l'allenamento.

gamma: valore del margine nella funzione di punteggio. Tipo: float.

Si applica solo ai modelli di previsione dei collegamenti KGE.

l2norm: valore di decadimento del peso utilizzato nell'ottimizzatore che impone una penalità di normalizzazione L2 ai pesi. Tipo: bool.

layer-norm: indica se utilizzare la normalizzazione dei livelli per i modelli rgcn. Tipo: bool.

low-mem: indica se utilizzare un'implementazione a bassa memoria della funzione di passaggio dei messaggi di relazione a scapito della velocità. Tipo: bool.

lr: velocità di apprendimento. Tipo: float.

Deve essere impostato come un iperparametro di primo livello.

neg-share: nella previsione dei collegamenti, indica se gli archi campionati positivi possono condividere campioni di archi negativi. Tipo: bool.

num-bases: numero di basi per la scomposizione delle basi in un modello rgcn. L'utilizzo di un valore num-bases inferiore al numero di tipi di archi nel grafo funge da regolarizzatore per il modello rgcn. Tipo: int.

num-epochs: numero di epoche di addestramento da eseguire. Tipo: int.

Un'epoca è un passaggio di addestramento completo attraverso il grafo.

num-hidden: dimensioni del livello nascosto o numero di unità. Tipo: int.

Questo elemento imposta anche le dimensioni dell'incorporamento iniziale per i nodi senza funzionalità.

Impostarlo su un valore molto più grande senza ridurlo batch-size può causare out-of-memory problemi di formazione, GPU ad esempio.

num-layer— Il numero di GNN livelli nel modello. Tipo: int.

Questo valore è strettamente associato al parametro fanout e deve essere posizionato dopo aver impostato il fanout nello stesso livello di iperparametri.

Poiché questo iperparametro può causare ampie variazioni nelle prestazioni del modello, deve essere fisso o impostato come iperparametro di livello 2 o di livello 3.

num-negs: nella previsione dei collegamenti, il numero di campioni negativi per campione positivo. Tipo: int.

per-feat-name-embed: indica se incorporare ogni funzionalità trasformandola in modo indipendente prima di combinare le funzionalità. Tipo: bool.

Se questo elemento è impostato su true, ogni funzionalità per nodo viene trasformata in modo indipendente in in dimensioni di dimensione fissa prima che tutte le funzionalità trasformate per il nodo vengano concatenate e ulteriormente trasformate nella dimensione num_hidden.

Se questo elemento è impostato su false, le funzionalità vengono concatenate senza trasformazioni specifiche delle funzionalità.

regularization-coef: nella previsione dei collegamenti, il coefficiente di perdita di regolarizzazione. Tipo: float.

rel-part: indica se utilizzare la partizione di relazione per la previsione dei collegamenti KGE. Tipo: bool.

sparse-lr: velocità di apprendimento per gli incorporamenti di nodi apprendibili. Tipo: float.

Gli incorporamenti iniziali dei nodi apprendibili vengono utilizzati per i nodi senza funzionalità o quando è impostato il parametro concat-node-embed. I parametri del livello di incorporamento dei nodi apprendibili sparse vengono addestrati utilizzando un ottimizzatore separato che può avere una velocità di apprendimento distinta.

use-class-weight: indica se applicare i pesi di classe per attività di classificazione non bilanciate. Se impostato su true, viene usato il numero di etichette per impostare un peso per ogni etichetta di classe. Tipo: bool.

use-edge-features: indica se utilizzare le funzionalità degli archi durante il passaggio dei messaggi. Se impostato sutrue, al RGCN livello viene aggiunto un modulo di feature di bordo personalizzato per i tipi di spigoli che dispongono di feature. Tipo: bool.

use-self-loop: indica se includere i cappi nell'addestramento di un modello rgcn. Tipo: bool.

window-for-early-stop: controlla il numero degli ultimi punteggi di convalida in base a cui calcolare la media per decidere se effettuare un arresto anticipato. Il valore predefinito è 3. type=int. Consulta anche Arresto anticipato del processo di addestramento dei modelli in Neptune ML. Tipo: int. Default: 3

Per informazioni, consulta .

Specificare il valore minimo e il valore massimo degli iperparametri range.

Impostare un iperparametro su un valore fisso spostandolo nella sezione fixed-param e impostando il relativo valore predefinito sul valore fisso che dovrà assumere.

Modificare la priorità di un iperparametro posizionandolo in un livello specifico, modificandone l'intervallo e assicurandosi che il valore predefinito sia impostato in modo appropriato.