Routing di prompt intelligente di Amazon Bedrock

Può essere difficile per gli sviluppatori capire quali query richiedano modelli più avanzati o potrebbero funzionare con quelli più piccoli, più veloci ed economici. Utilizzando tecniche avanzate di corrispondenza dei prompt e di comprensione dei modelli, il routing di prompt intelligente prevede le prestazioni di ciascun modello per ogni richiesta e instrada dinamicamente ogni richiesta verso il modello che, secondo le previsioni, è in grado di fornire la risposta desiderata al costo più basso. Puoi configurare un prompt router con due modelli qualsiasi della stessa famiglia con Anthropic (Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama (3.1 8b, 70b, 3.2 11B, 90B e 3.3 70B) e Amazon Nova (Nova Lite e Nova Pro).

Per conseguire le prestazioni e i costi desiderati per le tue applicazioni, è spesso necessario sviluppare flussi di lavoro di orchestrazione complessi, instradando ciascuna richiesta al modello più adatto a tale richiesta in base alla tua esperienza per ottenere le prestazioni desiderate in termini di precisione. Con il routing di prompt intelligente, puoi risparmiare mesi di lavoro per il test di diversi modelli e creare flussi di lavoro di orchestrazione complessi selezionando i prompt router predefiniti forniti da Amazon Bedrock o configurando i tuoi. È possibile configurare facilmente un router scegliendo due modelli da una famiglia di modelli, quindi configurando i criteri di routing per il router.

Ogni richiesta è interamente tracciabile e consente di identificare quale modello gestisce ogni richiesta e di comprendere ed eseguire facilmente il debug di eventuali problemi.