Bot de Support Vocal
Transcription et réponse vocale en temps réel
Associez une couche de reconnaissance vocale à un LLM pour traiter les appels de support de bout en bout. Le modèle transcrit, comprend l'intention, interroge votre base de connaissances et génère des réponses en langage naturel restituées par synthèse vocale.
GPT-6 Luna
pour 1,5M tokens par mois · 55% entrée / 45% sortie
Pourquoi ce modèle ?
Pour cette charge – 1,5M tokens par mois, dont 55 % en entrée – il revient à environ 0,42 $US par mois, le moins cher des modèles proposés ici.
Modèles alternatifs
Conseils d'implémentation
- 1
Utilisez les réponses en streaming pour lancer la synthèse vocale pendant que le LLM génère encore : cela ramène la latence perçue de 2 à 3 secondes à moins de 500 ms jusqu'au premier mot.
- 2
Soignez la détection de tour de parole : envoyez des transcriptions partielles au LLM avec un indicateur « IS_COMPLETE » pour qu'il commence à traiter avant la fin de la phrase sur les formulations prévisibles.
- 3
Gardez le rôle du LLM étroit : séparez la détection d'intention et la génération de réponse du traitement vocal, afin de pouvoir changer de fournisseur ASR ou TTS indépendamment.