スタムモデルと、AutoDetectSourceLanguage を同時に使った場合に event.result.language が取れない

Question

スタムモデルと、AutoDetectSourceLanguage を同時に使った場合に event.result.language が取れない

坂本祥之 0

https://jpaiblog.github.io/blog/2025/05/02/speech-translation-with-custom-speech/ を参考に、Custom Speech で作成したモデルを Speech Translation で利用しています。

今回、カスタムモデルと、AutoDetectSourceLanguage を同時に使おうとしています。

SpeechTranslationConfig を生成しているソースコードは以下です

    const endpointId = '17524d89-64e1-46a1-92cf-b1c4100dad03';
    const url = new URL(`

この時、TranslationRecognizer の recognized で、event.result.language が undefined になってしまいます。

カスタムモデルを利用していない場合は、ここに自動識別した言語の情報が入ってきていました。言語の自動識別自体は動いているように見えます。カスタムモデルと言語の自動識別を両方利用している場合に、自動識別された言語の情報を取得することはできるでしょうか

言語は TypeScript

使っているライブラリは "microsoft-cognitiveservices-speech-sdk": "1.46.0" です

坂本祥之 0

ソースコードが途中で切れてしまいまいした

    const endpointId = '17524d89-64e1-46a1-92cf-b1c4100dad03';
    const url = new URL(`wss://eastasia.s2s.speech.microsoft.com/speech/translation/cognitiveservices/v1?cid=${endpointId}`);
    const translationConfig = SpeechTranslationConfig.fromEndpoint(url);
    translationConfig.authorizationToken = speechToken.key; // API から取得してきた token

    // auto detect が有効になっていたとしてもこの設定がないとエラーになってしまう
    translationConfig.speechRecognitionLanguage = "ja-JP"
    translationConfig.addTargetLanguage("ja-JP")
    translationConfig.addTargetLanguage("en-US")

    const autoDetectSourceLanguageConfig = AutoDetectSourceLanguageConfig.fromLanguages(speakLanguages);
    autoDetectSourceLanguageConfig.mode = LanguageIdMode.Continuous;

SRILAKSHMI C 11,290 評価のポイント Microsoft 外部スタッフモデレーター

2025-12-15T10:41:58.4133333+00:00

Hello Yoshiyuki Sakamoto,Bienvenido a Microsoft Q&A,

Gracias por la explicación detallada y el ejemplo. Lo que está viendo es confuso, pero en realidad es una limitación conocida y esperada al combinar Custom Speech (endpointId / STAM) con AutoDetectSourceLanguage en la traducción de voz.

Permítame explicarlo de forma clara y práctica.

Qué está sucediendo

Cuando utiliza AutoDetectSourceLanguage junto con un modelo de voz personalizado, el SDK sigue realizando la detección de idioma internamente, pero el idioma detectado no se devuelve en el resultado del reconocimiento.

Por eso:

event.result.language es indefinido

El mismo código funciona como se espera cuando se utilizan modelos base (no personalizados).

Este comportamiento no se debe a su código TypeScript ni al manejo de eventos del SDK.

Por qué sucede esto

La autodetección de idioma y los modelos de voz personalizados se ejecutan a través de diferentes canalizaciones de backend:

La autodetección de idioma se realiza antes del reconocimiento.

Los modelos de voz personalizados están vinculados a una configuración acústica/lingüística fija.

Cuando ambos están habilitados:

El servicio selecciona correctamente un idioma internamente.

Pero el idioma detectado no se muestra en SpeechRecognitionResult.language.

Por lo tanto, aunque la autodetección funciona, el SDK no expone el idioma detectado cuando se utiliza un modelo personalizado.

Acerca de la versión y la configuración del SDK

Esto no es específico de la versión 1.46.0 del SDK.

Actualizar el SDK no cambiará este comportamiento.

La configuración, las sugerencias de frases, los acentos o la calidad del audio no afectan a este problema en particular.

En resumen: no hay nada incorrecto en su configuración.

¿Se puede recuperar el idioma detectado de otra manera? Actualmente:

event.result.language → no contiene datos

Propiedades del resultado → no incluyen el idioma detectado

AutoDetectSourceLanguageResult → no está disponible para modelos personalizados

Actualmente no existe una API compatible para recuperar el idioma detectado al usar:

Traducción de voz

Voz personalizada (endpointId)

AutoDetectSourceLanguage simultáneamente

Soluciones alternativas recomendadas

Si necesita el idioma detectado, estas son las opciones prácticas que se utilizan actualmente:

1: Enfoque de dos pasos

Realice un reconocimiento breve utilizando un modelo base con AutoDetectSourceLanguage

Lea el idioma detectado

Realice la traducción de voz utilizando el modelo personalizado, especificando explícitamente el idioma de origen

2: Idioma fijo por modelo personalizado

Si conoce los idiomas:

Utilice un punto de conexión personalizado por idioma

Seleccione el punto de conexión según el contexto del usuario o la selección de la interfaz de usuario

3: Omita el modelo personalizado cuando se requiera la detección de idioma

Si la detección de idioma es fundamental:

Utilice modelos base para la detección y la traducción

Aplique la voz personalizada solo cuando el idioma ya se conozca

AutoDetectSourceLanguage funciona con modelos personalizados

El idioma detectado no se muestra en event.result.language

Esta es una limitación actual del servicio, no un error

Actualmente no existe ninguna solución alternativa a nivel de SDK o código

Un flujo de detección y traducción es la solución recomendada

Consulte esta información

AutoDetectSourceLanguageResult class

音声を認識して翻訳する方法

Espero que le sea útil. Si tiene alguna otra pregunta, no dude en contactarnos.

¡Gracias!

お客様の回答

坂本祥之 0 評価のポイント

2025-12-15T06:27:19.4266667+00:00

ソースコードが途中で切れてしまいまいした

const endpointId = '17524d89-64e1-46a1-92cf-b1c4100dad03'; const url = new URL(`wss://eastasia.s2s.speech.microsoft.com/speech/translation/cognitiveservices/v1?cid=${endpointId}`); const translationConfig = SpeechTranslationConfig.fromEndpoint(url); translationConfig.authorizationToken = speechToken.key; // API から取得してきた token // auto detect が有効になっていたとしてもこの設定がないとエラーになってしまう translationConfig.speechRecognitionLanguage = "ja-JP" translationConfig.addTargetLanguage("ja-JP") translationConfig.addTargetLanguage("en-US") const autoDetectSourceLanguageConfig = AutoDetectSourceLanguageConfig.fromLanguages(speakLanguages); autoDetectSourceLanguageConfig.mode = LanguageIdMode.Continuous;

次の方法で共有

スタムモデルと、AutoDetectSourceLanguage を同時に使った場合に event.result.language が取れない

お客様の回答