typescript - react-native usando expo-av IOS archivo mp4 grabado llamada de datos de formulario a las transcripciones de audio de openai diciendo formato de archivo inválido

He estado en esto toda la noche, estoy intentando grabarme a mí mismo en mi iPhone mediante Expo usando expo-av (graba voz mediante iPhone) y subirlo al endpoint de transcripciones de OpenAI usando el modelo whisper-1.

El archivo se guarda como mp4, lo convierto a una cadena base64, he confirmado que el contenido base64 es de hecho mp4:

herramienta para convertir base64 a archivo

herramienta para subir y comprobar archivos

Aquí está el código de react-native:

  const recordingOptions = {
    android: {
      extension: ".mp4",
      outputFormat: Audio.AndroidOutputFormat.MPEG_4,
      audioEncoder: Audio.AndroidAudioEncoder.AAC,
      sampleRate: 44100,
      numberOfChannels: 2,
      bitRate: 128000,
    },
    ios: {
      extension: ".mp4",
      // outputFormat: Audio.IOSOutputFormat.MPEG4AAC,
      audioQuality: Audio.IOSAudioQuality.HIGH,
      sampleRate: 44100,
      numberOfChannels: 2,
      bitRate: 128000,
    },
    web: {
      mimeType: "audio/mp4",
      bitsPerSecond: 128000 * 8,
    },
  };

implementación actual:

const recordingUri = recording.getURI();
      const recordingBase64 = await ExpoFileSystem.readAsStringAsync(
        recordingUri,
        {
          encoding: ExpoFileSystem.EncodingType.Base64,
        }
      );
      const languageCode = "en"; // English
      console.log(languageCode);
      console.log(recordingBase64)

      const buffer = Buffer.from(recordingBase64, "base64")
      const blob= new Blob([buffer], { type:'audio/mp4' })
      const file = new File([blob],'test.mp4', {type:'audio/mp4'})



      const formData = new FormData();
      formData.append('file',file);
      formData.append("model", "whisper-1");

      const apiUrl = "https://api.openai.com/v1/audio/transcriptions";

      const requestOptions = {
        method: "POST",
        headers: {
          Authorization: `Bearer ${OPENAI_API_KEY}`,
        },
        body: formData,
      };

      fetch(apiUrl, requestOptions)
        .then((response) => response.json())
        .then((data) => console.log(data))
        .catch((error) => console.log(error));

y cada vez la respuesta es:

{"error": {"code": null, "message": "Invalid file format. Supported formats: ['m4a', 'mp3', 'webm', 'mp4', 'mpga', 'wav', 'mpeg']", "param": null, "type": "invalid_request_error"}}

¿Alguien tiene idea de qué estoy haciendo mal?

Respuesta #1

Intenta agregar un filename al formData.append. Algo similar a esto:

formData.append('file', file, 'input.mp4');

Whisper no debería depender de la extensión, pero parece que sí lo hace.