Chatterbox S2S — Resemble AI

Chatterbox S2S — конвертация голоса от Resemble AI. SD: быстро и качественно. HD: студийное качество.

Chatterbox S2S - модель для конвертации голоса (speech-to-speech) от Resemble AI. Вы загружаете запись, а на выходе получаете ту же речь, но другим голосом. Это отличает её от синтеза по тексту: исходником служит готовое аудио.

Целевой голос модель клонирует по короткому образцу, по данным карточки хватает около 5 секунд. Отдельно можно управлять выразительностью речи. Заявлена работа с более чем 20 языками, так что модель подходит для многоязычной озвучки.

Режимов два. SD рассчитан на быструю обработку при хорошем качестве и стоит 75 SC за минуту аудио. HD даёт студийное качество и стоит 100 SC за минуту. Черновики удобно делать в SD, а финальную версию собирать в HD.

Для чего подходит

Замена голоса диктора в готовой записи
Клонирование голоса по 5-секундному образцу
Озвучка роликов разными голосами без актёров
Многоязычная озвучка на 20+ языках
Настройка выразительности уже записанной речи
Черновая озвучка в SD, финал в HD

Сильные стороны

Клонирование голоса по образцу около 5 секунд
Два режима: быстрый SD и студийный HD
Регулируемая выразительность речи
Поддержка более 20 языков

Ограничения

Без исходной записи речи не работает: текст на вход не принимается.
HD стоит на треть дороже SD (100 против 75 SC за минуту).
В карточке нет данных о допустимой длине файла и форматах, эти ограничения лучше проверить на пробной записи.

Когда выбирать

У вас уже есть запись речи, и нужно заменить в ней голос.
Нужно воспроизвести конкретный голос, а у вас есть только короткий образец.
Важно управлять выразительностью речи, а не только тембром.
Нужна недорогая пробная обработка в SD и студийный результат в HD.

Когда лучше взять другую модель

Если нужно озвучить текст без исходной записи, возьмите модель синтеза речи, например Chatterbox TTS: Chatterbox S2S работает только с готовым аудио.
Если нужна музыка или звуковые эффекты, выбирайте музыкальные и звуковые модели: эта модель работает с голосом.