Synthesizer V — музыкальное программное обеспечение, синтезатор речи, имеющий 3 поколения: Synthesizer V, Synthesizer V Studio, и Synthesizer V Studio 2.
История Synthesizer V Каньжу Хуа заявил в Twitter, что первая строка кода, the proto-proto libllsm (написанная в марте 2015 года), в конечном итоге стала частью Synthesizer V. Разработка Synthesizer V началась в 2017 году. Каньжу Хуа выпустил демо с тремя вокалами, известными в то время как ENG-F1 (позже выпущенную как Eleanor Forte), JA-F1 и MAN-M1. Synthesizer V впервые официально дебютировал 1 декабря 2017 года. В августе 2018 года Каньжу Хуа выпустил «Техническую предварительную» версию Synthesizer V.
Web Synthesizer V 31 декабря 2019 года была выпущена интергрированная в интернет-браузер веб-версия Web Synthesizer V с одним японским женским вокалом JA-F2. В сотрудничестве с AH-Software Co. Ltd. 22 июля 2020 года Dreamtonics выпустила обновленную версию движка, включающую в себя два женских японских вокала: Kotonoha Akane & Aoi и Saki. В настоящее время имеет только 2 вокала.
Synthesizer V Studio 31 мая 2019 года Каньжу Хуа объявил в Твиттере, что он принимает заявки на инженеров-программистов C++ для работы над следующей версией Synthesizer V, которая стала известна как Synthesizer V Release 2. Позже в 2020 году она станет известна как Synthesizer V Studio.
Synthesizer V Studio Pro и Synthesizer V Studio Basic были официально анонсированы 26 июня компанией AH-Software Co. Ltd. в пресс-релизе, как и голосовые базы данных Kotonoha Akane & Aoi и Saki.
Synthesizer V AI Обновление для Synthesizer V Studio под названием Synthesizer V AI было официально анонсировано 30 октября 2020 года компанией Dreamtonics в пресс-релизе, как и голосовые базы данных Saki AI и Koharu Rikka, которые должны распространяться AH-Software Co. Ltd.
Демонстрации для Synthesizer V AI были загружены на каналы YouTube Dreamtonics и AH-Software Co. Ltd. соответственно, демонстрируя Saki AI. Также было загружено сравнительное видео между стандартным вокалом Synthesizer V Studio Saki и версией AI.
23 декабря была выпущена версия 1.5.0, которая принесла новые комплексные обновления для войсбанков на основе ИИ. Ее основным обновлением стал межъязыковой синтез, который позволил голосовым базам данных ИИ петь на английском, японском и китайском языках независимо от того, изучал ли вокалист эти языки или нет. Ранее войсбанки были ограничены только языковым знанием поставщиков голосов, на которых они были основаны. К этому времени все выпущенные войсбанки ИИ получат обновление для поддержки межъязыкового синтеза, и новая функция будет доступна только для редактора Pro.
Synthesizer V Studio 2 О запуске Synthesizer V Studio 2 было объявлено 24 декабря 2024 года в сообщении на официальном аккаунте Dreamtonics Co., Ltd. в Twitter, а также одновременно было объявлено о его презентации на предстоящей выставке NAMM 2025 в конференц-центре Анахайма, которая прошла с 23 по 25 января. 13 февраля в магазине Dreamtonics International Store и магазине AHS компании AH-Software Co. Ltd. открылись предварительные заказы на Synthesizer V Studio 2 Pro, а также на различные войсбанки Synthesizer V 2 AI, с подтвержденной датой выпуска 21 марта согласно листингу Amazon Japan (который был восстановлен на следующий день). В магазине Dreamtonics Store SVS2 Pro предлагался (только в формате цифровой загрузки) как отдельный редактор и как пакет с любым войсбанком SV2 AI по выбору пользователя; также была предложена очень выгодная версия обновления в течение ограниченного времени зарегистрированным владельцам уходящего редактора Synthesizer V Studio Pro, который должен быть снят с продажи, как только выйдет новая версия. В магазине AHS Store предлагались как физические, так и цифровые версии редактора SVS2 Pro, а также только физический стартовый пакет, который, как и в случае с уходящим стартовым пакетом SVS Pro (который также должен был быть прекращен 21 марта), включал купон, который можно было использовать (после выпуска) для любого цифрового войсбанка из утвержденного списка, предоставленного AH-Software (включавшего не только вокал Synthesizer V 2 AI, но также вокал Synthesizer V Standard и Synthesizer V AI, изначально разработанный для старого редактора SVS Pro).
25 января 2025 года Dreamtonics опубликовала видео, демонстрирующее рабочую версию программного обеспечения. Ниже приведен неполный список функций, показанных в этом видео: Режимы пения и рэпа на панели заметок (режим ручного изменения высоты тона, который присутствовал в Synthesizer V Studio 1, отсутствует) Ручное рисование изгибов высоты тона, которые влияют на генерацию высоты тона и повторные попытки ИИ (AI Retakes)Discussed and demonstrated from 35:38 to 37:53 in the video.. Обновленные модели в Synthesizer V Studio 2 Pro точнее воспроизводят динамику человеческого голоса, что приводит к большему ощущению присутствия с более тонкими деталями. Это улучшение достигается без ущерба для произношения и точности высоты тона. Кроме того, сохраненная динамика позволяет AI Retakes генерировать более разнообразные варианты, предоставляя пользователям больше возможностей для достижения желаемого шаблона. Благодаря улучшенному алгоритму и улучшенной поддержке многопоточности Synthesizer V Studio 2 Pro выполняет рендеринг на 300% быстрее, чем его предшественник. Этот значительный прирост скорости достигается без необходимости использования выделенного графического процессора или аппаратного ускорения, что позволяет использовать его без проблем в автономном режиме.
Технические характеристики По утверждению разработчиков, Synthesizer V Studio сочетает в себе Standard-ные и новые модели синтеза вокала с использованием искусственного интеллекта (AI). Программа не требует от пользователя каких-либо сложных манипуляций и способна во время работы совершать переход от обычных сэмплов к настоящей записи человеческого голоса, когда это необходимо. Базовая версия синтезатора распространяется бесплатно, но образцы голоса в ней являются облегчёнными (Lite) и уступают в технических возможностях улучшенной версии.
ИИ (AI) и стандартные (Standard) войсбанки Стандартные войсбанки являются войсбанками, записанные с отдельными сэмплами, как в таких программах как VOCALOID (1, 2, 3, 4, 5) и UTAU. Они были в первом синтезаторе Synthesizer V и ранних войсбанках Synthesizer V Studio. VOLOR и Eclipsed Sounds, LLC отметили, что стандартные войсбанки должны быть записаны в студии Dreamtonics в Токио, Япония. Для сравнения, войсбанки AI используют запись на основе песен и дадут возможность сделать это удаленно, при этом машинное обучение будет выполняться только Dreamtonics. Также было отмечено, что банки AI могут звучать совсем иначе, чем Standard аналоги, но также могут привнести больше экспрессии. В целом стандартные банки звучат более роботизировано. К настоящему времени они больше не производятся.
Сэмплы Сэмплы с голосами войсбанков находятся в файлах с расширением «svpk». Голосовые провайдеры Элеоноры Форте, Саки и многих других неизвестны, потому что их голосовые образцы являются исключительной собственностью компании «Dreamtonics», которая подписала с голосовыми провайдерами договор о неразглашении конфиденциальной информации.
Функции Межъязыковой синтез Synthesizer V Studio в настоящее время поддерживает межъязыковой синтез для японского, английского, севернокитайского (мандарин), кантонского, испанского и корейского (только в Synthesizer V Studio 2). (См. Фонология). Межъязыковой синтез поддерживается только для голосовых банков с ИИ, в про-версиях Synthesizer V Studio Pro и не поддерживается в облегчённых (Lite) версиях ИИ-банков.
В 2024 году в Университете Торонто Метрополитен было объявлено о разработке корейского и французского для Synthesizer V Studio. В итоге корейский стал доступным в Synthesizer V Studio 2.
Вокал-моды Вокал-моды () — это разные тона вокала, такие как «Soft» и «Whisper». Они не поддерживаются в Lite-версиях войсбанков.
У разных банков может быть разное количество вокал-модов. У NOA доступно 13 вокал-модов: «Attack», «Solid», «Clear», «Deep», «Flow», «Glow», «Husky», «Nasal», «Power», «Smooth», «Twangy», «Vivid», «Waltz» и «Whisper», тем временем как у Mai их два: «Emotional» и «Soft». Обновлённая Mai 2 теперь имеет 6 вокал-модов: «Breathy», «Downer», «Emotional», «Powerful», «Rap» и «Sweet».
В настоящее время самое большое количество вокал-модов у UNI для Synthesizer V Studio 2 (16): «Normal», «N_Bright», «N_peaceful», «Bold», «Bold_dynamic», «Charming», «Delicate», «Emotive_dynamic», «Mature», «Moody», «Playful», «Resonant», «Resonant_dynamic», «Soulful», «Tempting», «Whisper».
Фонология Английский язык Символ (ARPABET) КлассификацияМФА эквивалентПримерПримечание aaгласнаяɑpalmaeгласнаяæbatВ некоторых диалектах, это может быть /eə/ из-за Æ-tensing (замена /æ/ на /eə/)ahгласнаяʌbutВ некоторых диалектах, это может быть ɜ или ɐaoгласнаяɔːboughtЭтот гласный имеет множество вариаций в зависимости от диалекта. В американских диалектах это варьируется между /ɑ/ из-за cot–caught merger и /ɒ~ɔ/. axгласнаяəihгласная ɪbitiyгласная iːbeatehгласнаяɛbeterгласнаяəɹ, ɚ или ɝ birdR-colored шваuhгласнаяʊbookuwгласнаяʉ или uːbootawдифтонг aʊ̯aboutayдифтонг aɪ̯biteeyдифтонг eɪ̯heyowдифтонгoʊ̯~oboatoyдифтонгɔɪ̯boybсогласнаяbbuychсогласнаяʧchinadсогласнаяddiedxсогласнаяɾbutterАллофон /t/ или /d/. См. Одноударные согласныеdrсогласнаяd̠ɹdrive<small>Первоначально введено для различения группы согласных в начале и между словами.@khuasw: "Adding /dx/ and /tr/. Notice how they differ from /d/ and /t/ + /r/." Реализации могут различаться в зависимости от войсбанка, от tʃ до полного удаления звука /r/.dhсогласнаяðtheРеализации могут различаться в зависимости от войсбанка.fсогласнаяffightgсогласнаяgguyhhсогласнаяhhighjhсогласнаяʤjustkсогласнаяkkiteРеализации (придыхательные, непридыхательные, апплозивные) зависят от фонологического контекста.lсогласнаяl lieРеализации (звонкий зубной, альвеолярный и посталвеолярный латеральный аппроксимант, "dark" или "clear") зависят от фонологического контекста.mсогласнаяmmynсогласнаяnnosengсогласнаяŋsingpсогласнаяppieРеализации (придыхательные, непридыхательные, апплозивные) зависят от фонологического контекста.rсогласнаяɹrisk<small>Реализации могут различаться на разных войсбанках. См. Ротические согласныеsсогласнаяssayshсогласнаяʃshytсогласнаяttieРеализации (придыхательные, непридыхательные, апплозивные) зависят от фонологического контекста.trсогласнаяt̠ɹtree<small>Первоначально введено для различения группы согласных в начале и между словами. Реализации могут различаться в зависимости от войсбанка, от tʃ до полного удаления буквы /r/.thсогласнаяθthingРеализации могут различаться на разных войсбанках.vсогласнаяvvotewсогласнаяwwiseyсогласнаяjyeszсогласнаяzzoozhсогласнаяʒmeasure Также см. Английская фонология
Японский язык