és un programa de síntesi de veu. capaç de cantar. desenvolupat per Yamaha Corporation, amb la idea original de l'Institut Universitari de l'Audiovisual de la Universitat Pompeu Fabra (UPF) de Catalunya. Gràcies a l'impuls de l'Agència de Suport a l'Empresa Catalana, l'equip d'investigadors encarregat del desenvolupament de la tecnologia de Vocaloid és Voctro Labs fundada el desembre del 2011, una empresa derivada dels laboratoris de la UPF, per a comercialitzar els resultats de les recerques del Grup de Tecnologia Musical, i que es caracteritza per ser la primera empresa que comercialitza veus hispanes per VOCALOID3. El 2015 va ser elegida per la Unió europea en un programa designat a estimular el desenvolupament de pimes innovadores amb un projecte de reconstruir les veus de cantants morts. Es torna a posar la qüestió que el diari The New York Times ja posava el 2003 amb la sortida de la primera versió de Vocaloid: es permet fer cantar per la veu reconstruïda d'Elvis Presley cançons que ell mateix mai no va cantar? I a qui escaurien els drets d'autor?
Yamaha Corporation va posar els mitjans econòmics per dur a terme el projecte i desenvolupar el programari a un producte comercial anomenat "Vocaloid".Kenmochi, Hideki; Ohshima, Hayato. «VOCALOID - Commercial singing synthesizer based on sample concatenation» (PDF). Interspeech 2007 (en inglés). Center for Advanced Sound Technologies, Yamaha Corporation. Consultado el 9 de enero de 2011. Les veus, sovint amb personatges virtuals complets, són desenvolupades per estudis independents. La interfície del programa agafa l'aspecte dels rotlles utilitzats en els antics instruments mecànics. A més de la lletra i de la melodia, es poden afegir tota una sèrie d'efectes musicals habituals: crescendo, decrescendo, vibrato, legato, staccato… El programari pot ser utilitzat per qualsevol persona que té un mínim de coneixement de la notació musical. També es poden importar cançons en format MIDI.
Tecnologia El programari proporciona a l'usuari la capacitat de sintetitzar cançons simplement escrivint-ne la lletra i la melodia. Utilitza tecnologia de sintetitzat el qual es grava el cant d'actors de doblatge o cantants. Per crear una cançó, l'usuari ha d'incorporar la melodia i les lletres. Una interfície d'un rotllo de piano és usada per incorporar la melodia i les lletres que poden ser posades en cada nota. El programa pot canviar l'accent de les pronunciacions, afegir efectes com ara el vibrato o el canvi de dinàmica i el to de la veu. Cada Vocaloid és venut com "un cantant en una capsa" dissenyat a actuar com un reemplaçament per a un cantant real. Inicialment el programa comptava només amb els idiomes anglès i japonès, però a partir de la versió 3 i 4 s'hi van incorporar espanyol, xinès i coreà. El programa està dirigit tant a músics professionals com a usuaris que el fan servir com a hobby. Grups musicals japonesos com Livetune de Victor Entertainment i Supercell de Sony Music Entertainment Japan han publicat les seves pròpies cançons amb Vocaloid com a cantant. La marca de discos japonesa Èxit Tunes of Quake Inc., també ha publicat compilacions d'àlbums amb Vocaloids. Artistes com ara Mike Oldfield també han fet servir Vocaloids dins del seu treball per donar suport a la veu del cantant i mostres de so.
La tecnologia de cant sintetitzada de Vocaloid és categoritzada com a síntesi concatenativa,«Interview of Hideki Kenmochi». DTM magazine (en japonès) 15 (2 (January Special ed. The Vocaloid CV01 Hatsune Miku)): p. 36-39. January de 2008.Kenmochi, Hideki; Ohshima, Hayato (8 de febrero de 2008). «Singing synthesis system "Vocaloid" Current situation and todo lists» (PDF). IPSJ SIG Technical Reports (en japonès) (The Information Processing Society of Japan) 2008 (12): p. 51-56. la qual ajunta i processa fragments vocals extrets de les veus humanes cantades en el domini de la freqüència. En síntesi de cant, el sistema produeix veus realistes agregant informació de l'expressió vocal com el vibrato per anotar la informació.Yamaha Corporation (ed.). «VOCALOIDについて» [Concerning Vocaloid]. Archivado desde el originalel 28 de noviembre de 2015. Consultado el 9 de enero de 2011. La tecnologia de sintetitzat Vocaloid va ser anomenada inicialment , tot i que Yamaha ja no utilitza més aquest nom en els seus llocs web. L'articulació del cant és explicada com a "expressions vocals" tals com el vibrato i fragments vocals necessaris per cantar. Els motors de síntesis de Vocaloid i Vocaloid 2 són dissenyats per cantar, no per llegir text en veu alta.«デジタルコンテンツの知的財産権に関する調査研究：進化するコンテンツビジネスモデルとその収益性・合法性—VOCALOID2、初音ミク、ユーザ、UGMサイト、権利者—報告書» [The Research and Study about the Intellectual Property Right of the Digital Contents: Developing Contents Business Model and Its Profitability and Legality—Vocaloid 2, Hatsune Miku, an User, UGM Site and a Rightful Claimant—The Report] (PDF) (en japonès). The Digital Content Association of Japan. marzo de 2008. pp. 30-51. Consultado el 16 de enero de 2011. No poden replicar naturalment les expressions de cant com les veus ronques o crits.
Arquitectura del sistema Les parts principals del sistema Vocaloid 2 són l'Editor de Partitura (Vocaloid 2 Editor), La Llibreria del Cantant i el Motor de Síntesi. El Motor de Síntesi rep de la partitura informació des de l'Editor de Partitures, selecciona les mostres apropiades de la Llibreria del Cantant, i els uneix per emetre veus sintetitzades. Bàsicament, no hi ha diferència amb l'Editor de Partitura proveït per Yamaha entre els diferents productes Vocaloid 2. Si un producte Vocaloid 2 ja està instal·lat, l'usuari pot habilitar un altre producte Vocaloid 2 agregant la seva llibreria. El sistema suporta dos idiomes, Japonès i Anglès; encara que altres idiomes podrien ser opcionals en el futur. Funciona standalone (sense dependències), reprodueix i exporta a WAV i com una aplicació ReWire o VSTi accessible des de la DAW.
Editor de partitura L'Editor de Partitura és un editor d'estil rotlle de piano per introduir notes, lletres i algunes expressions. Per a una Llibreria de Cantant Japonès, l'usuari pot introduir gojūon lletres escrites en hiragana, katakana o romaji. Per a una Llibreria Anglesa, l'editor automàticament converteix les lletres en els símbols fonètics AFI empleant la pronunciació incorporada en el diccionari. L'usuari pot editar directament els símbols fonètics de les paraules registrades. Una Llibreria Japonesa i una Llibreria Anglesa difereixen en el mètode d'introduir les lletres, però comparteixen la mateixa plataforma. Per tant, l'Editor Japonès pot carregar una Llibreria Anglesa i viceversa. Com s'esmenta a dalt, el mètode d'introduir les lletres és depenent de la llibreria, i tant els editors Japonesos i Anglesos difereixen solament en els menús. L'Editor de Partitura ofereix diversos paràmetres per agregar expressions a les veus de cant. L'usuari és suposat a optimitzar aquests paràmetres perquè s'adapti millor a la melodia sintetitzada quan es creen les veus. Aquest editor suporta ReWire i pot ser sincronitzat amb DAW. La "reproducció" en temps real de cançons amb lletres predefinides utilitzant un teclat MIDI està també suportat.
Llibreria del cantant Cada concessionari de Vocaloid desenvolupa la Llibreria del Cantant o una base de dades de mostres de fragments vocals de gent real. La base de dades ha de tenir totes les combinacions possibles de fonemes de l'idioma objectiu, incloent difonos (una cadena de dos fonemes diferents) i vocals sostingudes, també com els polifònics amb més de dos fonemes si és necessari. Per exemple, la veu corresponent a la paraula en anglès "sing" ([sIN]) pot ser sintetitzada enllaçant la seqüència de difonos "#-s, s-I, I-N, N-#" (# indicant un fonema mut) amb la vocal sostinguda ī. El sistema Vocaloid canvia la altura d'aquests fragments de manera que ajusta la melodia. En ordre d'obtenir sons més naturals, tres o quatre rangs d'altura diferents són requerits per ser emmagatzemats en la llibreria. El Japonès requereix 500 difonos per altura, mentre que l'Inglés requereix 2,500. El Japonès té molt pocs difonos i més sons sil·làbics que són síl·labes obertes acabant en una vocal. En Japonès, hi ha bàsicament tres patrons de difonos contenint una consonant: mut-consonant, vocal-consonant i consonant-vocal. D'altra banda, l'Inglés té moltes síl·labes tancades acabant en difonos consonant, consonant-consonant i consonant-mut també. Així, més difonos són necessaris per ser gravats en una llibreria Anglesa que en una Japonesa. A causa d'aquesta diferència lingüística, una llibreria Japonesa no és adequada per cantar en Anglès.
Motor de síntesi El motor de síntesi rep la informació de la partitura continguda en missatges MIDI dedicats anomenats Vocalod MIDI enviats per l'Editor de partitura, ajusta l'altura i el timbre de les mostres seleccionades en domini de freqüència i els uneix a les veus de cant sintetitzades. Quan Vocaloid corre com un VSTi accessible des de la DAW, el complement VST inclòs passa per alt l'Editor de Partitura i envia directament aquests missatges al Motor de Síntesi.
Ajust de sincronització
En veus de cant, la consonant onset d'una síl·laba és pronunciada abans que la vocal onset sigui pronunciada. La posició d'inici d'una nota anomenada "Note-On" necessita ser la mateixa que la vocal onset, no el començament de la síl·laba. Vocaloid manté la "partitura sintetitzada" en memòria per ajustar la sincronització de la mostra, així que la vocal onset hauria d'estar estrictament en la posició "Note-On". Sense ajust de sincronització podria resultar en un retard.
Conversió d'altura
Des que les mostres són gravades en diferents altures, la conversió d'altura és requerit quan concatenen les mostres. El motor calcula una altura desitjada de les notes i atac i paràmetres de vibrato, i llavors selecciona les mostres necessàries de la llibreria.
Manipulació del timbre
El motor arregla el timbre al voltant de la unió de les mostres. El timbre d'una vocal sostinguda és generada interpolant envolupants espectrals de les mostres circumdants. Per exemple, quan es concatenen una seqüència de dífonos "s-e, e, e-t" de la paraula anglesa "set", l'envolupant espectral d'una ē sostinguda en cada quadre (frame) és generat interpolant ē al final de "s-e" i ē al principi de "e-t".
Transformacions
Després de la conversió d'altura i de la manipulació del timbre, el motor ho transforma, igual que la Transformada ràpida de Fourier Inversa (IFFT), per emetre veus sintetitzades.
Vocaloid VSTi Plug-in Permet emplear el programari com un instrument VSTi en qualsevol Estació de treball d'àudio digital (Yamaha indica que VocaloidVSTi no funciona en Cakewalk Sonar). Permet tocar en temps real les melodies des d'un teclat midi o un piano roll prèviament configurat.
Els motors Vocaloid 1 i 2 posseeixen un plug-in VSTi, però en la versió 3 aquesta ja no està inclosa.
Història del programari El programa s'ha desenvolupat des del 1997 a partir de les recerques d'un grup d'enginyers acústics, dirigit pels cercadors Kenmochi Hideki i Xavier Serra, a l'inici com una recerca fonamental sense ànim comercial. Si ja existien veus sintètiques que podien pronunciar de manera intel·ligible missatges, fins aleshores, sempre semblaven veus de màquines força monòtones. El repte més gran era desenvolupar una veu amb totes les entonacions naturals de la veu humana, l'«instrument de música» més complex, encara més quan canta.
VOCALOID