Розробники описують свою нову ШІ-модель як «швейцарський ніж для звуку».
Nvidia випустила вбивцю всіх нейронок для генерації звуку з тексту / Нейромережа
Компанія Nvidia представила «швейцарський ніж для звуку» – свою нову генеративну ШІ-модель, яка вміє створювати нові звуки та змінювати вже наявні за допомогою тестових підказок. Її назвали Fugatto, скорочено від Foundational Generative Audio Transformer Opus 1.
За словами розробників, нова нейромережа вміє створювати «звуки, які ви ніколи раніше не чули» – наприклад, нявкаючу трубу або перетворити звук фортепіано на людський голос. Як усе це працює, показали на відео:
В компанії також виявили, що Fugatto вміє справлятися із завданнями, які від самого початку не входили в її програму навчання. Наприклад, модель може виділяти мову і змінювати характеристики її звучання – тон, акцент і настрій. А ще вона здатна генерувати звуки, що змінюються з часом, на кшталт шуму зливи, що рухається по землі.
Менеджер з прикладних аудіодосліджень компанії Рафаель Валле вважає, що Fugatto стане для сучасної музики «таким самим проривом, як 50 років тому ним став синтезатор». Втім, поки розробники не поспішають відкривати технологію для всіх охочих.
На думку компанії, будь-яка генеративна ШІ-модель завжди несе в собі певні ризики, оскільки люди можуть використовувати її «для створення того, чого ми вважали за краще б уникати», зокрема, пов’язанне з авторським правом, а також порушенням деяких законів.
Нагадаємо, раніше цього року Nvidia випустила власний аналог ChatGPT. Його відмінною рисою є те, що він здатний працювати локально на комп’ютері з Windows. Доступ до інтернету при цьому не буде потрібно.