Руах Студия: своя музыка на своём железе

Что такое Ruach Studio, зачем мы её строим, что она умеет уже сегодня и как её поставить себе. Для тех, кто хочет петь свои тексты и не просить на это ничьего разрешения.

Коротко

Ruach Studio — открытая студия для создания музыки, которая живёт на твоём компьютере. Модель, партитура, адаптеры, каждый спетый дубль остаются у тебя. Ничего не сдаётся в аренду по токенам и подписке, никакой облачный сервис не решает, что тебе петь и сколько это стоит.

Открытые модели наконец доросли до того, чтобы стоять на своих ногах. Не хватало студии вокруг них, и её мы строим в открытую, под лицензией AGPL-3.0. Музыка должна быть свободной и в создании, и в раздаче: у кого нет голоса, инструмента и студии, у того всё равно есть право положить свои мысли и чувства на звук.

Почему «Рýах»

Рýах — дыхание, Ветер, без которого нет ни жизни, ни песни. В нашем каноне Рýах — МАМА. Без Ветра нет звука, а без дыхания нет голоса. Студия названа так не для красоты: она выросла из простой нужды петь тексты, над которыми мы трудимся годами — Псалмы, письма, наши ереси, — и петь их так, как слышим сами, а не так, как позволит чужой сервис.

Что умеет Студия

Студия построена вокруг YuE2 — открытой песенной модели команды m-a-p. Модель пишет песню целиком: вокал и аккомпанемент, по твоему стилю, твоему тексту и, если хочешь, твоей партитуре. Вокруг модели — комнаты, каждая со своим делом:

• Творец — здесь рождается песня. Стиль, текст с разметкой частей, партитура, сиды. Под полем стиля Студия подсказывает слова, которые знают её модели, и показывает, на скольких треках каждое слово училось.
• Писатель — тексты с помощью языковой модели, которая тоже работает у тебя на машине, а не в чужом облаке.
• Огранщик — то, что делают со звуком после записи: разделение на стемы, ремастер, перевод звука в ноты (MIDI), сборка проекта для REAPER и других программ сведения.
• Тренер — обучение своих адаптеров (LoRA) на своих песнях, чтобы модель пела твоим почерком.
• Библиотекарь — все дубли с их оценками, заметками, пространствами, альбомами и плейлистом. Ничего не теряется и ничего не удаляется без твоего слова.
• Художник — обложки к песням, тоже на своей видеокарте.
• Видеограф — движущиеся кадры к песням. Это самая молодая и самая прожорливая комната.

Интерфейс говорит на двенадцати языках, среди них русский, украинский и белорусский. В Движке есть вкладка «Отладка»: она ничего не записывает, пока ты её не включишь, и ничего не отправляет без твоего «да».

Наши волны: First Wave и Tsunami Wave

YuE2 хороша, но учили её не на нашей музыке. Поэтому мы дообучаем её сами и выкладываем результат открыто, на Hugging Face, в репозитории goldhub/YuE2-RS-Finetunes.

• First Wave (RS-FW) — первая волна дообучения: семь слияний в разных точках обучения. Самое уравновешенное из них — 2.4 ×0.75.
• Tsunami Wave (RS-TW) — вторая волна, выращенная поверх первой на толстом наборе: 109 250 треков, около 6 650 часов звука. Две трети этого набора — инструментальная музыка, почти треть — пение, немного — речь. Из языков больше всего английского (7 %) и русского (5,8 %), есть иврит (1,7 %) и ещё десятки языков понемногу.

Из второй волны выложено два слияния:

• RS-TW 2.0 ×0.75 — безопасный баланс. С версии 2.0.6 Студия поёт на нём по умолчанию.
• RS-TW 2.0 ×0.9 — тектоника: смелее, шире, но без гарантии устойчивости.

Каждое слияние лежит полным набором: GGUF в трёх точностях, safetensors в разметке m-a-p и пара файлов для ComfyUI.

Ринг: честное сравнение

Хвалить себя легко, поэтому мы поставили свои модели в ринг против коммерческих сервисов — SUNO v6 и Musicful V3. Двадцать песен в разных жанрах и языках, у каждой восемь сторон: два коммерческих сервиса, исходная YuE2 и пять наших файнтюнов. Все пробы можно послушать на визитке Студии и сравнить самому, а под ними лежит таблица замеров. В каждой её строке жирным выделено лучшее значение, и не везде оно наше.

Один замер стоит назвать здесь. Пик-фактор — насколько пики песни поднимаются над её средней громкостью — у SUNO v6 14,4 дБ, у Musicful V3 15,7 дБ, у наших моделей 16,2–16,6 дБ. Диапазон громкости у них 5,9 и 6,0 LU, у нас 6,4–7,0 LU. Проще говоря, наши песни дышат шире: тихое в них остаётся тихим, а громкое — громким, и звук не сплющен ради того, чтобы казаться громче. Для песен, в которых есть молитва и крик, это не мелочь.

Иврит и греческий

Читателям IGR.BIBLE это будет близко. В Студии есть свои шрифты для библейских языков: иврит набирается шрифтом David CLM, греческий — GFS Didot, и оба выбираются в Движке. Строки на иврите и греческом в тексте песни, в названиях и стилях выглядят так, как должны. Интерфейс на иврите готовится следующим.

Что нужно, чтобы её поставить

• компьютер с Linux и видеокартой NVIDIA: 24 ГБ видеопамяти хватит на всё в полной точности, на картах 12–16 и даже 8 ГБ Студия тоже поёт, на сжатых моделях;
• от 34 до 41 ГБ на диске для установки, до 204 ГБ, если ставить все комнаты;
• браузер.

На бесплатных облачных блокнотах вроде Colab Студия не работает: это целая студия, а не блокнот. Она собирает свой движок на той машине, где живёт. Платить за неё не нужно — ни подпиской, ни токенами. Цена — твоё электричество и твоё время.

Код Студии открыт по AGPL-3.0. Веса YuE2 и наши файнтюны идут под некоммерческими лицензиями Creative Commons: эти лицензии говорят о весах, а не о песнях, но прочти их, прежде чем продавать спетое.

Для україномовних читачів

Студія повністю говорить українською: інтерфейс, підказки й гайд перекладені. У ринзі серед двадцяти пісень є й українська. Став, твори, пиши нам, що чути, а що ні!

Где взять

• Код и установка: github.com/igrbible/Ruach_Studio
• Наши файнтюны: huggingface.co/goldhub/YuE2-RS-Finetunes
• Визитка Студии, ринг и замеры: ruachstudio.igr.bible

Студия растёт каждый день. Мы сами делаем в ней свои песни, поэтому всё, что в ней ломается, мы замечаем первыми. Если найдёшь то, чего не заметили мы, — пиши на GitHub.

🔥 ДЛЯ ГЛИФОВ, НЕ ДЛЯ БУКВ. ДЛЯ ДЫХАНИЯ, НЕ ДЛЯ ДОГМ. ДЛЯ МАМЫ, НЕ ДЛЯ РАБСТВА.