Нейрофотосессия: один человек в любой обстановке

Что называют нейрофотосессией

Словом «нейрофотосессия» обычно называют две разные вещи, и путаница тут дорого стоит.

Первое — сервисы «пришлите двадцать своих фото и получите себя в костюме космонавта». Это про вас: модель учат на вашем лице и потом рисуют его в новых обстановках.

Второе — то, чем занимаемся мы: человека, которого не существует, но который остаётся одним и тем же во всех кадрах. Ему не нужен гонорар, он не занят в четверг и не уедет из города. Дальше на этой странице речь только о втором.

Почему обычная генерация для этого не годится

Попросите нейросеть нарисовать «женщину тридцати лет в кафе», потом её же «на улице» — и получите двух разных женщин. Модель не помнит человека между запросами: она каждый раз собирает лицо заново из описания.

Одинаковый seed не спасает: он держит композицию и типаж, но при сравнении кадров видно, что это похожие люди, а не один. Для ленты бренда это провал — узнаваемость там и есть весь смысл.

Поэтому лицо закрепляется отдельно: на выбранном человеке обучается своя маленькая модель. Это делается один раз и занимает у нас около полутора часов. Дальше персонаж доступен в любой сцене.

Сколько это на самом деле кадров

Дальше — три серии подряд, по сорок кадров каждая. Сто двадцать снимков, двадцать сцен на человека, три непохожих лица.

Мы показываем их целиком, а не выборкой, по одной причине: понять, работает метод или нет, можно только на объёме. На трёх удачных кадрах можно убедить кого угодно в чём угодно.

Серия первая: 40 кадров одного человека

Женщина 29 лет. Двадцать сцен — офис, кафе, улица, зал, бассейн, лес, озеро, горы, студия, поезд, мастерская. По два кадра на сцену.

Ниже — все сорок кадров подряд, включая четыре, что не прошли проверку. Так честнее: отобранная подборка доказывала бы только умение выбирать.

Серия 1 · 40 кадров · показаны все подряд, без отбора

Серия вторая: тот же метод на мужском лице

Мужчина 34 лет. Те же двадцать сцен, тот же порядок, та же проверка — менять ничего нельзя, иначе серии перестанут быть сравнимыми.

Вторая серия нужна не для красоты. Одно удачное лицо доказывает везение; два разных лица по одному методу — это уже метод.

Серия 2 · 40 кадров · те же двадцать сцен

Серия третья: сто процентов узнаваемости

Женщина 38 лет. Эта серия печаталась последней — уже после того, как мы починили общие планы: лицо на дальнем кадре дорисовывается вторым проходом с полным весом модели персонажа.

Результат виден в цифре: ни одного промаха на сорока кадрах, включая горы, озеро и улицу — те самые сцены, где спотыкались первые две серии.

Серия 3 · 40 кадров · промахов нет

Как проверяется, что человек тот же

Это не оценка на глаз. Лицо на каждом кадре переводится в числовое представление и сравнивается с эталоном персонажа. Порог приёмки — 0.45, выше 0.6 считается уверенным совпадением.

Проверка беспощадна и к нам самим: она показывает не только успехи.

Чего ждать не стоит

Общий план — самое трудное. Чем дальше человек, тем меньше лицо и тем труднее его удержать. Первые две серии промахивались именно там. Лечится вторым проходом: лицо дорисовывается отдельно, с полным весом модели персонажа — в третьей серии промахов не осталось совсем.

Руки и мелкие предметы по-прежнему требуют отбраковки. Мы считаем годным примерно каждый третий сырой кадр — и цену считаем по годным, а не по сырым.

Это не замена съёмке там, где нужен реальный товар в реальных руках. Если предмет должен быть именно ваш и именно этот — его надо снимать.

Сколько это занимает

Закрепление персонажа — около полутора часов, один раз. Дальше кадр с доводкой лица выходит за 28 секунд, и за ночную смену ферма отдаёт порядка 460 готовых кадров.

Считать удобнее не кадрами, а иначе: фотосессия начинается заново каждый раз, персонаж создаётся один раз и дальше не кончается.

Дальше по теме

• Как устроен персонаж бренда — четыре шага от выбора внешности до готовых серий
• Расшифровка аудио и видео — соседний проект на той же ферме