В интернете каждый день появляются новые творения нейросетей, которые то и дело переселяют героев популярных книг, фильмов и сериалов в другие вселенные. А то и сами вселенные переселяют и переиначивают. Все это подается как «нейросеть нарисовала» (да, мы тоже так делаем 😅), но вообще-то…
Создается впечатление, что можно вбить пару слов в какой-нибудь Midjourney — и вот у тебя уже готов художественный шедевр на практически любую тему. Народ развлекается, художники обижаются. Потому что на самом деле все это устроено немножко не так, и действительно крутые кроссоверы и перевоплощения никакая нейросеть сама не сгенерит. Нет у искусственного интеллекта на это достаточно знаний и, чего уж там, талантов. За каждой крутой идеей и — более того! — за каждой крутой реализацией этой идеи стоит художник (или несколько).
Чтобы все-таки развлечь публику, но заодно показать, как же «рисуют» нейросети на самом деле и какой труд за всем этим стоит, theGirl задружились с ии-художниками и авторами тг-канала «Нейронка каждый день!» Анной Семеновой и Павлом Поповичем. Ребята будут специально для нас не только создавать крутые арты, но и подробно рассказывать, как у них это получилось.
Ну а начать мы решили с любимой темы — вампиры. Причем вампиры самые любимые и популярные 😁
Как нейросети и ии-художники это рисовали
Мы получили запрос на тему персонажей сериала «Дневники вампира» в сериале «Вампиры средней полосы», однако столкнулись с трудностями. Нейронки, с которыми мы работаем — Stable Diffusion, automatic1111, Midjourney и DALL-E 2 — не знают о существовании такого сериала и не знакомы ни с героями, ни с локациями. Кроме того, эти же нейронные сети не очень хорошо рисуют героев из «Дневников вампира» и очень обобщенно изображают локации города Смоленска. Советский интерьер им тоже плохо знаком.
Для решения этих проблем мы сделали следующие шаги:
Во-первых, мы создали и обучили собственные модели при помощи DreamBooth для каждого персонажа из «Дневников вампира», чтобы повысить узнаваемость героев.
Мы также просмотрели сериал «Вампиры средней полосы», чтобы понимать, в каких локациях помещать персонажей.
Для поиска лучших локаций мы написали более 150 промптов и сгенерировали около 600 локаций в нейросети Midjourney.
Затем, используя созданные нами модели для персонажей и сгенерированные локации в Midjourney, мы при помощи Inpainting и Outpainting генерировали персонажей из «Дневников вампира». Написали для это около 100 промптов.
Ну а теперь наконец любуемся на результат! 👇
