Нейросеть «Балабоба» заменила копирайтера. Эксперимент Educate Online. Читайте на Cossa.ru

02 июля 2021, 11:20

Нейросеть «Балабоба» заменила копирайтера. Эксперимент Educate Online

«Может ли нейросеть забрать работу у копирайтеров?», «Когда нейросеть научится писать тексты?» — частые дискуссии в профессиональной среде. В Educate Online приняли на испытательный срок новую нейросеть «Балабоба» от Яндекса и провели эксперимент в Instagram, чтобы понять — можно ли «набалабобить» достойные посты?

Нейросеть «Балабоба» заменила копирайтера. Эксперимент Educate Online

Суть эксперимента — в течение недели писать все тексты, заголовки и даже придумывать визуал постов и историй для основного аккаунта компании с помощью нейросети.

Как работает «Балабоба»

Нейросеть работает на основе языковой модели YaLM и строит грамматически правильные и связные тексты. Она генерирует каждое последующее слово в предложениях, потому что обучена на индексируемых Яндексом страницах и записях пользователей в социальных сетях. При этом тексты стилизуются под определённые тематики. Например, рекламные слоганы или синопсисы фильмов.

Ход эксперимента: шаг за шагом

Перед началом эксперимента мы с коллегами сформулировали пять гипотез, а также решили не рассказывать другим командам об эксперименте вплоть до выхода кейса, чтобы провести качественное наблюдение за реакцией коллег на публикуемый контент.

Контент-план на неделю был определён ещё до эксперимента, поэтому мы не пытались подстроить его под нейросеть.

Гипотеза № 1. Нейросеть сможет самостоятельно писать более 50% текста для постов и сториз

Нейросеть «Балабоба»

Нейросеть «Балабоба»

Как показал эксперимент, средний процент текста, написанного нейросетью:

  • для постов (за неделю вышло 3 поста) — 47%;

  • для историй (за неделю вышло 12 историй) — 41%.

Если нужен короткий текст по одному из популярных в поисковиках запросов, например, «как поступить в зарубежный университет» — «Балабоба» способна предложить приемлемый вариант. Конечно, не с первого раза. Придётся «побалабобить» 5–10–20 раз по разным сочетаниям ключевых слов, но полученные результаты можно комбинировать между собой или даже использовать сразу без коррекции. Особенно удобно искать идеи и тезисы для сториз, так как там преобладают короткие тексты.

Мы для Instagram пишем более развёрнутые посты, местами с рекламным CTA, поэтому одной «Балабобой» ограничиться не получилось. Приходилось корректировать предложенные варианты, добавлять слова-связки в предложения, убирать повторы и ненужные местоимения, чтобы пост был более логичным и читабельным для подписчиков и не выглядел как seo-текст.

Гипотеза № 2. Нейросеть сможет на 100% самостоятельно придумывать заголовки для постов и историй

Нейросеть «Балабоба»

Здесь мы не столкнулись с проблемами и на 100% доверились нейросети:

  1. вводим ключевые слова по теме Х;

  2. перебираем варианты разных режимов «Балабобы» и выбираем лучший. Например, вводим «Помощники в изучении английского» и получаем «Помощники в изучении английского. Что может быть лучше?». По наблюдениям, самые подходящие и креативные режимы: «рекламные слоганы», «народные мудрости» и «тосты».

После эксперимента мы с командой решили, что именно для этой задачи мы точно продолжим время от времени пользоваться нейросетью.

Гипотеза № 3. Нейросеть сможет придумывать сюжеты для визуализации постов и сториз

Нейросеть «Балабоба»

До эксперимента казалось, что режим «синопсисы фильмов» поможет генерировать сторителлинг и визуализировать его как минимум в формате историй Instagram. Но мы не учли последовательность создания контента:

  1. генерируем текст и заголовок с помощью нейросети;

  2. пытаемся генерировать сторителлинг для визуала и понимаем, что идейно мы являемся заложниками первого шага.

Выводы:

  • возможно, стоит попробовать поменять шаги местами и всё получится;

  • не стоит писать в запросе конкретные вещи: «5 полезных приложений для изучения английского», «подарочный сертификат», «сертификат на 3 занятия». Иначе мы рискуем получить не историю для вдохновения, а конкретные руководства к действию или даже рекламу.

Гипотеза № 4. ERR и охваты постов и сториз не будут отличаться от обычных

Нейросеть «Балабоба»

Если посмотреть на график выше, то сперва можно ошибочно увидеть причинно-следственную связь между работой нейросети и показателями эффективности контента. Но на самом деле небольшое падение связано с другими факторами:

  • одна из тем была про высшее зарубежное образование. Этот сегмент аудитории для нас новый и в ядре подписчиков таких людей ещё не так много. Как итог — чуть меньшая активность;

  • в субботу по плану стояла подборка приложений для тренировки английского и обычно в 90% случаев топы собирают высокий охват и ERR. Но похоже случились 10% и мы получили очень маленькую активность.

Нейросеть «Балабоба»

Пункты выше могли выглядеть как оправдание, если бы не показатель охвата историй — он, наоборот, вырос на 30%. Мы это связываем с тем, что нейросеть рекомендовала очень простые тезисы, и в связке с голосованием получили высокую активность аудитории.

Нейросеть «Балабоба»

Вывод: нейросеть не влияет негативно на показатели активности.

Гипотеза № 5. Коллеги и подписчики не заметят изменений

Нейросеть «Балабоба»

Всё было под грифом «совершенно секретно». Во время эксперимента мы целенаправленно делились контентом в общих рабочих чатах, чтобы получить обратную связь.

Коллеги не только не заметили изменения, но даже отметили качество контента.

Если говорить про подписчиков, то в комментариях и в личных сообщениях никто ничего не писал. Но, как нам кажется, объективнее судить по количественным показателям активности. Из гипотезы № 4 стало ясно, что аудитория ничего не заметила.

Что пошло не так

Оказалось, «Балабоба» не всемогущая. Например, однажды в начале рабочего дня нейросеть будто «сломалась», генерируя бессвязные тексты и заголовки. Дело в том, что качество текстов, которые выдаёт нейросеть, напрямую зависит от количества подобранных заранее ключевых слов.

Нейросеть «Балабоба»

Так сможет ли нейросеть заменить копирайтера?

Мы рассказали о нашем эксперименте директору по развитию технологий искусственного интеллекта Яндекса Александру Крайнову и спросили: «Может ли нейросеть заменить копирайтера?»


       

Александр Крайнов

Директор по развитию технологий искусственного интеллекта Яндекса


«Генеративные нейросети способны писать очень логичный и связный текст. Но у них нет своего мнения, нет цели чего-либо своим текстом добиться.

Так что нет. Хороших копирайтеров они не заменят. Но нейросети вполне могут стать инструментом копирайтера.

Думаю, что в скором времени копирайтеры будут генерировать продолжения текста, выбирать из сгенерированных результатов, править, дописывать, генерировать ещё... В общем, использовать нейросети как один из способов накидать идеи».

  • «Балабоба» как второй пилот — хороший помощник, особенно в процессе создания креативных заголовков. Местами напоминает нейросеть от Студии Артемия Лебедева «Николай Иронов», цель которой помочь с креативными идеями, а не создать готовый продукт.

  • Писать полноценные посты нейросеть пока не способна, но как показал эксперимент — до 50% вполне. Хотя стоит отметить, что в идеале этот текст всё равно стоит дорабатывать.

  • Как отметил Александр Крайнов, нейросети пока не готовы заменить хороших копирайтеров.

  • Языковая модель YaLM (Yet another Language Model), на основе которой работает «Балабоба», уже пишет довольно «человечные» и логичные тексты, которые нельзя так просто распознать.

  • Эксперимент вдохновил нашу команду нешаблонно посмотреть на привычные процессы и чаще обращаться к ИИ за вдохновением. Так что рекомендуем взять нейросеть себе в штат :–)

Как трудоустроить «Балабобу» в вашу команду

  • Составьте список ключевых слов по теме — именно по ним нейросеть подберёт продолжение текста. Например, если мы хотим написать пост про высшее образование за рубежом, то это и вбиваем в нейросеть.

  • Невозможно предсказать, за какое время сгенерируется подходящий для вас текст — с первого или пятнадцатого раза. Иногда, чтобы «балабобить», нужно запастись рабочим временем и терпением.

  • Выберите раздел синопсисов фильмов. Тогда нейросеть за вас придумает варианты сторителлинга.

  • Для того, чтобы генерировать заголовки, перейдите в разделы «ТВ репортажи» и «рекламные слоганы».

  • А если ваши коллеги против трудоустройства нейросети, то всё равно попробуйте работать с «Балабобой». Возможно, никто не заметит изменений. Главное использовать с толком и здравым смыслом!

Команда проекта

Никита Верещагин, Алина Потозян, Надя Озонук, Дина Бородина, Екатерина Бабичева и «Балабоба».

От редакции

Оказывается, «Балабоба» может генерировать и диджитал-кейсы. Вдруг и вся эта статья написана нейросетью?

Источник фото на тизере: Erik Eastman on Unsplash

Мнение редакции может не совпадать с мнением автора. Ваши статьи присылайте нам на 42@cossa.ru. А наши требования к ним — вот тут.

Телеграм Коссы — здесь самый быстрый диджитал и самые честные обсуждения: @cossaru

📬 Письма Коссы — рассылка о маркетинге и бизнесе в интернете. Раз в неделю, без инфошума: cossa.pulse.is