Пошаговый процесс оценки вашего контента

Подумайте о том, что ваша команда недавно опубликовала. Как бы вы его оценили по шкале от 0 до 100? И как ваш рейтинг поможет вашей компании?

В тупике? Рассмотрим метод, который разработал Джаред Уайтхед для оценки эффективности контента.

Джаред работает аналитиком в группе маркетинговых операций Red Hat. После 10 лет роста и приобретений технологическая компания B2B оказалась в «постоянном хаосе» со своим подходом к контенту.

Ли Блейлок, руководитель группы глобальной контентной стратегии Red Hat и работавший с Джаредом, отмечает, что у компании «было так много приобретений, так много продуктов, так много маркетинговых команд», что никто не знал, какой контент имеет значение и от какого контента отказаться.

В прошлом году Джаред, Ли и их коллеги решили взять под контроль контент Red Hat. Они хотели выяснить, какой контент у них есть, что они хотят сохранить, что было, а что нет, и что вообще означает «исполнение».

Вот как они это сделали:

• Создана команда по оценке контента
• Стандартизированные типы контента
• Проверил контент
• Разработал метод оценки контента
• Создано доказательство концепции

И вот что они продолжают делать:

• Найдите энтузиастов для продвижения своего метода подсчета очков
• Развивайте метод оценки содержания
• Регулярно проверяйте контент

Новый метод оценки контента Red Hat доказывает свою ценность для бизнеса, предоставляя командам по разработке контента последовательный способ оценки производительности отдельных частей контента, чтобы каждый знал, какому контенту сказать «нет» или «да» .

Ли и Джаред поделились этой инициативой в своей презентации Content Scoring в Red Hat: Создание и применение повторяемой модели производительности на конференции Intelligent Content Conference.

1. Создайте команду по оценке контента.

Джаред описывает две точки зрения о том, как создать систему показателей:

• Группа контента разрабатывает метод оценки, которому следуют другие.
• Межведомственная группа разрабатывает метод подсчета очков, который работает для всех.

Любой подход может работать. Выберите то, что имеет смысл для людей и контента в вашей ситуации. В любом случае выберите людей, которые внесут свой вклад в методологию оценки производительности, которые имеют полную картину контента и имеют представление о системах, используемых для создания, маркировки, распространения и управления этим контентом.

Для Red Hat это означало, что Джаред задействовал команду по маркетингу контента, которая имеет полное представление о маркетинговых активах и системах контента компании, от бренда до маркетинга продуктов и корпоративного маркетинга. Члены команды могут сказать: «Это наша CMS, это наша таксономия. Вот как мы подходим к контенту для его анализа. Это доступные нам инструменты. Вот как мы можем использовать их, чтобы получить то, что мы ищем ».

Когда у вас есть люди, которые понимают контент, который нужно оценивать, и системы, поддерживающие этот контент, вы лучше понимаете другие навыки, необходимые в команде. В некоторых случаях вы можете нанять помощника; в остальном сотрудники могут быть естественным выбором.

Red Hat наняла библиотекаря Анну МакХью, чтобы присоединиться к команде. Джаред и Ли называют ее рок-звездой проекта. «Она видит все маркетинговые активы», - говорит Ли. «Она знает, что доступно, и проделывает огромную работу по анализу этих активов».

Джаред добавляет: «Я мог бы написать роман о роли Анны. Помимо библиотекаря, она стала куратором. И аналитик. Она делает ВСЕ вещи ».

2. Стандартизируйте типы контента.

Команда Red Hat начала инициативу в 2012 году, стандартизировав типы контента - официальные документы, спецификации, инфографику и т. Д. - во всей маркетинговой организации. Он хотел, чтобы все бизнес-подразделения имели общее понимание каждого типа контента, который производит компания.

Для выполнения этой фундаментальной работы по управлению Red Hat пригласила представителя каждой маркетинговой группы для участия в основной группе, которая разработала стандарты для типов контента, над которыми они работали.

Если вы подходите к оценке контента как к кросс-функциональной команде, как это сделала Red Hat, вам необходимо стандартизировать типы контента по отделам. С другой стороны, если вы представляете одну группу контента, разрабатывающую метод оценки, вам не нужно собирать представителей из других групп, но вам все равно необходимо стандартизировать типы контента в вашей группе.

3. Проведите аудит своего контента.

Затем команда Red Hat провела аудит контента. Его библиотека ресурсов - репозиторий внешнего контента на redhat.com - выросла до более чем 1700 ресурсов. Ли, Джаред и Анна не знали, какие из них устарели или неактуальны, но они знали, что им нужно сделать много уборки. «Это было похоже на пространство, полное пыли, - говорит Ли, - из-за чего посетители заболевают инфекцией носовых пазух и уходят, не желая возвращаться».

Им нужно было найти способ идентифицировать - и получить разрешение на удаление - пыльные информационные ресурсы, принадлежащие нескольким группам, вложившим время и деньги в эти ресурсы. Они нашли 419 активов контента старше 18 месяцев, перечислили эти активы на общем листе, определили владельцев и попросили их решить, какие активы должны оставаться доступными.

Поскольку команда не могла ожидать, что владельцы контента изучат все эти активы сразу, они провели непрерывный аудит в течение нескольких месяцев, просматривая 25 активов в неделю. Каждую неделю они отправляли электронное письмо владельцам контента каждой части, давая им одну неделю на то, чтобы обосновать необходимость сохранения любой части в библиотеке ресурсов. Ли объясняет:

Мы не хотели, чтобы мы просто держали его там или нет. Мы хотели понять, почему они хотели оставить это там. Было ли это использовано в кампании воспитания или продвижения? Если да, то иногда мы можем предложить альтернативу.

В конце концов, исключив ROT (избыточный, устаревший, тривиальный контент), они сократили более 1700 ресурсов до 1200.

4. Разработайте метод оценки содержания.

После очистки магазина команда Red Hat сосредоточила свое внимание на анализе оставшихся 1200 объектов контента. Джаред создал метод оценки контента для применения ко всем типам контента и группам контента.

Поскольку все маркетинговые группы использовали одну и ту же платформу веб-аналитики, Джаред использовал этот инструмент, чтобы узнать, что для них важно. Его результаты показали следующие важные показатели по типу контента:

• Блоги - время на странице или процент прокрученной страницы
• Видео - количество нажатий кнопки воспроизведения или процент просмотренного видео
• PDF-файлы - количество загрузок

Другими словами, в зависимости от группы или типа контента у людей были разные способы определения: «Мы выигрываем. Мы делаем свою работу ». Джареду предстояло разработать универсальный способ оценки производительности контента. Ему нужно было, чтобы все говорили на одном языке.

Этот lingua franca цифр должен был работать для людей, которые любят увлекательные аспекты аналитики, а также для тех, кто предпочитает простой английский: работает этот контент или нет? Сделал ли он то, что мы хотели?

Джаред разработал метод оценки, который дает каждому информационному объекту общий балл от 0 до 100. Это число выводится из четырех дополнительных баллов - Объем, Завершение, Траектория и Давность, каждый из которых представляет собой число от 0 до 100. Общая оценка включает весовой коэффициент, который учитывает относительную важность каждой дополнительной оценки для данного актива.

Объем

Индекс объема - это относительный показатель трафика. «Это число относится ко всему прочему обеспечению в нашей библиотеке ресурсов. Это не относится к конкретному типу контента, - говорит Джаред.

Подсчет громкости говорит об осведомленности. Это рейтинг. Он показывает, сколько людей видели данный актив, по сравнению с просмотрами других ресурсов на сайте.

Пример: если веб-страница Red Hat, содержащая загружаемый технический документ, получает больше трафика, чем 60% других веб-страниц Red Hat с загружаемыми ресурсами, эта веб-страница получает оценку объема 60 из 100.

Завершить

Подсчет «Полная» - это процент посетителей, скачавших актив.

Пример: если 40 из 90 посетителей загружают технический документ на данной странице, это 44% загрузок. Общая оценка этой страницы - 44 из 100.

Траектория

Оценка траектории отражает тенденцию.

Пример. В первый месяц веб-страницу посещают 900 человек. Месяц второй, 600 посетителей. Месяц третий, 300 посетителей. Трафик на эту страницу уменьшается. В Red Hat этот отрицательный наклон приравнивается к 0 баллов по траектории.

Если бы количество посещений увеличилось за эти три месяца, оценка траектории отражала бы положительный наклон. Чем выше наклон, тем выше оценка траектории.

Например, у актива было 10 посещений на первой неделе, 20 на второй неделе и 30 на третьей. Наклон (подъем за пробег) этого актива будет равен 30, разделенному на три, что равно 10. Вот как этот расчет разбивается:

повышение на 30 (10 на первой неделе + увеличение на 10 на второй неделе + повышение на 10 на третьей неделе)

над (делится на)

пробег из трех (количество недель)

По словам Джареда, определите шкалу траектории в соответствии с тем, что вы надеетесь извлечь из анализа и что является наиболее полезным для вашей организации. Каждая компания по-своему определяет крутой уклон. Например, если вы считаете, что наклон 10, как показано выше, является сильным (интерпретируя, что этот актив получает в среднем 10 дополнительных посетителей в неделю), вы можете дать ему 100 баллов по шкале траектории. Вы можете определить свою шкалу баллов наклона произвольно (любой наклон больше X получит баллы Y) или вы можете оценить средний наклон всех активов и основать свою шкалу на этом распределении.

Команда Red Hat понимает, что выброс может повлиять на наклон. У него может быть ноль просмотров в один месяц, ноль просмотров во второй месяц, а затем два просмотра в третьем (выброс). Траектория идет вверх. Хотя это положительный знак, это не обязательно означает стабильный трафик. Выбросы учитываются в дополнительной оценке «Время последнего посещения», которая показывает, был ли трафик постоянным и стабильным в течение окна анализа.

Новизна

Дополнительная оценка Recency учитывает активы, сохраняющие свою ценность. Red Hat устанавливает ежемесячную контрольную цель для каждого актива. Актив накапливает баллы в зависимости от того, сколько раз он соответствует эталону:

• 40 баллов, если встречались в последний месяц
• 30 баллов, если встречались в предыдущем месяце
• 20 баллов при встрече за два месяца до этого
• 10 баллов при встрече за три месяца до этого

Пример: Red Hat устанавливает контрольный показатель в 50 загрузок для ресурса и оценивает показатели 1 июля. Точки с давности ресурса распределяются следующим образом:

• 0 баллов за июнь (скачан 31 раз)
• 0 баллов за май (скачано 49 раз)
• 20 баллов за апрель (скачан 51 раз)
• 10 баллов за март (скачивали 60 раз)

Индекс Recency актива в июле составит 30 баллов (0 + 0 + 20 + 10) из 100 баллов.

Как указано в разделе «Траектория», показатель «Время последнего посещения» учитывает выбросы. Положительная траектория (числа растут каждый месяц) может сочетаться с низким показателем Recency, если первые два месяца имели заметно низкие числа (меньше трафика или меньше загрузок). По словам Джареда, оценка Recency «обеспечивает интуитивную проверку Траектории, сообщая нам, является ли этот наклон случайным из-за чрезвычайно нестабильного трафика или этот наклон поддерживается сильным, устойчивым движением».

Другой пример - актив, получающий большой объем трафика в первый, третий и четвертый месяцы, но небольшой - во второй месяц. Наклон этого актива все еще может быть положительным в общих расчетах, и в этом случае вы никогда не узнаете, что трафик упал во втором месяце, не копнув глубже. Оценка с момента последнего посещения указывает на месяц с низким трафиком. «Если бы это было интересно, - говорит Джаред, - мы бы знали, что нужно немедленно изучить этот актив».

Взвешивание

Для каждого информационного ресурса четыре нижних балла ранжируются по-разному по важности и соответственно взвешиваются. Другими словами, взвешивание промежуточных оценок уникально для каждого актива контента, чтобы подчеркнуть, что команда больше всего ценит в этом активе. Каждой дополнительной оценке присваивается весовой процент, что позволяет учитывать в стандартизированных общих оценках вариации приоритета. Благодаря такому взвешиванию общий балл одного актива может быть более полезным по сравнению с другим.

Как работает взвешивание? Предположим, что для данного фрагмента контента Red Hat не заботится о трафике (показатель объема). Он хочет, чтобы посетители, которые пришли к загружаемому ресурсу, сказали: «Эй, я хочу знать об этой теме. Я собираюсь скачать это ». В этом случае оценка «Полная» имеет большее значение, чем другие оценки. Red Hat ставит оценку Complete выше, чем остальные три, примерно так:

В качестве альтернативы, в случае информационного контента, Red Hat может заботиться о том, сколько людей получили доступ к активу (Volume), и не заботиться о Recency. Весовые проценты для этого актива могут выглядеть следующим образом:

Общая оценка

Чтобы рассчитать общую оценку актива, Red Hat умножает каждую дополнительную оценку на ее весовой процент. В этом примере общая оценка ресурса контента составляет 45:

Общая оценка не является ни хорошей, ни плохой. Он приобретает значение только по сравнению с общими оценками остального контента - вот почему оценка была нормализована с использованием весовых процентов. Общий балл позволяет команде сравнивать различные типы контента и показатели, которые в противном случае было бы сложно сравнивать.

Абсолютной шкалы, чтобы указать, что делать с общим баллом 45, не существует. Если остальные ресурсы контента в среднем 32, 45 - это фантастика. Значит, у этой работы все хорошо. Однако, если ресурсы контента в среднем 60, общая оценка 45 побуждает команду исследовать, почему этот фрагмент контента не работает так же хорошо, как его аналоги.

Ли говорит, что этот метод оценки дает больше, чем просто ответ на вопрос: «Хорошо ли он работал?» Команды могут взглянуть на промежуточные оценки и сказать: «Хорошо, у этой пьесы большие объемы, но полные цифры ужасны. Сосредоточены ли наши рекламные усилия в кампании на том, чтобы привлечь нужных людей и получить тонну трафика, и никто из них этого не хочет? Моя целевая страница неэффективна? Что тут происходит?"

Ловушки

Как и все методы подсчета очков, у этого есть подводные камни. С одной стороны, низкий балл не обязательно означает, что часть контента не работает. Оценка относительна. Людям необходимо научиться интерпретировать общие оценки. Джаред приводит следующий пример: «Когда вы видите оценку от 0 до 100, вы думаете, что 90 и выше - это A, от 80 до 90 - это B, 75 - это C. Наш метод не является буквенным».

Еще одна ловушка, свидетелем которой стал Джаред, - люди смотрят только на партитуру. «Число не является жестким правилом. Он не предназначен для использования в качестве единственной точки данных для принятия решения о том, какой контент удалить. Очки - не препятствие ».

Оценки просто предоставляют один из способов оценки производительности отдельных ресурсов контента. В конечном итоге люди должны учитывать, что стоит за оценками, и решать, какие действия имеют смысл.

5. Создайте доказательство концепции для вашего метода оценки.

Оценка контента - это не быстрый процесс, требующий множества заинтересованных сторон. Как заставить людей тратить необходимое время на этот процесс - откладывать для этого другую работу?

Джаред и Ли предлагают начать с доказательства концепции, чтобы показать команде, какие новые идеи можно получить.

Red Hat использует этот экспериментальный период для сбора отзывов от тех, кто будет участвовать в проекте. «Когда вы называете что-то доказательством концепции, они с большей готовностью дают вам критическую и полезную обратную связь, чем просто просматривают это и говорят:« Нет, здесь это не сработает », - говорит Ли.

Доказательство концепции Red Hat было построено как «песочница» для анализа в книге электронных таблиц с данными из API на их платформе веб-аналитики. После того, как данные были помещены в рабочую книгу, Джаред построил функции и вычисления, чтобы обобщить данные в экспериментальной модели оценки контента. Затем он поделился этими данными в виде файлов CSV, чтобы другие могли их просмотреть и прокомментировать.

После того, как заинтересованные стороны одобрили и рассмотрели модель оценки контента, команда по контенту представила модель в виде роуд-шоу: они провели переговоры с командой руководства по маркетингу и с несколькими группами маркетинга, чтобы собрать отзывы и стимулировать принятие. После этого, когда все больше маркетологов поняли модель и ее потенциал, коллеги из Red Hat начали просить Джареда, Ли и Анну провести анализ.

Команда разработала доказательство концепции вокруг вопроса: «Какая методология даст нам то, что мы хотим?» Потребовалось много занятий на доске и много математики. Как только они построили (теоретически) то, что хотели, Джаред приступил к построению этого «в обновляемом, активном состоянии, чтобы мы могли тестировать и настраивать модель по мере того, как с ней сталкивались другие».

Текущая итерация не так уж далека от этой контрольной книги. Red Hat переходит к заключительному этапу, который будет включать в себя ежедневно обновляемую служебную панель, доступную для всех маркетологов.

Вот совет Джареда по созданию доказательства концепции:

Начни с чего-нибудь. Что-нибудь. Если у вас есть идея или общее ощущение того, чего вы пытаетесь достичь, создавайте все, что вы можете, с тем, что у вас есть. Другим будет намного легче понять ваш процесс и цель, если они смогут увидеть прототип и поиграть с ним.

6. Найдите энтузиастов для продвижения вашего метода подсчета очков.

После подтверждения концепции и после того, как у вас есть метод подсчета очков, ваша работа только начинается. Если вы выбросите свой метод и уйдете, «он умрет в течение месяца. Никто не воспользуется этим, - говорит Джаред.

Вы должны быть евангелистом. Вы должны верить, что другие в вашей организации могут использовать ваш метод прямо сейчас. Будьте готовы подходить к людям и говорить: «У нас есть что-то новое, что вам, вероятно, еще не нравится; мы можем доставить вас туда.

И ты не сможешь сделать это в одиночку. Найдите в своей организации людей, которые, узнав о методе подсчета очков, приходят в восторг: «Я могу им воспользоваться. Это может помочь мне начать те разговоры, которых сейчас не происходит ».

Ищите экспертов в предметной области, которые поймут ваш метод оценки и с энтузиазмом пообщаются с другими поставщиками и владельцами контента. Они будут спорить, основываясь на том, что работает, а что нет, говоря такие вещи, как «Я не говорю, что ваш технический документ или видео были ужасными или что они были фантастическими. Я говорю вам, что говорит движение ".

Трудно поспорить с уважаемым человеком, который говорит: «Вот что мы должны делать с этим контентом, потому что так он работает».

7. Продолжайте развивать свой метод подсчета очков.

Ваш метод подсчета очков должен развиваться. Ищите возможности получить новое представление о том, как люди взаимодействуют с вашим контентом. Например, у Red Hat есть много данных о том, сколько людей скачивают его PDF-файлы, но на этом данные заканчиваются. Как объясняет Джаред, это создает экономическое обоснование для использования большего количества HTML-контента:

Имея HTML-контент, мы можем погрузиться в сам актив. Вместо того, чтобы просто сказать «Да, они его загрузили», я хочу знать, сколько времени они провели с этим активом? Как далеко они прокрутили? Мы хотим встроить такую ​​информацию в партитуру.

Подумайте, какое понимание вашей аудитории вы хотите получить, и поищите способы, которыми ваш метод оценки может дать это понимание.

8. Регулярно проверяйте свой контент.

Red Hat теперь ежеквартально проверяет свой контент. «Мы не хотим снова проверять все наши активы сразу», - говорит Ли. Каждый квартал команда определяет активы, которые не обновлялись в течение 18 месяцев, и те, которые работают в нижних 20% общих оценок.

Хотя сами по себе возраст и оценка контента не говорят команде, что архивировать, эта информация определяет, какие активы следует рассматривать в архиве. «Скорее всего, контент не работает хорошо, но, возможно, это так», - говорит Ли. «Возможно, два года назад мы создали ресурс, который был настолько дальновидным, что люди только начинают к нему переходить и получать к нему доступ». Чтобы отфильтровать подобные фрагменты, команда также отмечает нижние баллы Trajectory и Recency.

Затем они перечисляют всех кандидатов для архивации на общем листе, определяют владельцев контента и дают этим владельцам месяц на оценку того, какие активы можно заархивировать. «Мы делаем это сейчас в течение двух кварталов, просматривая около 65 активов в квартал. Я ожидаю, что это число уменьшится », - говорит Ли.

Она добавляет: «Теперь 100% наших посетителей находят именно то, что им нужно, 100% времени». Хорошо, может, и нет, признает она, «но у нас больше шансов удовлетворить нашу аудиторию».

Заключение

Маркетинговая команда Red Hat использует свой метод подсчета очков в течение года и надеется добиться от него большего. «Многим командам в Red Hat будет полезно знать, как работает контент, - говорит Джаред. «Это выходит далеко за рамки контент-команды».

Есть вопросы к Ли и Джареду? Хотите поделиться собственными мыслями? Дайте нам знать в комментарии.

Вот отрывок из выступления Ли и Джареда:

Подпишитесь на нашу еженедельную электронную рассылку Content Strategy for Marketers , в которой представлены эксклюзивные истории и идеи от главного консультанта CMI Роберта Роуза. Если вы похожи на многих других маркетологов, с которыми мы встречаемся, вы будете с нетерпением ждать чтения его мыслей каждую субботу.

Изображение на обложке: Джозеф Калиновски / Институт контент-маркетинга