Очень часто возникает вопрос оценки клиентского опыта. Часто для этого предлагается использовать NPS (Net Promoter Score), который часто включен в стратегические показатели топ-менеджмента. NPS - очень туманая метрика, которой можно вертеть в своих интересах. Почему?

NPS был изобретен Фредом Райхельдом и командой Bain and Company в 1996 году и широко популяризирован Harvard Business Review в 2003 году. Его цель заключалась в том, чтобы понять удовлетворенность и лояльность клиентов. NPS был в первую очередь ориентирован на обычные магазины и потребительские товары.

Алгоритм расчёта NPS делает его легко управляемым, статистически неточным индикатором намерений, а не поведения. Лучшие исследовательские вопросы касаются поведения в прошлом, а не в будущем. Спросит человека, будет ли он стараться вести здоровый образ жизни. Это требует, чтобы он предсказывал свое будущее поведение.

Нас больше интересует то, что клиенты сделали, чем то, что они сделают. Нас интересует реальное поведение, а не предсказание поведения.

Кроме того, маловероятно, что одна метрика может охватить все, что волнует команду, когда речь идет о лояльности. Статья про то, почему не стоит считать NPS.

Чтобы максимизировать ценность от опросов NPS, важно учитывать не только количественные оценки, но и качественные ответы. Многие создатели продукта склонны чрезмерно сосредотачиваться на количественном вопросе: «Насколько вероятно, что вы порекомендуете наш продукт другому человеку?». При этом они упускают из виду качественный открытый вопрос: «Почему вы оценили наш продукт именно так, как вы это сделали?», который обеспечивают глубину и широту понимания.

Другим подходом является адаптация оценки усилий клиента, которая обычно используется для измерения усилий клиентов, необходимых для получения услуги или использования продукта. Стандартная методология CES (Customer Effort Score) заключается в том, чтобы спрашивать пользователей о том, насколько легко или сложно было выполнить задачу: компании создают лояльных клиентов в основном за счет сокращения усилий клиентов, то есть помогают им быстро и легко решать свои проблемы, а не восхищаться их услугами.

Как и в случае с NPS, метрика CES состоит из всего одного вопроса: как просто вам было решить свою <проблему>?

Большинство стандартных вопросов CES имеют пятибалльную шкалу от «очень сложно» до «очень легко»:
– Очень мало усилий
– Мало усилий
– Среднее количество
– Много усилий
– Очень много усилий

В контексте оценки функций, если функции предназначены для решения конкретной проблемы, методология CES может использоваться для опроса пользователей функций, насколько легко или сложно было решить проблему после того, как они использовали эту функцию. Однако для функции лучше перефразировать варианты вопросов и ответов:

«Насколько легко было решить <проблему>, используя <функцию>?»

• Гораздо сложнее, чем ожидалось
• Сложнее, чем ожидалось
• Как и ожидалось
• Легче, чем ожидалось
• Гораздо проще, чем ожидалось

После того, как вы соберете данные об удовлетворенности, любые функции, вызывающие критику, должны быть исследованы, чтобы определить, как улучшить, изменить клиентский опыт.

Для большинства продуктов вместо измерения удовлетворенности лучшим показателем соответствия продукта рынку является оценка удержания (retention). Обычно есть ключевое действие, которое клиент предпринимает в отношении продукта, которое лучше всего представляет ценность продукта. Например, доля клиентов, выполнивших <ключевое действие> в месяц.

Удержание - это всегда запаздывающий показатель наличия PMF! Для улучшения общего роста важно разработать основу для понимания удержания.

На базе этого простой аксиомы: удержание пользователя формируется за несколько стадий знакомства с продуктом, построена вся поведенческая аналитика.

Сначала вам нужно определить модели поведения, которые связаны с предлагаемыми в продукте функциями. Обычно они описываются через удержание пользователей:

D1 - удержание в первый день
D7 - удержание на 7 день использования
D30 - удержание на 30 день использования

Эти значения показывают процент пользователей, которые активны через один, семь и 30 дней после регистрации. Эти значения могут быть представлены в форме когортного анализа и в виде кривой удержания (проходили раньше в курсе).

Однако удержание - это отложенный показатель ценности. На самом деле удержание начинается с успешной стратегии онбординга, затем вовлечения и обеспечения того, чтобы они понимали реальную ценность вашего продукта.

На примере ниже показаны основные этапы опыта при онбординге в TikTok, о котором мы говорили на прошлом уроке.

Метрика активации — это прокси-метрика того, сколько и каких действий совершает пользователь, чтобы получить ценность от продукта, опережающий показатель наличия PMF.

Наличие метрики активации дает вам возможность направлять пользователей к более быстрому достижению ценностного предложения. Это напрямую влияет на удержание пользователей и ,в свою очередь, на вовлеченность. Метрики активации часто делят на метрики онбординга и использования.

Онбординг — это направляющий инструмент для пользователя, чтобы быстрее достичь метрики активации: вам необходимо подкрепить ценностное предложение коммуникацией и направить его к достижению ценности. Активацией как раз называют достижение aha-moment - "волшебного момента", который заставляет их хотеть возвращаться каждый день, оставляя им понимание ценности, которую обеспечивает продукт.

Когда пользователь впервые подписывается на продукт, он хочет найти в нем ценность, решив насущную потребность. Обычно они имеют некоторое представление о том, какой будет эта ценность, и если ваш маркетинг и обмен сообщениями эффективны, они уже поймут ваше основное ценностное предложение еще до того, как попробуют ваш продукт. В этот момент что-то щелкает — когда пользователь понимает, что он действительно может извлечь выгоду из продукта.

Иногда пользователи активно осознают этот момент, а другие переживают его более подсознательно. В любом случае, ага-момент — это переключатель, который превращает оценивающего пользователя в активированного пользователя. Это также момент, который часто отделяет пользователей, которые остаются, от тех, кто уходит.

Модель онбординга отвечает на вопрос: «Может ли продукт помочь пользователю достичь ценностного предложения до того, как он покинет продукт?».

Обычно метрики активации завязаны на какое-то действие пользователя в продукте, которое является индикатором первого получения ценности, соответственно метрика активации - доля пользователей, которое совершили это действие в промежуток времени (в первый день, второй день и т.д.).

Для этого есть два показателя: метрика ценностного взаимодействия и Time To Value (TtV) - время между регистрацией и целевым действием. Вся идея онбординга сводится к тому, чтобы сначала определить ценное целевое действие, а потом снизить TtV.

Существует несколько способов подсчета эффективности онбординга (эти показатели можно считать на сессию использования продукта):

Вовлеченность коррелирует с удержанием, поскольку обе метрики сосредоточены на одном и том же основном действии. При этом важно помнить о разнице между ними, которая заключается в том, что удержание относится к тому, как долго пользователи остаются в продукте, основываясь на основном действии, тогда как вовлеченность измеряет, как часто пользователи выполняют ценностное действие.

За использование продукта в модели подписки отвечают метрики DAU и MAU. Ежедневные и ежемесячные активные пользователи (DAU и MAU) показывают, сколько людей на самом деле используют решение.

Недостаточно завоевать клиента. Вы хотите, чтобы они продолжали возвращаться к вашему продукту, потому что они действительно видят преимущества от его использования.

Цель вашего продукта — обеспечить постоянную и постоянную ценность для ваших клиентов. Вот почему важно соизмерять этот показатель с количеством платящих клиентов и следить за его динамикой с течением времени.

Одна из самых важных вещей, которую вам нужно установить в первую очередь, — это точное определение активных клиентов. Что определяет активного клиента для вашего решения? Достаточно ли того, что ваши пользователи входят в систему, чтобы проверять сообщения, или им действительно нужно выполнять определенные задачи? Как только определение станет ясным, вы сможете отслеживать активных пользователей с течением времени.

Для групповых аккаунтов обратите внимание, что определение здесь немного сложное, поскольку у каждой учетной записи может быть несколько пользователей, которые работают с вашим продуктом. Каждый член команды является пользователем. Это может создать неправильную картину активированных учетных записей, так как большие команды будут искажать результат. С другой стороны, компании могут добавить всех членов команды в качестве пользователей, но тогда продукт будет использоваться только небольшой группой из них. Вот почему может быть полезно предложить клиентам удалить неактивных пользователей (как это происходит, например, с Facebook для бизнеса) или выполнить другие расчеты для пользователей и учетных записей. Вы также можете проверить количество активных пользователей на учетную запись, поскольку чем больше пользователей работает с продуктом в определенной организации, тем больше у вас будет "внутренних чемпионов", которые будут поддерживать ваш продукт и приведут к более высокому удержанию.

Отсюда мы можем вывести интересные метрики:

DAU/MAU:

Еще одна распространенная метрика DAU/MAU — отношение ежедневных активных пользователей (DAU) на ежемесячных активных пользователей — является распространенным показателем для измерения вовлеченности, у него есть свои недостатки .

DAU/MAU стал популярным показателем благодаря Facebook, который популяризировал этот показатель.

Количество сеансов на пользователя:

Эта метрика очень полезна, чтобы начать изучать вовлеченность и активацию клиентов для продуктов, подразумевающих частый возврат и длительное использование (контентные сервисы).

Чтобы вычислить среднее значение этого значения, рекомендуется избегать использования средних значений, удаляя выбросы (самые высокие и низкие значения), которые могут исказить результат, и принимать медианное значение:

Сеансов в день (активация)

Некоторые компании измеряют активацию сеансами в день. Этот показатель оценивает формирование привычки и то, насколько хорошо конкретное решение интегрировано в повседневную жизнь.

Время, проведенное в продукте

Еще один стандартный показатель вовлеченности — время, которое люди проводят в продукте.

Это значение может иметь две стороны. Если ценность, которую получают клиенты, прямо пропорциональна времени, которое они проводят в вашем программном обеспечении, то это положительный показатель вовлеченности. Если ваша основная ценность основана на доступности, удобстве использования и скорости, то этот показатель может означать, что что-то идет не по плану. Простой пример — Google. Они потратили годы, пытаясь сократить время, которое пользователи проводят в своей поисковой системе. То же самое может быть справедливо для программного обеспечения, которое обещает быть самым быстрым решением (например, расчет налогов).

Продолжительность сеанса

Важно отслеживать среднюю продолжительность сеанса для каждого сегмента клиентов. Также в этом случае лучше использовать медианные значения вместо средних.

Одна из причин, по которой компании предлагают фримиум — это устраняет финансовые трения, связанные с началом использования продукта и формированием привычки.

Конверсия в платную версию - значение, которое показывает, насколько эффективен процесс онбординга и активации. Это значение можно отслеживать отдельно для разных клиентских сегментов, чтобы направлять маркетинговые мероприятия по таргетингу на те клиентские сегменты, которые имеют более высокий коэффициент конверсии .

Мы рассмотрели, как оценивать успешность опыта через метрики активации и удержания.