# Аудитория и выборка Определяем сегменты, ищем респондентов и подбираем размер выборки под задачу. Чтобы получить результаты, с которыми потом можно будет работать, надо понять, чьи ответы окажутся полезны. Важно учесть опыт респондентов и поведенческие факторы. Если вы делаете конкурента «1С», будут нужны бухгалтеры, а если агрегатор по покупке билетов, надо рекрутировать тех, кто часто путешествует. Демографические факторы (возраст, география, пол и так далее) также могут иметь значение, если вы знаете, что пользователи из разных демографических группы ведут себя по-разному. Чаще всего про аудиторию можно посоветоваться с продуктовым менеджером. Ниже рассмотрим в деталях, как сфокусироваться на нужном сегменте и пригласить его представителей на исследование. ## Как определить сегменты аудитории для исследования История и контекст пользователя влияет на его опыт с нашим продуктом. Например, если вы делаете сервис по доставке лекарств из аптек, потребности и привычки старшего поколения будет сильно отличаться от того, как ведёт себя при покупке медикаментов молодёжь. Продуктовые решения, маркетинговые кампании и другие активности должны быть согласованы с разным опытом ваших клиентов, поэтому важно проводить исследование на релевантных представителях групп ваших пользователей. При определении целевой аудитории исследования нужно ответить на два важных вопроса: Какие критерии характеризуют группу, от которой получим релевантные ответы?При формировании критериев стоит учесть: Демографию (возраст, пол, регион)Уровень дохода Опыт использования нашего продукта (активные пользователи / новички и другие)Опыт использования конкурентов Если вы планируете общее исследование потребностей или болей аудитории, или вам подойдет мнение вашего типичного пользователя, можно взять общие критерии вашей ЦА (регион, возраст) + базовую активность, или выбрать наиболее ценный и перспективный сегмент, который приносит больше прибыли. Важен ли нам опыт одной группы или нескольких? Чтобы определить это, подумайте: - Фрагментирована ли ваша ЦА: ориентируетесь ли вы только на мужчин 35-50 лет со средним доходом, или вы направлены и на молодёжь, и на пожилых клиентов - Насколько сильно отличаются ваши прямые конкуренты: разный опыт их пользователей будет влиять на их взгляд на ваш продукт, и может быть важно узнать разные мнения (например, клиенты WB и Ozon и их восприятие Яндекс Маркета) - Будут ли использованы результаты только для привлечения новых / удержания старых клиентов, или важны оба направления? Если оба – нужно будет сравнить восприятие этих групп. Сколько будет нужно набрать респондентов, если вы выбираете общение с несколькими группами, можно прочитать в главе «Сколько нужно респондентов» [Сколько нужно респондентов](https://wynde.evgeniichekov.com/guide/auditoriya-kak-vybrat-i-poschitat-nuzhnoe-kolichestvo#skolko-nuzhno-respondentov) О чём может сказать объем пула пользователей В процессе подбора выборки вы, скорее всего, сможете оценить объем пула пользователей, подходящих под критерии нужного вам сегмента. Иногда он может оказаться очень мал (например, 20-30 человек), а иногда – наоборот, внушителен (например, около 100 тысяч человек). Если пул очень мал, то стоит задуматься об ослаблении критериев поиска, чтобы набрать релевантное количество респондентов. Помимо значимости для процесса рекрутинга, этот сигнал может означать, что генеральная совокупность пользователей с искомыми критериями так мала, что может быть нецелесообразно рассматривать их как значимых представителей вашей ЦА и пересмотреть ориентиры. К тому же, чем меньше пул, тем дольше будут набираться респонденты. Если пул очень велик, то, наоборот, стоит задуматься, не будет ли полезно конкретизировать критерии, чтобы сфокусироваться на определенной группе пользователей или исследовать различия внутри, чтобы не получить слишком общие, смазанные выводы. Однако, при составлении выборки из “своих” пользователей, большой объем пула даёт и позитивные сигналы: многочисленность группы означает её значимость в составе вашей ЦА, а значит, её мнение важно для развития продукта. Набрать респондентов «изнутри» или «снаружи»? При планировании дизайна исследования нужно определить, можете ли вы получить искомые ответы у ваших пользователей, или необходимо искать аудиторию, не знакомую с вашим продуктом. Это легко определить, задав себе ключевые вопросы, связанные с бизнес-задачей исследования: - Какие знания мы хотим получить? Если цель — понять восприятие и паттерны работы именно с нашим продуктом, зовём на исследование существующих пользователей. Если нужно узнать о потребностях и болях в сфере в целом, стоит дополнить выборку внешней аудиторией. - На какой показатель мы хотим повлиять, используя результаты исследования? Если мы хотим подрастить активность текущих пользователей, то важно узнать про их опыт (например, стремимся понизить Churn rate – показатель оттока пользователей). Если мы хотим привлечь новых клиентов, то может быть важно узнать о потребностях внешней аудитории. - Исследуем ли мы обновление существующего функционала, или планируем создать новый? В первом случае важно проверить, как уже привлечённые клиенты отреагируют на новый интерфейс или опыт, а когда проектируется нечто новое – может быть важно услышать, как это работает в индустрии уже сейчас для пользователей других сервисов и решений. - Есть ли у вас явные конкуренты и имеет ли значение опыт их использования? Наличие других мощных игроков на рынке означает, что у пользователей могут быть уже устоявшиеся паттерны и привычки к лучшим практикам других продуктов. Влияние этого опыта важно учесть, чтобы не допустить ошибок и строить конкурентный продукт, и для этого нужно общаться с клиентами других сервисов. - Достаточно ли у продукта активных внутренних пользователей, чтобы ответить на вопросы исследования? Если ваш сервис только начал своё развитие, активная база клиентов может оказаться слишком мала для релевантных результатов. В таком случае, поможет обратиться к внешней аудитории или набрать смешанную выборку (часть внутренних, часть внешних пользователей). Полезной практикой для качественных исследований станет список “тёплых респондентов”. Его можно собирать из излишка согласившихся на участие при наборе на исследования, или создать входное окно на продукте, где желающие участвовать в будущем оставят свои контакты. Такой список поможет набирать респондентов быстрее или найти замену в экстренном случае. ## Где искать внешних респондентов Для того, чтобы пригласить на исследование пользователей, не знакомых с вашим продуктом, можно воспользоваться следующими опциями: - Услуги рекрутингового агентства. Компании, специализирующиеся на подборе респондентов для исследований в конкретных странах и регионах, могут набрать для вас респондентов “под ключ”. Этот вариант достаточно удобен и освобождает ваше время, но существенно дороже остальных. - Набор респондентов через неавторизованную зону вашего сервиса. Если у вас есть инструментарий для настройки поп-ап опросов на лендингах продукта, куда может попасть неавторизованный пользователь, вы можете предложить заинтересованным людям пройти ваше исследование. Минус этого подхода – низкая конверсия и смещение выборки: участники будут в какой-то степени заинтересованы в вашем продукте, так как дошли до лендинга про него. - Ручной поиск респондентов в тематических сообществах или других местах. Самый времязатратный и трудоёмкий вариант. Однако, может выручить, если вам необходимы представители очень узкого сегмента, который тяжело достать другим способом: например, владельцы частных молочных ферм на юге России. - Панели респондентов и возможности платформ для опросов и немодерируемых тестирований. Такие сервисы часто предоставляют возможность как распространить ссылку на прохождение исследования по своей аудитории, так и набрать внешних респондентов через свою панель. Этот вариант часто становится оптимальным выбором, так как позволяет добиться высокой конверсии в короткие сроки за адекватную цену. Например, Pathway предлагает более 120 параметров для поиска респондентов внутри платформы. Это поможет вам находить аудиторию для исследований из России, Казахстана, Узбекистана, Армении, Грузии и других стран СНГ всего в пару кликов. В среднем, клиенты Pathway экономят около 800 тысяч рублей на подбор респондентов в год. ![Настройки рекрутинга внешней аудитории в Pathway: размер группы, возраст, регион и дополнительные фильтры.](https://wynde.evgeniichekov.com/guide/illustrations/660cf6f1-1ea9-4fc6-8294-0a6dd6c970ca.png) Иногда «внешний» взгляд на своих же клиентов может принести неожиданные инсайты. Например, так случилось с командой ВкусВилла. Они решили раскатить одно из исследований на новый сегмент и использовать респондентов, которых приведет Pathway, при этом убедившись при помощи квалификационного вопроса, что они тоже покупают во ВкусВилле. Несмотря на то, что это были те же самые покупатели ВкусВилла, их пользовательский опыт немного отличался. Они действовали иначе, в отличие от сегмента, на который команда обычно раскатывала опросы. Это позволило рассмотреть уже знакомую аудиторию с нового угла зрения и увидеть другие паттерны поведения. Подробнее об этом кейсе можно почитать на vc.ru. [Кейс UX-исследований ВкусВилла](https://vc.ru/services/805837-teper-vse-ohvacheno-issledovaniyami-kak-za-god-izmenilas-ux-kultura-vkusvilla-i-kakie-instrumenty-ispolzuet-komanda) ## B2C и B2B аудитория Поиск необходимой аудитории для исследования бывает непростой задачей, которая дополнительно усложняется при исследовании B2B аудитории. Давайте вспомним, чем отличаются эти две аудитории: B2B (Business-to-Business) – это бизнес-модель, при которой компания продает свой продукт или предлагает услуги другим организациям для реализации рабочих целей.B2С (Business-to-Сonsumer) предлагает продукты и услуги физическим лицам, потребителям, которые используют сервис для личных нужд. Генеральные совокупности сегментов пользователей в B2B обычно существенно меньше, чем в B2C. Пример Представим себе продукт для владельцев кафе, например, онлайн-меню, и продукт для посетителей таких заведений, например, приложение с картой спешалти-кофеен в городе. Целевая аудитория B2B продукта для владельцев кафе будет малочисленнее, чем B2C продукта для посетителей, так как предпринимателей, открывших кофейню, существенно меньше, чем людей, которые ходят в такие места. У одного продукта может быть одновременно и B2B, и B2C аудитория. На примере того же онлайн-меню для кафе можно увидеть, что бизнесу будет важно убедиться, что их продукт интересен и понятен как владельцам кафе (B2B), так и удобен для использования конечному клиенту (B2C). Такие продукты часто называют B2B2C (business-to-business-to-consumer). Если ваша аудитория – преимущественно B2B, задумайтесь о том, как конечный B2C клиент вашей аудитории влияет на неё. Так, например, в продукте B2B Островок, пользователями которого являются тревел-агенты, команда решила провести интервью с B2C-пользователями, клиентами таких агентств. Одной из главных гипотез было предположение, что привычки и предпочтения конечных клиентов могут существенно влиять на потребности самих тревел-агентов. Эта гипотеза подтвердилась. Но несмотря на сложности, B2B аудитория достижима. Julian Della Mattia, основатель подкаста From Finders to Builders и Ксения Жебровская, менеджер по развитию бренда и бизнеса в Pathway, делятся приёмами, которые облегчат рекрутинг B2B-респондентов: - При внутреннем рекрутинге сотрудничайте с командами поддержки / пользовательского успеха / продажами / кураторами клиентов. Они выстраивают и поддерживают отношения с клиентами, поэтому точно смогут помочь вам привлечь участников. - Посещайте тематические мероприятия. Вступайте в онлайн-сообщества, приходите на встречи и конференции, связанные с вашей сферой, где можно встретить целевую аудиторию. Будьте человечными, открытыми и прозрачными: общайтесь с людьми, подробно объясните, что планируете делать и как хотели бы вовлечь их. - Если рекрутинг идёт очень сложно, подумайте, что вы можете изменить в своём подходе. Это может быть критерий отбора участников, предлагаемое вознаграждение или сам текст приглашения. Рассматривайте всё это как гипотезы и проверяйте их одну за одной. Порой достаточно изменить формулировку приглашения, чтобы ситуация кардинально изменилась. - Будьте креативными. Пример Ксения приводит пример, с которым столкнулась лично. Когда команде нужно было изучить рынок Гонконга с китайскоязычной аудиторией, они наняли талантливого маркетинг-менеджера из стартап-сообщества. Она задействовала свои контакты и привела именно ту выборку, которая была нужна для проведения очных фокус-групп в их офисе. Этот случай прекрасно показывает, как личные связи и нестандартное мышление могут привести к успешному рекрутингу. - Определите наиболее релевантные для вашей ЦА панели рекрутинга. Например, Pathway располагает доступом к одной из самых больших панелей респондентов в России и странах СНГ. А если вас интересует международный рынок, то кстати будет сотрудничество Pathway с Tandems, TestingTime и PolarInsight. Tandems ценят за привлечение респондентов из Бразилии, TestingTime отлично работает с участниками из Нидерландов, а для исследований, ориентированных на Великобританию, оптимальными вариантами будут FieldworkHub или People4Research. - Расширьте фокус поиска. Иногда подходящих B2B респондентов можно найти среди более широкой аудитории и даже B2C. Например, если ваш продукт помогает командам управлять процессами и строить прозрачную корпоративную культуру, вполне возможно, что многие B2C-пользователи имеют опыт работы с похожими инструментами. В таком случае всё сводится к эффективному скринингу или даже автоматическому таргетингу на платформах вроде Prolific или Respondent.io. ## Сколько нужно респондентов Увы, простого ответа нет, поэтому сперва расскажем, от чего это зависит. Качественное исследование помогает находить проблемы и формировать гипотезы. Количественное помогает оценивать метрики и проверять гипотезы. Необходимое количество респондентов для каждого типа будет разным. Как посчитать — рассказываем дальше. ### Для качественного исследования Для первого раунда качественного юзабилити-теста с одной достаточно однородной группой можно начать примерно с пяти участников. Если важны разные сценарии или аудитории, наберите участников для каждой из них. В немодерируемом тесте заранее заложите резерв на неполные и непригодные сессии. **Почему именно столько?** [Модель NN/g для небольших раундов юзабилити-тестирования](https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/) ![Модель NN/g показывает, почему в одном раунде качественного тестирования каждый следующий участник обычно добавляет меньше новых находок.](https://wynde.evgeniichekov.com/guide/illustrations/3b974b94-3310-471f-b0fe-74478f43f381.png) При выборе выборки учитывайте наличие модерации, возможные неинформативные ответы и группы, опыт которых важно сравнить. ### Для количественного исследования Количественное исследование помогает оценить метрику с заданной точностью или сравнить варианты. При заранее выбранном уровне значимости 5% результат с p < 0,05 называют статистически значимым. Это означает, что при допущениях теста наблюдаемые данные плохо согласуются с нулевой гипотезой. Размер эффекта, его практическую важность и применимость к более широкой аудитории оценивают отдельно. Генеральная совокупность — все люди, которые входят в аудиторию вашего продукта. Например, все, кто делает покупки в интернете, или все, кто зарегистрирован как самозанятый. Размер выборки — число наблюдений, пригодных для анализа. Возможность обобщить результат зависит от способа отбора и качества данных. Погрешность описывает точность оценки при допущениях расчёта. Возможное смещение из-за отбора участников оценивают отдельно. В тесте первого клика 48 из 96 участников нажали на нужный элемент (50%). При модели независимых наблюдений двусторонний 95%-й доверительный интервал Уилсона для доли составляет 40,2–59,8%. При повторении такого отбора и расчёта около 95% интервалов, построенных этим способом, содержали бы истинную долю при выполнении допущений модели. ### Сколько респондентов нужно для количественного исследования Если нужно оценить долю с заданной точностью или сравнить варианты, рассчитайте выборку под задачу. Для оценки доли задайте желаемую точность. Для сравнения задайте минимальную важную разницу, ожидаемый исходный уровень, уровень значимости и мощность. Около 100 независимых наблюдений дают ориентир около ±10 процентных пунктов для оценки одной доли при 95%-м уровне доверия в наименее точном случае. Для сравнения двух вариантов нужен отдельный расчёт. Ниже приведены ориентиры для оценки одной доли. ### Как рассчитать количество респондентов для количественного исследования Для оценки одной доли размер выборки зависит от допустимой погрешности, уровня доверия и ожидаемой доли. Если ожидаемая доля неизвестна, для консервативного расчёта возьмите 50%. В сравнении вариантов минимальная важная разница — изменение метрики, которое повлияло бы на решение команды. В таблице показаны ориентиры погрешности для одной доли в процентных пунктах. | Размер выборки | Погрешность | | --- | --- | | 30 | 18% | | 43 | 15% | | 96 | 10% | | 384 | 5% | Ориентиры рассчитаны для большой популяции при независимом случайном отборе, ожидаемой доле 50% и уровне доверия 95%. Для планирования задайте погрешность и уровень доверия. При расчёте интервала 95% — это уровень доверия. Для проверки гипотез отдельно задают уровень значимости α, например 5%. ![Поля калькулятора для задания максимальной погрешности и выбора процентного уровня.](https://wynde.evgeniichekov.com/guide/illustrations/d731bdd3-4623-4b0f-80f2-d69a4789d8fe.png) ## Вознаграждения для респондентов Вопрос о том, нужно ли вознаграждать участников тестирования, часто можно услышать в кулуарах продуктового коммьюнити. Ответ однозначный – нужно, и вот почему: - Рост конверсии в участие. Наличие вознаграждения мотивирует респондентов участвовать в исследовании ради материального поощрения. - Нормализация выборки. Активные респонденты, готовые делиться мнением за бесплатно, чаще всего находятся на экстремумах выборки: очень довольны, очень расстроены или обладают большим количеством свободного времени. Обратная связь от таких пользователей не сможет достоверно отразить ситуацию в генеральной совокупности, где присутствуют занятые или тихие пользователи с нейтральным опытом. Денежная мотивация поможет привлечь и таких. - Формализует отношения исследователя и респондента. Участие в исследовании – своего рода работа, которая требует концентрации и вовлечения в процесс. Знание, что участник получит поощрение за участие, делает его более ответственным респондентом, а исследователю помогает чувствовать себя вправе задавать много вопросов и уточнений. - Трансляция уважения к пользователю. Оплата за потраченное время и полезную информацию – хороший тон, который помогает укреплять репутацию компании и даже растить лояльность клиента. А что, если у нас нет возможности оплатить участие? В молодых продуктах или в условиях ограниченного бюджета бывает, что предоставить вознаграждения за участие в исследовании нет. Вы можете пообщаться с респондентами и в этом случае: исследование в неидеальных условиях лучше, чем его отсутствие. Для того, чтобы минимизировать искажение выборки в этой ситуации: - Старайтесь набирать участников проактивно, приглашая их при помощи онлайн-рассылок или в прямом контакте, чтобы получить заинтересованных, но не слишком горящих желанием встречи с вами респондентов, которые ищут общения сами - Контролируйте ключевые демографические параметры и данные активности на продукте при помощи аналитики или квалификационных вопросов. Это поможет убедиться, что вы получаете сбалансированную выборку - При возможности, расширьте пул кандидатов (например, от 1000 до 5000-6000 человек), чтобы компенсировать падение конверсии без вознаграждений. ### Что дарить за участие в исследовании Если вы планируете запустить немодерируемое исследование на платформе Pathway и найти участников через партнёрские панели пользователей (ОнИн, Тибурон, и другие), этот вопрос не потребует дополнительных размышлений. Респонденты, проходящие тестирования через Pathway, получают вознаграждения автоматически, в объёме, рассчитанном по стандартам рынка в зависимости от аудитории. Однако, если вы планируете вознаграждать респондентов самостоятельно или распространять тестирование, собранное в Pathway, на вашу внутреннюю аудиторию, вы можете рассмотреть такие варианты: - Сертификаты на распространённые в регионе маркетплейсы. Универсальное вознаграждение, которое сможет использовать практически каждый участник. Лучше всего подходит для больших интервью или модерируемых тестирований. - Мерч. Брендированные подарки ценны своей уникальностью и дают ощущение причастности к вашему продукту. Если мерч ещё и полезный, он станет прекрасным вознаграждением. - Промокод на услуги вашего сервиса. Если ваш сервис предоставляет распространённые услуги – например, покупку техники или бронирование отелей, хорошим поощрением будет большая скидка или возможность приобрести что-то бесплатно. Этот вариант отлично подходит для количественных опросов и немодерируемых тестирований, так как легко реализуется онлайн. - Для премиум-сегмента: подарки-впечатления, комплименты. Аудиторию с высоким доходом сложно замотивировать денежным вознаграждением, и с наибольшей вероятностью на ваше исследование обратят внимание самые любопытные и открытые из них. Таких респондентов можно заинтересовать необычными, статусными подарками или комплиментами. Например, отправить корзину с фруктами или присвоить особый статус в вашем продукте. Для расчёта суммы вознаграждения за модерируемые (и не только) встречи можно воспользоваться одним из онлайн-калькуляторов, учитывающих регион, сложность поиска и трудоёмкость участия. Например, Ethnio. [Калькулятор вознаграждений Ethnio](https://ethn.io/incentives/calculator)