В середине веселых 90-х от нового слова «маркетинг» отдавало легким душком. Плохие парни успешно преобразовывали деньги из скучного безнала в веселые наличные, заключая с некими подрядчиками договоры на маркетинговые исследования. Объем таких транзакций во много раз превышал тогдашнюю емкость рынка «честных» исследований. Поэтому совсем было не удивительно, что каждому директору нормального маркетингового агентства в те лихие годы хотя бы раз, но приходилось с интересом рассказывать о своей деятельности благодарным слушателям из местного УБЭПа. И я тоже рассказывал.
И еще из тех веселых лет я помню общую настороженность и недоверие к качеству маркетинговой информации. Как-то не принято это было — доверять анализ своего рынка какой-то уж очень сторонней организации. И правда, кто же знает мой рынок лучше меня? А я тогда чего стою? И приходилось бороться, доказывать, убеждать
Прошло больше десяти лет, рынок сильно изменился, клиент продвинулся, подрядчик заматерел. Вот уже без ошибок и почти всегда к месту маркетологи произносят слова «скрининг» и «бустинг», умеют пересчитывать цену проекта на стоимость одной анкеты и вообще ведут себя очень по-взрослому. Но недоверие к качеству информации, полученной в результате исследований, все же осталось.
Более того, несмотря на массу профильной литературы (как околонаучной, так и научно-популярной), в уважаемых издательствах выходят книги с, мягко говоря, ненаучными оценками достоверности маркетинговой информации. Буквально на днях в авторском издании одного серьезного господина я прочитал, что «ошибка рыночной информации достигает в среднем 40-50 процентов» и «даже если компания потратила миллионы долларов на сбор информации и исследования рынка… точность информации в лучшем случае вряд ли превысит 60 процентов»… Да бог с ним, с этим господином. Проблема в том, что он не одинок в своем суждении. И если весь трехтысячный тираж проникнет в неокрепшие умы начинающих маркетологов — это ж какой урон рынку исследований?!
Ну а если серьезно, то скептические оценки «ресеча» весьма распространены (и часто этот скепсис вполне заслужен). Нередки случаи, когда у двух разных маркетинговых агентств, исследовавших один и тот же рынок, по некоторым показателям результаты оценок расходились в разы. Заказчиков это, естественно, сильно расстраивает.
Что же говорят скептики? Вкратце, большинство пассажей о «тщете ресеча» основываются на следующем:
1. Респонденты обманывают. А зачем, собственно, им говорить правду? Вот, если бы меня опросили, я бы точно сказал неправду или честно промолчал.
2. Обманывают интервьюеры. Логично, ведь «рисовать анкеты» на кухне или в подъезде намного комфортнее, чем честно мерзнуть под дверями теплых магазинов, да и экономически, опять же, выгоднее.
3. Опросили не тех. Например, мелкие лояльные потребители ответили, а остальные скромно отмолчались.
Ну и в итоге — ошибка накопилась и результатам верить нельзя.
Очень стройная конструкция. И, самое главное, все это, в той или иной степени, правда. Да, респонденты не всегда откровенны. Да, интервьюеры регулярно «рисуют» анкеты. Да, есть проблемы со смещением выборки. И все-таки рынок исследований существует уже без малого столетие, измеряется миллиардами долларов в год по всему миру, а в России еще и растет темпами 30 процентов в год. Почему? Попробуем разобраться со стереотипами без эмоций.
Итак, основные причины возможного возникновения недостоверной информации.
Некорректные (недостоверные) ответы респондентов. Такое, действительно, случается и, к сожалению, не редко. Сразу честно отметим, что в большинстве случаев это происходит по вине исследователя. Здесь чаще всего встречаются следующие ситуации:
- Вопросы анкеты (равно как и варианты ответов) могут поставить респондента в тупик. На профессиональном сленге это называется «состояние неответа», когда человек владеет информацией и готов ей поделиться, но не может это сделать. Затруднить респондента может некорректно сформулированный вопрос (например, «Чистите ли вы зубы по утрам и вечерам?»). Бывает также, что респондент не находит себя, среди предлагаемых вариантов ответов. Примеры таких анкет (из серии «узнайте, лидер ли вы») часто можно встретить в модных женских журналах или популярных народных газетах. В этой ситуации, что бы ни ответил респондент, — он скажет неправду. С этой бедой при желании бороться достаточно просто. Для того чтобы проверить корректность вопросов исследователи обычно проводят т.н. «пилотный опрос», в ходе которого изучается восприятие вопросов респондентами. По итогам «пилота» инструментарий исследования дорабатывается.
- Вопросы анкеты программируют респондентов на ответ (самый популярный пример программирующего вопроса — «Знаете ли вы компанию Х?»). Однако чаще программирование просачивается в анкету в менее явной форме, смещая ответы респондентов вслед за эмоциональным фоном вопросов. Поэтому при составлении вопросов (и вариантов ответов) маркетологи стараются избегать слов, имеющих эмоциональную окраску («большой», «удобный», «красота» и пр.).
- Респондента спрашивают о том, чего он уже не помнит («Сколько йогуртов вы купили месяц назад?») или о том, что он еще не успел спланировать («Как часто вы будете посещать кофейню, которая откроется за углом?»). При этом он вполне может являться представителем целевой аудитории и искренне желать помочь исследователям. Темы былого и грядущего вообще создают маркетологам много хлопот, поскольку в большинстве случаев маркетинговое исследование — инструмент получения моментальных фотографий рынка. Но здесь нам на помощь приходит математическая статистика: если респонденты фантазируют, их ответы распределяются случайным образом и это говорит о том, что неопределенность снизить не удалось и можно не тратить время на выявление средних значений. Лучше все переделать, используя другие инструменты.
Есть еще стереотип о злонамеренных респондентах, которые сознательно врут (и радуются). Что ж, бывает и такое. Но с такими респондентами борется все та же математическая статистика. Если ответы респондентов сильно отклоняются от общих распределений, то такие анкеты исключаются из анализа. А если респонденты «врут помаленьку», то на средние значения это не влияет — оптимисты немного добавляют, пессимисты — убавляют, а общая оценка в итоге остается той же. Если к несчастью обманщиков оказалось много, то итоговые распределения ответов на вопросы опять же носят случайный характер. Это означает, что исследование нужно проводить заново, менять технологию, перерабатывать инструментарий. К счастью, такое бывает крайне редко, в частности, в нашей восьмилетней практике не встречалось ни разу.
Некорректная интерпретация ответов интервьюерами. Такое случается по недоразумению (респондент пробурчал одно, а интервьюер не расслышал и записал другое) либо злому умыслу (это когда интервьюеры «рисуют анкеты на кухне»). С этим злом бороться проще всего. За сто с хвостиком лет существования социологии разработан богатый набор видов контроля качества первичной информации. Вот основные из них:
- В ходе опроса за интервьюерами, в буквальном смысле из-за угла, следит супервайзер, выборочно фиксирующий присутствие опрашивающих на своих местах. Особенно полезен супервайзер зимой в ходе уличных опросов. Если интервьюера не оказалось в нужное время и в нужном месте — его ждет серьезный разговор с возможными последствиями, вплоть до штрафных санкций.
- В ходе предварительного анализа информации все данные, несоответствующие формату анкеты (вместо цифры — слова, пустые поля и пр.) или резко выбивающиеся из общей картины (другой порядок величины) обсуждаются вместе с интервьюером и далее при необходимости уточняются у респондента при повторном звонке.
- После завершения сбора анкет определенная часть респондентов прозванивается повторно с выборочными вопросами. Процент повторных звонков зависит от размера и состава выборки, а также от дисперсии данных. В среднем он составляет 25 процентов, но в ряде случаев (преимущественно, для b2b) может доходить и до 100 процентов. Если ответы респондента при повторном опросе существенно отличаются — интервьюера снова ждут штрафные санкции.
- Наконец, даже если интервьюер-обманщик исключительно талантлив и везуч, ему тоже приходится в финале побороться с машиной математической статистики. В ходе обработки данных проводится анализ соответствия распределений ответов на одни и те же вопросы, полученных каждым интервьюером, со средними распределениями. Если наблюдается отклонение, превышающее статистическую погрешность — анкеты из рассмотрения исключаются, а интервьюер остается без «сладкого».
Следует отметить, что все эти инструменты работают до тех пор, пока интервьюеры имеют определенный материальный интерес. То есть, проще говоря, их труд должен достойно оплачиваться. Можно и должно вводить показатели эффективности работы, понижающие и повышающие коэффициенты, премиальные бонусы и штрафные вычеты. А еще встречается такая схема, что интервьюерам планово задерживают сумму выплат по уже реализованным проектам и в случае, если на новом проекте кого-то ловят на сознательном обмане, — старые деньги сгорают вместе с новыми. И, знаете, работает!
Несовершенство выборки. Достаточно характерная ситуация, когда результаты, полученные в ходе опроса выбранных респондентов нельзя корректно транслировать на всю генеральную совокупность. Или, точнее, транслировать можно, но непонятно, — корректно это или нет. Проблемы моделирования выборки, в большинстве случаев создают наибольшие сложности исследователям, но и они, тем не менее, преодолимы. Рассмотрим наиболее характерные случаи:
- Выборка накрывает не всю аудиторию исследования (по каким-то причинам несколько групп потенциальных потребителей ненамеренно выпали из опроса). При этом ситуация с сознательным ограничением числа групп потенциальных потребителей, когда исследователи преднамеренно опрашивают только основных потребителей и не интересуются мнением всех остальных, вполне уместна. Возможно, они просто хотят снизить издержки, опросив меньше респондентов, или построить консервативный прогноз спроса. Тем не менее, такие случаи встречаются относительно редко и крупные группы потребителей, формирующие более 5-10 процентов от общих объемов спроса, в выборку должны попасть. Чтобы никого не забыть, исследователи могут провести опрос в два этапа: на первом (скрининг) выявляются эти самые регулярные потребители, а на втором (бустинг) внутри каждой из выявленных групп определяется практика потребления. Моделирование выборки (параметры квотирования) также можно сделать по итогам проведенного пилотного опроса. Количество «пилотных» респондентов должно составить не менее 5-7 процентов от общего объема выборки.
- Число ответов среди определенных клиентских групп недостаточно для проведения статистического анализа. Такая ситуация встречается сплошь и рядом, особенно, когда дело касается исследования крупных предприятий или частных лиц с высоким уровнем дохода. И если по частникам, как правило, можно «добрать» анкеты, потратив чуть больше времени и денег, то с предприятиями это не всегда возможно. Просто их по определению меньше. Таким образом, достаточно часто по итогам опроса мы имеем выборку, смещенную в сторону средних и мелких. Если добор не возможен, исследователи используют методы внутригрупповой интер- и экстраполяции. Например, рассчитываются относительные объемы потребления на одного работающего, предполагая наличие зависимости: объем производства — количество сотрудников — объем потребления. В некоторых случаях удается даже в явном виде найти эту самую зависимость с использованием данных, полученных на более средних и мелких собратьях. И далее выявленная зависимость экстраполируется на интересующие нас (плохо изученные) клиентские группы. В большинстве случаев наблюдается закономерное снижение прироста потребления с ростом числа трудящихся (работает эффект масштаба). Но в ряде случаев можно наблюдать и обратную картину. Например, исследуя потребление канцелярии и бумаги, был отмечен рост относительного потребления этих расходных материалов от численности управленцев. Феномен был назван «фактор корпоративности» (рост относительного потребления канцелярских принадлежностей с ростом числа менеджеров компании). Следует отметить, что допускается только внутригрупповая экстраполяция, попытка транслировать закономерности, полученные для одних групп потребителей (например, тех же отраслей) на другие некорректна.
- Непонятен размер (и структура) самой генеральной совокупности. То есть исследование проведено, ответы от респондентов получены, но как их дальше экстраполировать — непонятно. В большинстве случаев для определения характеристик генеральных совокупностей используются данные Росстата. В крупных маркетинговых агентствах также распространена практика использования результатов предшествовавших исследований. Однако возможности органов статистики ограничены используемой системой критериев: например, невозможно выяснить, сколько в городе компаний, осуществляющих монтаж систем вентиляции и кондиционирования. Просто нет такого признака в классификаторе Росстата. Поэтому, достаточно часто исследователям приходится формировать генеральную совокупность «вручную». Тогда источниками базовой информации в данном случае служат различные справочники вплоть до газет бесплатных объявлений (один раз нам даже приходилось переписывать телефоны монтажных бригад, размещенных на столбах и заборах). В данном случае критерий отбора исключительно прост: если компания не информирует потенциальных клиентов о своих услугах — можно считать, что ее нет. Работа по формированию базы достаточно трудоемкая: как правило, приходится перелопатить много источников. Полученная база выборочно прозванивается и размер сформированной таким образом генеральной совокупности корректируется понижающим коэффициентом с учетом выявленных «мертвых душ».
В ряде случаев о размере генеральной совокупности можно спросить самих респондентов («много ли в городе компаний аналогичного профиля»). Однако данная технология, как правило, характеризуется большим разбросом ответов и работает только для генеральных совокупностей, измеряемых сотнями участников.
Наконец, в некоторых случаях можно пойти на хитрость и заменить генеральную совокупность неизвестного размера известной генеральной совокупностью. Приведем такой пример. Поставщика профессионального сантехнического оборудования интересует емкость сегмента небольших монтажных бригад, производящих закупки в интересах своих клиентов. Бригады работают по рекомендациям, практически не рекламируются, большинство из них официально не зарегистрированы. Нередки случаи, когда в дневное время участники творческого коллектива работают, например, продавцами в профильных магазинах, а вечерами монтируют оборудование своим покупателям, но уже совершенно частным образом. Размер генеральной совокупности «диких» бригад совершенно непонятен — в городе таких могут быть и сотни, и тысячи. С другой стороны, очевидно, что в общей емкости рынка данный сегмент должен быть заметен, т.е. достаточно велик. Что делать? Опросить конечных потребителей, задав им вопросы относительно факта монтажа сантехнического оборудования силами третьих лиц, а также стоимости оборудования, купленного непосредственно монтажниками (поскольку в конечном итоге расходы монтажника ложатся на конечного клиента). Размер и структура генеральной совокупности частных лиц — жителей города известны и присутствуют в Росстате. Вот, собственно, и вся технология.
В нашем обзоре мы не рассмотрели прочие банальные причины неприемлемых ошибок. В некоторых случаях причиной расхождения являются «терминологические» нюансы, которые кроются, прежде всего, в определении понятия рынка. Все зависит от постановки задачи на исследование. Например, если техническим заданием четко не регламентированы исследуемые товарные группы, один подрядчик может изучить рынок колбасных изделий, в который входит группа «сосиски и сардельки», а другой решит, что данные продукты к колбасе не относится. И вот уже разные емкости, за которыми ползут доли основных игроков, портреты потребителей отличаются и т.д. В общем, сплошное расстройство и рекламации.
Природа исследуемых категорий тоже берет свое. Для рынков с ярко выраженной сезонностью сложно экстраполировать полученную в результате исследования «моментальную фотографию» на весь год. Хороший пример — шампанское, около 40 процентов годовых закупок которого приходится на декабрь. Проводя исследование в июле, мы рискуем сильно ошибиться в годовых оценках, заранее не зная квартальных коэффициентов сезонности.
Большие сложности для исследователя представляют рынки, характеризующихся ограниченным количеством потребителей. На рынке из ста компаний, получение достоверных ответов даже от 3/4 респондентов не гарантирует маркетологам приемлемой погрешности исследования. Вполне возможно, что «не ответившая четверть» совокупно обеспечивает более 50 процентов всего потребления.
А бывает, что кто-то просто не умеет считать. Но это к предмету данного обзора не относится.
В любом случае и заказчику, и исполнителю исследования следует помнить, что большинство исследуемых информационных показателей полностью детерминированы (т.е. однозначно определены) и существуют как объективная реальность. Поэтому все вопросы к исследователям. Должны ответить!