Проблема выбора подрядчика претендует на статус «вечных». Решить ее раз и навсегда невозможно даже для одной компании. В одних случаях работают с теми, кто «самый дешевый», в других — с проверенными партнерами, все зависит от ситуации, наличия бюджета, особенностей и важности конкретного заказа и т.д. Все это давно известно. И тем не менее, время от времени ситуация воспаляется. Вот лишь два из многочисленных примеров.
Грянул кризис, и заказчики придумали способ «сыграть на понижение»: начали устраивать аукционные торги. При этом молчаливо предполагается, что между «товаром» (в данном случае, услугой) исследовательских компаний нет никакой разницы. Как на бирже: нефть, зерно, металл тех или иных марок различимы только по цене. Но для того, чтобы убедиться в одинаковости биржевых товаров покупателю не нужен опыт их использования: существует развитая система стандартизации, включающая в себя целую цепочку процедур. Для услуг, в данном случае исследовательских, такой системы нет.
Другой пример. Барьер входа на исследовательский рынок выглядит удивительно низким: арендуй офис, нанимай персонал (или работай с аутсорсерами) и пиши предложения. Неважно, чем компания занималась до этого, важно по каким ценам она предлагает провести исследование. В последние несколько лет такого рода «социологи» буквально заполонили рынок маркетинговых исследований, особенно, в регионах. И в случае, если заказчик не обладает достаточной квалификацией, чтобы отличить «белое» от «серого», то выбор будет простой: по цене.
Делается ли что-нибудь в исследовательской отрасли для того, чтобы рынок стал более цивилизованным? На вопросы отвечают Игорь Задорин, генеральный директор компании ЦИРКОН и Александр Шашкин, генеральной директор компании Online Market Intelligence (OMI).
R&T: Во многих отраслях проблема сертификации продукции или производства проблемой не является. Почему она возникла и до сих пор жива в социологии?
Игорь Задорин: В социологии эта проблема возникла сравнительно недавно, когда другие отрасли научились ее быстро и эффективно решать, в России это случилось в начале 90-х годов прошлого века. Именно в это время социология в нашей стране изменила статус, очень быстро превратившись из фундаментальной науки в прикладную, а затем и вообще в индустрию.
В качестве науки социология имела довольно ограниченный круг потребителей, знающих предмет и методы («носителей языка»). Эти люди были знакомы между собой и довольно хорошо разбирались «кто есть кто». Разногласия, естественно, возникающие время от времени, не мешали ощущению оппонента как человека своего круга. Таким образом, социологи знали друг друга (очень часто — лично), а потому не слишком нуждались в подтверждениях квалификации каких-либо внешних организаций.
Ситуация изменилась, когда вместе с выделением из науки социологии прикладного направления — в т.ч. маркетинговых исследований — в отрасли появились новые люди — «заказчики». По понятным причинам многие из них не могли, да и не должны были разбираться в методических тонкостях. Однако именно они платили деньги, а, значит, имели право знать о поставщике и его профессионализме как можно больше.
Ко всему прочему, материалы исследований перестали свободно перемещаться внутри отрасли. Получив гриф «коммерческая тайна», они стали закрытыми. Как же могли в этой ситуации новые люди узнать «кто есть кто»? Не будем также забывать, что сравнительно низкий барьер входа на новый рынок привлек много новых людей, не получивших профильного образования, и не имевших до этого опыта научно-социологической деятельности. Лишь часть из них смогла, действительно, стать широко известными профессионалами. В итоге, мы имеем в отрасли много «ларьков», продающих товар noname, причем, убедиться в качестве покупаемых «пирожков» можно только съев их. Естественно у потребителей возникло желание застраховаться от возможного «отравления».
R&T: Но с похожими проблемами сталкивались не только социологи — новые люди появились, практически, во всех отраслях, равно как и понятие коммерческой тайны. Почему, скажем, металлурги быстро решили эту проблему, а социологи до сих пор — нет?
ИЗ: Если бы размер отрасли маркетинговых исследований был хотя бы соизмерим с объемом рынка металлов, многое было бы по-другому. Сертификация продукции или производства — это отдельный инфраструктурный бизнес. Если в отрасли много денег, то есть место для разного рода инфраструктуры — например, рейтинговых агентств, сертификационных центров и т.п., если нет — то нет. Но дело, конечно, не только в этом.
Заметьте, у ресечеров практически нет внутриотраслевых измерений и исследований. Типовая ситуация сапожника без сапог. Рынок информационно закрыт и разобщен. На открытых рынках продукцию какой-либо компании могут видеть и оценить как вероятные клиенты, так и коллеги-профессионалы. В нашей отрасли даже очень квалифицированный заказчик, давно и много заказывающий исследования, может похвастать опытом взаимодействия с тремя или четырьмя исследовательскими агентствами. А что можно сказать о клиенте, только приходящем со своими задачами на социологический рынок? Да и сами прикладные социологи практически лишены возможности оценить друг друга — они очень плохо знают продукцию и технологии коллег-конкурентов. Сейчас в принципе не может быть единого центра, который был бы компетентен оценивать всех. Но, правда, есть возможность оценивать отдельные сегменты. Например, большая часть заказов на полевые работы приходит в регионы от крупных столичных компаний. Соответственно, выстраивается вертикаль «столица-регионы». Вот тут уже появляется возможность «взаимной оценки», которая, однако, всегда будет иметь достаточно узкий, «прикладной» характер.
Ассоциация региональных исследовательских агентств 7/89 с 2004 года проводит опросы, составляя рейтинг столичных компаний, т.е. исполнители оценивают заказчиков. Аналогичные исследования можно проводить и с обратной целью, когда заказчики оценивают исполнителей. И каждый раз за бортом такого рода рейтингов останется немало компаний, работающих, преимущественно, в формате полного цикла на локальном рынке своего региона. Не будут попадать в такие рейтинги и нишевые компании (их число все время растет), специализирующиеся на том или ином виде исследований.
В итоге, заказчики, как правило, руководствуются собственными представлениями о качестве работы той или иной компании, часто далекими от действительности, и рекомендациями друзей и партнеров, что уже лучше, но все же также неполно.
R&T: Но ведь можно привлечь независимого эксперта, который в состоянии дать оценку выполнения проекта?
ИЗ: Привлечь можно, и случаи такие есть. Однако подобная практика не стала массовой. Конечно, сам факт привлечения заказчиком стороннего эксперта для контроля продукции основного исполнителя меняет стиль работы последнего в лучшую сторону. И это позитивно влияет на рынок, но только в том случае, если экспертиза проводится если не по каждому проекту, то по большому их числу. Потому что здесь важно иметь широкую базу для сравнения. Но это вряд ли возможно в условиях, когда заказчики стремятся сэкономить, буквально, каждую копейку.
В итоге, исследователи контролируют себя сами. Конечно, отдел технического контроля, проверяющий выходящую из цехов продукцию, есть на каждом заводе. Однако если заказчик хочет, чтобы была не только проверка, но и качество, вводится институт внешней приемки, чем, например, были в свое время заняты военпреды на оборонных заводах.
Увы, эта идея вряд ли может быть реализована на исследовательском рынке. Те же военпреды руководствуются отнюдь не собственными представлениями о качестве выпускаемой продукции, а многочисленными государственными, отраслевыми и заводскими стандартами, определяющими «что такое хорошо, и что такое плохо». А чем будут руководствоваться эксперты, кроме собственных представлений?
R&T: И примет ли эти представления во внимание суд в случае конфликта заказчика и исполнителя, которые, насколько я знаю, становятся довольно распространенным явлением?
ИЗ: В том-то и дело, что не примет. Порой доходит до абсурда: заказчик не может доказать в суде, что исполнитель откровенно схалтурил. То есть потребитель не может защитить свои права. Причина проста: работа суда заключается в том, чтобы определить был ли нарушен закон. А если нет закона, то нет и нарушений. Нет стандарта, критериев качества, нет и отступлений от них. Конечно, есть документы ESOMAR, но они носят очень общий, я бы сказал, «морально-нравственный» характер, а потому «их к делу не пришьешь».
Правда, есть Закон РФ №94 «О размещении заказов на поставки товаров, выполнение работ, оказание услуг для государственных и муниципальных нужд», но с точки зрения выполнения социологических и маркетинговых исследований он, скорее, мешает, чем помогает бороться с недобросовестными исполнителями. Этот закон, фактически, «коммодитизирует» исследовательскую деятельность, приравнивая ее к поставкам простых товаров (зерна, нефти, чугуна и т.п.), качество которых определяется соответствующими ГОСТами и ОСТами, поэтому заказчику остается лишь выбрать наиболее выгодное по цене предложение. Конечно, это дает большие возможности для демпинга, и соблазн сэкономить на качестве, когда оно фактически не может быть квалифицированно проверено, более чем велик.
R&T: Значит, нужен ГОСТ, регламентирующий исследовательские работы?
ИЗ: На мой взгляд, нужен, хотя в отрасли существует и противоположная точка зрения. Тут важна система мер, не только ГОСТы, и вообще не только стандарты. В «Уральском меморандуме» (обращение Ассоциации региональных социологических центров «Группа 7/89» к исследовательскому сообществу и органам власти) в числе прочего описан требуемый по мнению исследовательского сообщества комплекс мер по оздоровлению ситуации. Вот лишь некоторые из них:
- Распространение данных о потенциальных исполнителях работ, поддержание открытых баз данных профессиональных участников рынка, создание и развитие института профессиональной оценки (рейтингования) участников рынка социологических и маркетинговых исследований.
- Распространение (в том числе публикация в широкой печати) данных о стоимости проведения типовых исследовательских процедур.
- Коллективное и согласованное неучастие исследователей в сомнительных схемах размещения заказов (в частности, электронных аукционах, см. «Открытое письмо участникам исследовательского рынка, представителям компаний-заказчиков исследовательских услуг», принятое ОИРОМ).
- Распространение практики публикации отчетов об исследованиях, проведенных на деньги налогоплательщиков (с указанием сведений об исполнителе и основных параметрах проекта).
- Всемерное распространение практики верификации данных социологических исследований, в том числе внешней независимой экспертизы качества социологических исследований, выполненных в интересах государственных заказчиков.
R&T: Но, согласитесь, эти меры не имеют временных рамок, это лишь «направление», в то время как что-то конкретное надо делать здесь и сейчас. Что?
ИЗ: Не согласен, что это лишь «направление». Многое из сказанного уже делается. И многое планируется делать в ближайшее время. Прежде всего, на мой взгляд, надо расширять практику независимого аудита исследовательских работ. Причем, важно, чтобы проект проходил экспертизу не тогда, когда все закончено, и мало, что можно изменить, а в процессе работы. Можно выделить три ключевые точки, которые необходимо контролировать: утверждение программы и методики исследования, завершение сбора данных (до их обработки), приемка финального отчета.
Цель экспертизы — это ответ на три вопроса:
- действительно ли предполагаемая к использованию методика будет корректно измерять именно то, что предполагается измерить согласно ТЗ?
- действительно ли валидны данные измерений?
- корректно ли выполнен анализ данных и интерпретированы результаты (сделаны выводы)?
Кроме того, заканчивается подготовка документов для создания Технического Комитета по стандартизации в области прикладных социологических исследований. Этот орган профессионального сообщества вполне может стать площадкой, на которой уже в регулярном порядке обсуждались бы вопросы качества социологической продукции и разрабатывались бы меры по его повышению.
Многое еще можно делать. Важно, чтобы стремление к качеству продукции было бы общим стремлением всего профессионального сообщества и самих потребителей социологической и маркетинговой информации.
Сертификация невидимок
Область онлайн-исследований в последние несколько лет выделилась, фактически, в отдельную подотрасль. По данным ESOMAR (2009 г.), доля заказов, выполняемых с использованием онлайн-инструментария, составляет 22% и это самый высокий показатель (доля ближайшего «конкурента» — телефонных интервью — составляет 17%). Однако по мере роста популярности метода клиенты стали все чаще и чаще выражать сомнения относительно «целостности методологии» онлайн-исследований. Ни одной отраслевой конференции не обходится без дискуссий на тему «кризиса качества панельных данных». Собственно, ничего особенного клиенты не хотят — лишь иметь гарантии того, что получаемые с помощью онлайн-панелей данные можно использовать для принятия решений. То есть, несколько опросов на одну и ту же тему дадут одинаковые с точки зрения статистической значимости результаты. А это значит, что нужны какие-то процедуры, позволяющие сравнивать панели разных онлайн-провайдеров. Фактически, это означает, что надо проводить их сертификацию. О том, каково сегодня состояние отрасли, рассказывает Александр Шашкин (OMI).
R&T: У сегодняшних заказчиков онлайн-исследований есть выбор. Но как можно сравнить панели разных исследовательских компаний, если респондентов принципиально нельзя увидеть?
Александр Шашкин: Начну с того, что заказчики нередко не видят респондентов и при традиционных количественных опросах face-to-face. Их видят интервьюеры подрядчика, его же супервайзеры… Скажу больше, в случае с онлайн-панелями у заказчика даже больше шансов убедиться в корректности проведения исследованиями, чем в обычных оффлайновых опросах. Панелью надо управлять, «содержать ее в порядке», и процедуры, которые использует для этого провайдер, вполне поддаются контролю.
Несколько лет назад ESOMAR разработал даже памятку для заказчика, она называется «25 questions to help research buyers of online samples», в 2009 году появился еще один вопрос, так что документ сегодня называется «26 questions…». Вопросы разбиты на группы, касающиеся методов управления панелью, способов контроля за правильностью заполнения анкет и т.п. По сути, заказчик может, задав эти вопросы потенциальному исполнителю, провести его сертификацию самостоятельно.
R&T: Безусловно, это полезный документ, однако не всегда у заказчика есть время и желание заниматься такого рода «сертификацией». Кроме того, он должен верить своему контрагенту на слово. Есть ли иные способы контроля?
АШ: Они создаются. Например, выпущены два документа ISO 20252:2006 «Market, opinion and social research — Vocabulary and service requirements», касающийся отрасли маркетинговых исследований в целом и ISO 26362:2009 «Access panels in market, opinion and social research — Vocabulary and service requirements», регламентирующий непосредственно область онлайн-исследований. Они приняты Росстандартом, однако мне неизвестны российские компании, которые были бы сертифицированы по ним. Это весьма недешевое удовольствие. Скажем, сертификацией российских онлайн-провайдеров занимается компания, расположенная… в Австралии. Эксперты ISO поделили глобус именно таким образом. По-видимому, свою роль сыграло и то, что Австралия занимает лидирующие позиции в мире по доле онлайн-исследований. Следовательно, там есть и клиенты у сертификационного центра. Стоимость такой сертификации составляет порядка $100 тыс.
R&T: Дешевле не получится?
АШ: Может получиться, если несколько сузить область и не называть эти процедуры сертификацией, имея, впрочем, в виду главную цель — дать заказчикам объективное представление о качестве онлайн-панели. Вот уже несколько лет подряд компания Mktg, Inc (США) проводит сравнительные «исследования исследователей». Каждый год проводится четыре волны. Модель проста: Mktg, Inc выбирают несколько панелей, принадлежащих разным компаниям, и проводят опрос по одной и той же теме. Затем результаты сравниваются. Выводы о качестве той или иной панели можно сделать на основании стабильности «попадания в средние значения». При этом сами онлайн-провайдеры не имеет возможности как-то влиять на результат, они лишь рассылают анкету (да и средние значения им неизвестны). Стоимость участия в таких исследованиях составляет для владельцев панелей несколько тысяч долларов. В России компания Mktg, Inc выбрала для анализа семь панелей, одна из которых принадлежит OMI.
R&T: По каким параметрам проводится сравнение?
АШ: Их немало. Это, например, демографические и поведенческие характеристики панели. В число последних входят доли так называемых Speeders и Straight-Liners, т.е. респондентов, заполняющих анкеты аномально быстро и располагающих флажки в таблицах подозрительно «линейно». Оценивается и доля откликов (response rate), характеризующая активность респондентов и, конечно, сами результаты опросов. Понятно, что данные ответы респондентов, входящих в разные панели, на одни и те же вопросы должны давать близкие ответы. Критерием их «истинности», повторюсь, выступает попадание в средний интервал — для этого и необходимо участие в проекте нескольких панелей.
Если панель «попадает в интервал» в течение нескольких волн подряд, то ей присваивают сертификат: бронзовый, серебряный или золотой в зависимости от числа успешно пройденных этапов (волн). По итогам замеров 2010 года OMI был присвоен серебряный сертификат. Мы участвовали в проекте в течение 2 лет, так что пока это максимально возможный для нас результат.