Время на прочтение
23 мин
Количество просмотров 64K
Я продолжаю делиться опытом ошибок и находок в анкетных исследованиях. В первой статье я рассказала, как можно привлечь релевантных респондентов и увеличить возврат заполненных анкет.
Читать первую статью Ошибки анкетных опросов. 1 ошибка: смещение выборки. 8 способов привлечь нужных респондентов
В этой статье я расскажу, почему проблема понятности анкеты для участников опроса гораздо важнее, чем кажется на первый взгляд. Рассмотрим также примеры манипуляции мнением респондентов, фальсификации результатов опроса и использования опросов в маркетинговых целях.
Преимущество анкетных опросов – большой охват и быстрый результат – становится и их основным недостатком. Теряя возможность коммуникации с конечным респондентом, мы вынуждены делать дорогое допущение: «все респонденты понимают смысл анкеты и заполняют ее корректно». Если сделать это допущение, можно выдохнуть и работать с результатами опроса, как с релевантными фактами и мнениями. А если такое допущение не сделать, исследование может превратиться в череду перепроверок и согласований и в итоге полностью парализоваться.
Если честно, пройдя через сложности привлечения респондентов и возврата анкет, меньшее, чего хочется исследователю – это сомневаться в том, что анкеты заполнены корректно. Но еще грустнее – осознать, что анкеты испорчены из-за неверного понимания участниками инструкции, или вопросов. И чтобы оградить себя и заказчика от этих сомнений, можно соблюсти ряд подготовительных этапов, которые значительно повысят доверие к исследованию. Мы рассмотрим эти этапы в следующей статье. Вначале разберемся, где могут крыться сложности понимания, и к чему это может привести.
Можно выделить, как минимум, следующие части анкетного исследования, где может возникнуть непонимание:
1. Непонимание слов и специальных терминов.
2. Непонимание инструкции.
3. Непонимание направленности опроса.
4. Непонимание формулировки вопросов.
5. Непонимание критериев оценки.
1. Непонимание слов и специальных терминов
Здесь все просто. Респонденты, действительно, часто не понимают значение слов, которые кажутся исследователю очевидными. И это не всегда касается профессионального сленга. Иногда, казалось бы, обычные слова русского языка вызывают затруднения у участников опроса, но у экспериментатора редко появляется возможность узнать об этом.
На картинке: комментарий пользователя к анкетному опросу, опубликованному на сайте (источник: pikabu.ru)
Пример: Мы проводили исследование людей разного социального статуса и разных возрастных групп. В числе исследовательских методик использовался тест Т. Лири – авторитетный психологический тест, адаптированный для русскоязычных респондентов, применяемый десятилетиями для оценки личности и отношений. Тысячи исследований проведены в России с использованием этого теста. В нашем исследовании уже приняло участие несколько сотен человек, когда мы пришли опрашивать студентов престижного вуза. Студенты заполняли анкеты прямо в аудитории. Через несколько минут они стали поднимать руки и говорить, что не понимают значение некоторых слов из теста. Вот список этих слов: мягкотелый, самобичующий, деспотичный, тщеславный, покладистый, легко расположен, легко впадает впросак, черствый. Для нас это стало открытием. Оказалось, адаптация классического авторитетного теста уже устарела для некоторых респондентов этого возраста и статуса. Собранные к тому времени сотни анкет от респондентов других возрастов и статусов тоже оказались под сомнением: люди не уточняли у нас значения слов, значит – либо понимали их, либо стеснялись спросить и отвечали наугад.
Вторая угроза исходит от употребления в анкетах сленга, который может либо не пониматься участниками, либо раздражать их. Такое может случиться, если исследователь пытается заигрывать с целевой аудиторией и употребляет в анкете их сленг, не являясь носителем этой культуры.
Пример 2: Когда мы исследовали коммуникацию между отделами в одной ИТ-компании, несколько ее разработчиков рассказали на интервью, что их очень злит, когда HR-менеджеры, проводя внутренние опросы, или делая рассылки, копируют особенности языка и вставляют англицизмы. Хотя сами разработчики часто этим грешили, их раздражало, когда сотрудники, не включенные в контекст их работы, перенимали этот сленг.
2. Непонимание инструкции
Непонимание инструкции – самый очевидный пункт в этой статье и, казалось бы, бесполезный. Почти все исследователи проясняют во введении к анкете, на что направлено исследование, и как стоит заполнять бланк. Почти все респонденты уже имеют опыт участия в каких-нибудь опросах, и сейчас редко можно услышать взволнованные вопросы, которые нам задавали лет 8 назад: «А в квадратик нужно ставить плюсик, или галочку?» и «А можно зачеркнуть ответ, если я передумал?».
На картинке: Анкета с неточными инструкциями для соискателей (источник: pikabu.ru).
Несмотря на опытность обычного респондента, вопрос юзабилити анкет снова возникает, если исследователь пробует новые формы (например, on-line опросы и анкетирование на мобильных устройствах с неочевидными инструкциями или невозможностью пропустить ответ), забывает про опцию «один вариант ответа/ несколько вариантов ответа», или забывает дать корректную инструкцию к сложным вопросам (например, вопросам с ранжированием, или попарным сравнением). И для исследователя большая удача, когда получается узнать о затруднениях участника, как в примере на картинке ниже.
На картинке: комментарий пользователя к анкетному опросу, опубликованному на сайте (источник: pikabu.ru)
То, что кажется очевидным исследователю и большинству респондентов, может представлять сложности для менее опытных участников.
На картинке: Анкета с неточными инструкциями, не адаптированная для участника опроса (источник: adme.ru).
Пример 1: Мы проводили исследование сотрудников компании, имеющей филиалы в маленьких городах и поселках. Представители филиалов съехались на обучение в столицу, поэтому опросить их всех после обучения показалось хорошей идеей. Мы выступили перед сотрудниками, дали инструкции и раздали опросники, пообещав выслать результаты на e-mail каждому участнику, или принести на следующий день. Опросник был довольно большой, люди в тишине заполняли его. Как только первый участник отдал заполненную анкету, в конце комнаты поднялась женщина и направилась к двери. Когда мы спросили, где ее анкета, она ответила: «Я не понимаю, что такое имейл, и не понимаю, куда и что вы мне хотите выслать. Лучше я пойду». Оказалось, она просидела больше получаса, так как не поняла наши слова, но стеснялась уточнить инструкцию. Для нас это был вопиющий случай: мы узнали, каких масштабов может достичь непонимание инструкции. А при удаленных и on-line опросах у исследователя обычно не появляется возможности понять, что пошло не так: анкеты либо не возвращаются, либо заполняются некорректно.
Пример 2. Однажды мы организовали большое тестирование людей разных возрастов с использованием психологических опросников, которые включали шкалу лжи. По правилам таких тестов, запрещено интерпретировать результаты, если показатель лжи превышает установленный порог. Одна из участниц получила критический балл по шкале лжи и, когда мы отказались анализировать результаты, была крайне удивлена, сказав, что всегда старается говорить правду и уж точно не стала бы врать в психологическом тесте. Мы взялись с ней разбирать ответы, среди которых было, например: «Я всегда перехожу дорогу на зеленый свет», «Я всегда говорю правду» и другие очевидные вопросы на социальную желательность. На все она ответила «Да». Тогда я спросила:
– Ну, а если задуматься, за всю жизнь вы точно ни разу не перешли дорогу на красный?
– Было, конечно. Но я же старалась отвечать так, как считаю правильным себя вести, а не как веду. А так – в жизни разное бывает.Оказалось, подробная и четкая инструкция к тесту все-таки была осмыслена женщиной по-своему.
Пример 3: Во время исследования стилей поведения в служебных отношениях среди директоров предприятий, как всегда, нам удалось привлечь намного больше женщин, намечался сильный перекос выборки, и потому мы очень обрадовались, когда узнали, что завтра поступит сразу несколько анкет от мужчин, директоров крупных гос. организаций. Мы были готовы на следующий день приступить к обработке, но вечером мне позвонил один из директоров. Он бодро сообщил, что с несколькими директорами заполняет наши анкеты и хотел бы получить пояснения по некоторым ситуациям из теста, так как у них возникли споры в выборе вариантов ответа. Оказалось, директора, приехав на повышение квалификации, решили совместить общение и заполнение интересного теста, и принялись заполнять наши анкеты вместе в номере гостиницы, бурно обсуждать каждую ситуацию, спорить и убеждать друг друга. Индивидуальное исследование личных стилей поведения превратилось в групповое принятие решений, все анкеты оказались заполнены одинаково и потеряли всякую ценность для нашего исследования.
3. Непонимание формулировки вопросов
В создании анкеты, или планировании интервью есть одно правило: «Вопрос – это уже почти ответ». Информативный ответ можно получить только при очень хорошо продуманном вопросе. Для того, чтобы создать такие вопросы, проводится большая подготовительная работа (в следующей части статьи я расскажу про этапы этой подготовки).
Но наш опыт общения с исследователями показывает, что на такую подготовку почти никто не обращает внимания. Ответственность за ответ часто возлагается на респондента, делается существенное предположение, что респонденты имеют сформулированное мнение по нашему вопросу и очень хотят высказать его. Часто это совершенно ошибочное предположение. Не только проблемы исследователей, но язык их вопросов часто не воспринимаются респондентами.
На картине: Кадр из фильма «Автостопом по галактике».
Википедия: «Окончательный Ответ на величайший вопрос Жизни, Вселенной и Всего Такого (…): «Сорок два». Реакция была такой:
— Сорок два! — взвизгнул Лунккуоол. — И это всё, что ты можешь сказать после семи с половиной миллионов лет работы?
— Я всё очень тщательно проверил, — сказал компьютер, — и со всей определённостью заявляю, что это и есть ответ. Мне кажется, если уж быть с вами абсолютно честным, то всё дело в том, что вы сами не знали, в чём вопрос.
— Но это же великий вопрос! Окончательный вопрос жизни, Вселенной и всего такого! — почти завыл Лунккуоол.
— Да, — сказал компьютер голосом страдальца, просвещающего круглого дурака. — И что же это за вопрос?»
Пример 1: Однажды со мной поделилась идеей исследования ТОП-менеджер производственной компании. В тот момент она заканчивала обучение в MBA и заинтересовалась изучением мотивации рабочих на производстве. Исследование мотивации – сложная тема, мы спросили, какие методы она будет использовать. «А какие тут нужны методы? – удивилась она. – Раздам им бумажки с вопросом «Что вас мотивирует?» и соберу ответы». Жаль, общение с ней не продолжилось, и мы не узнали, как рабочие завода восприняли ее анкеты, и как она использовала результаты такого исследования.
Пример 2: Второй пример несоответствия языка исследовательских анкет языку заполнявших их людей тоже из производства. HR-директор крупного производственного холдинга как-то похвастался нам в личной беседе, что ему за несколько лет удалось увеличить вовлеченность персонала на 12% (!). Рабочий персонал и средний менеджмент заводов – специфическая группа для исследований. Как он изучал их вовлеченность? Оказалось, опросником от компании «Gallup».
Тут нужно пояснить. Самый большой недостаток использования опросника – не столько расплывчатые и неадаптированные для людей рабочих специальностей формулировки вопросов (например, вопросы №5, 6, 8), сколько его применение в качестве теста с подсчетом интегрального числового показателя вовлеченности. Другими словами, даже если у участников возникнет непонимание формулировок анкеты, исследователь не проанализирует ответы отдельно, не проследит за выбросами, а подсчитает суммарный показатель. Текст опросника приведен на картинке.
На картинке: Один из вариантов русскоязычного перевода опросника вовлеченности персонала от компании «Gallup» (Источник: antropos.ru).
Нам не удалось найти ссылки на публикации с адаптацией и валидизацией опросника «Gallup» (обязательными этапами при использовании переводных методик). Тем не менее, можно найти несколько вариантов его вольного перевода, много рекомендаций его применения в бизнес-изданиях и еще больше предложений от консалтинговых компаний, которые используют 12 невалидизированных и неадаптированных вопросов, как единственный инструмент для измерения вовлеченности персонала.
Естественно, когда клиент видит в отчете только обобщенные показатели вовлеченности и – еще лучше – рост таких показателей, он редко спрашивает о методах, которыми они были получены.
4. Непонимание направленности опроса
Непонимание направленности вопроса – куда более сложная и распространенная ошибка в анкетных исследованиях. Иногда и предположить нельзя, как человек может интерпретировать, казалось бы, однозначно сформулированный вопрос.
Для этой проблемы есть изящное решение, которое мы обсудим в следующей части. А пока, можно поговорить о случаях, когда исследователи намеренно прячут истинный смысл вопроса, или вносят путаницу в формулировки, чтобы получить желаемый ответ.
Иллюзия выбора. В практике социальной манипуляции есть такой ход: предоставление собеседнику иллюзии выбора, при которой любой его ответ будет выгоден манипулятору. Классический пример иллюзии выбора из продаж сетевых ресторанов быстрого питания: При заказе клиентом кофе официант спрашивает: «Вы к кофе возьмете маффин, или пирожок?» (вопрос «Не желаете ли что-нибудь к кофе?» считается куда менее эффективным с точки зрения продаж). Такой ход часто применяется в анкетных опросах, когда организатор исследования заинтересован в определенных ответах.
Пример: Несколько лет назад наша компания выступала организатором корпоративной игры для менеджеров среднего и высшего звена известного завода. Незадолго до этого контрольный пакет акций этого завода был куплен немецкой компанией, которая сразу начала внедрение корпоративных стандартов поведения. Стандарты эти на русском языке представляли не вполне корректно переведенный и не всегда понятный для русского менталитета свод правил, и перед нами поставили задачу организовать игру так, чтобы менеджмент усвоил эти стандарты. На игру отводилось всего несколько часов, и мы сразу объяснили, что за такое время нельзя сформировать поведенческие паттерны и нельзя даже развить принятие и согласие с чуждыми нормами. Сошлись на том, что целью игры будет уменьшить эмоциональное напряжение, которое вызывали новые стандарты. Итак, мы разработали игры и конкурсы, в основе которых было взаимодействие с каждым правилом, сделали акцент на вовлечении, групповой работе и положительных эмоциях.
Игра прошла хорошо, все руководители вовлеклись и расходились довольными. А через несколько дней HR-служба компании попросила нас провести опрос удовлетворенности игрой, чтобы предоставить отчет руководству. Мы понимали, что новые нормы не были усвоены сотрудниками и, тем более, не перешли в привычки. Но цель свою – уменьшить напряжение – мы выполнили. Поэтому, наша анкета была сосредоточена исключительно на положительных эмоциях после игры (см. рисунок).
На картинке: Фрагмент анкеты обратной связи для участников игры.
Вопросы 5, 6 и 9 – вопросы с иллюзией выбора. Они выглядят довольно полно. Но, если присмотреться, любой вариант ответа либо отражает положительную оценку, либо перекладывает ответственность на заполняющего (по принципу «это не игра была плохая – это я все еще не понимаю стандарты поведения, которые мне объясняют уже несколько месяцев», или «я и так хорошо понимаю суть стандартов»).
Последний вопрос – образец вопроса с иллюзией выбора. Все его варианты положительные. Формулируя его, мы знали, как результаты будут выглядеть в отчете: как в диаграммах будут смотреться положительные эффекты, заданные нами заранее в анкете, и как приятно руководителю будет рассматривать их. Когда человек просматривает такой отчет, у него редко появляется вопрос, были ли предусмотрены анкетой негативные варианты ответов.
Расстановка акцентов
Если заказчик исследования не интересуется исходным текстом анкеты и не уточняет, какие варианты были предоставлены участникам, организаторы могут подменить смысл результатов, расставив акценты.
Пример: Недавняя публикация результатов исследования общественного мнения россиян вызвала бурное обсуждение в Интернете (см. рисунок). В основном, обсуждение крутится вокруг термина «удовлетворительно». А для нашей статьи интересно, как результаты опроса преобразились в заголовке статьи за счет игры слов русского языка. В заголовке значится «половину россиян удовлетворяет экономика страны», в то время как в расшифровке статьи сказано, что только 6% оценили экономику положительно. Если бы в отчете были представлены только «существенные» результаты и был упущен вариант с положительной оценкой, то, благодаря богатству смыслов языка, понятие «удовлетворяет» воспринималось бы, как очень хороший результат опроса (а не как оценка «на троечку»).
На картинке: фрагмент новости о результатах соцопроса (источник: www.solidarnost.org).
Пример 2: Еще один веселый пример расстановки акцентов. Если ввести в поисковике фразу «почти половина россиян не доверяет полиции», выдаются ссылки на источники vedomosti.ru, rbc.ru, echo.msk.ru и др. А если ввести “почти половина россиян доверяет полиции», выдаются ссылки на ria.ru, news.sputnik.ru, www.business-gazeta.ru, ridus.ru (последний источник – на удивление, в отличие от скриншота).
На картинке: скриншот новостной ленты – расстановка акцентов разными изданиями (источник: joyreactor.cc)
Подмена понятий. По сути, практика защиты перед заказчиком одних только результатов исследования без предварительного рассмотрения сырых данных и способов их сбора, оставляет огромное поле для подделки данных и манипуляции результатами без всякой подделки. В таких случаях важно обращать внимание на логику и направленность вопросов в анкете перед тем, как анализировать ее результаты.
Поэтому особенно забавно смотрятся предложения обучающих и консалтинговых компаний самостоятельно оценить эффект от обучения персонала, или проведенных внедрений, и предоставить заказчику отчет о возврате на инвестиции. В анкетах обратной связи подрядчики могут спрашивать сотрудников совсем не о том, а в итоговом отчете подменять понятия. Но заказчики обычно с готовностью принимают такие отчеты, так как они выглядят вполне авторитетно, и не требуют усилий со стороны внутренних служб.
Пример: Недавно нам представили компанию, оказывающую PR-услуги. Представили, с гордостью пояснив, что эта компания – одна из немногих в отрасли, дающая четкий отчет по KPI (ключевым показателям эффективности) своей деятельности в процентах. Действительно, оценить эффективность маркетинговых и PR-кампаний, очистить замеры от всех влияющих условий рынка, непросто. Мы заинтересовались методикой. И, когда мы спросили, как именно проводится измерение эффективности PR-деятельности и вычисляются проценты, выяснилось, что в качестве единиц измерения используется план (например, «написать 10 статей в отраслевых изданиях»), а в качестве отчета – подсчет выполнения этого плата (по логике этой компании, если написано 9 статей, то KPI по PR выполнены на 90%). Конечно, существует разделение на процессные и фактические KPI и есть бизнесы, где важно именно четкое выполнение процесса. Но это не касается тех сфер, где процесс не имеет значения, если не достигнут результат. И у меня есть подозрение, что, предоставляя заказчику отчет об эффективности PR-кампании в численных показателях, эти подрядчики совершали грубую подмену понятий.
Наводящие формулировки. Тональность вопроса в анкете, или его направленность могут наводить участника на определенный ответ. Выгода организатора исследования от таких ответов заключается в подтверждении собственной позиции (например, при фальсификации теорий, или оправдании управленческих решений).
Пример: Хорошо этот эффект иллюстрирует «Теория перспектив» А. Тверски и Д. Канемана об экономии интеллектуальных затрат (за исследования иррациональной природы принимаемых людьми решений они получили Нобелевскую премию).
В одном из экспериментов по исследованию принятия решения в зависимости от контекста подаваемой информации, известном как «Азиатская болезнь», участникам предлагалось решить задачу: «Представьте, что Соединенные Штаты Америки готовятся к вспышке эпидемии неизвестной «азиатской болезни», вследствие которой, как ожидается, погибнет 600 человек. Для борьбы с этой болезнью предложены две альтернативные программы. Какую из них стоит выбрать?» Далее двум разным группам участников сообщалась одна и та же информация, но в разных формулировках (с позитивным и негативным фокусом). Авторы эксперимента доказали, что, стремясь сэкономить усилия при принятии решения, люди предпочитают полагаться на интуицию, прошлый опыт и более простые и оптимистичные варианты.
На картинке: Формулировки «программ» эксперимента «Азиатская болезнь» и предпочтение ответов участниками.
Еще один распространенный пример из исследований Д. Канемана: если одну группу испытуемых спросить: «Дожил ли Ганди до 114 лет? В каком возрасте он умер?», а другую: «Дожил ли Ганди до 35 лет? В каком возрасте он умер?», то первая группа оценит жизнь Ганди как гораздо более долгую, чем вторая.
Так, удачно формулируя вопросы анкеты, делая акцент на положительных вариантах, или используя наводящие цифры, исследователи создают «эффект привязки» и могут манипулировать ответами участников.
Второй вариант, при котором применяется техника наводящих формулировок, — это постепенное изменение убеждений участника исследования с помощью анкеты. В этом случае от вопроса к вопросу создается канва, при которой респондент вынужден отвечать определенным образом, сталкивается со своими ответами, как с новыми представлениями, и постепенно меняет точку зрения. Продолжением такого метода являются вопросы, создающие потребность (см. следующий пункт).
Пример: Однажды я сама стала жертвой жесткого манипулятивного опроса. Его проводила авторитетная организация, предлагая пройти on-line анкетирование людям со всего мира. Исследование подавалось под видом «Оцените, насколько правильно вы питаетесь». Начало анкеты было стандартным, задавались вопросы о разных продуктах, но постепенно анкета стала сужаться до фильтрующих вопросов о мясе (употребляете ли мясо, сколько раз в неделю, и т.д.). После моих ответов следующие вопросы анкеты стали предлагать мне просмотреть фотографии и видео о том, как умертвляют животных на фермах, как разделывают туши, как утилизируют отходы и др. И уже совсем скоро вопросы приобрели такой характер: «Зная, как страдают животные на фермах, вы по-прежнему будете регулярно употреблять мясо?» и «Не считаете ли вы, что стоит предпочесть растительные белки, такие же полезные и питательные, чтобы прекратить издевательство над животными?». Эти вопросы сыпались градом: никто уже не интересовался моим рационом. Казалось, завершить этот поток можно, только отвечая в духе «я все осознал и пойду теперь убеждать всех, кого встречу на пути». Впервые у меня был такой травматический опыт от заполнения анкеты. Я прекратила отвечать на вопросы, и мне потребовалось время, чтобы снова укрепиться в своих представлениях о питании, которые оказались под большим влиянием из-за этого опроса.
Опросы, создающие потребность. Создание у участников нужных потребностей с помощью правильно сформулированных вопросов – еще одна тактика манипуляций и продаж. И анкетные опросы в этом мероприятии оказывают хорошую поддержку продающим компаниям.
Никого уже не обманут псевдо-социологические опросы в стиле «Правильно ли вы ухаживаете за кожей?», или «Все ли вы знаете об очищении организма?», где после третьего вопроса появляется: «Знакомы ли вы с продукцией компании N?». Лет десять назад в нашей стране эти опросы были очень популярными.
Сейчас тактику создания потребностей используют более тонко. Первый вариант – это скрытое информирование участника с помощью анкеты об ассортименте и новых продуктах компании, что рождает осведомленность и вызывает любопытство (см. рисунок).
На картинке: фрагмент анкеты, рекомендованной Минздравом для определения группы риска по употреблению наркотиков подростками. Среди вопросов были также такие: «Сколько раз, если такое случалось, вы нюхали ингаляты – клей, аэрозоль, бензин – специально, чтобы получить «необычные ощущения»?». Анкеты предлагалось раздавать детям 10-13 лет, что вызвало бурное возмущение родителей. (Источники: Ridus.ru, RG.ru).
Второй вариант создания потребности – предложить клиенту анкету, якобы помогающую сориентироваться в том, какого вида услуга (товар) на самом деле ему нужна. Нельзя сказать, что это однозначная «политика зла». Такие анкеты, действительно, помогают уточнить потребности клиента, но они и очень хорошо помогают продавать.
Суть продажи заключается в том, что под видом опроса:
а) респондента подводят к мысли, что у него чего-то нет, или что-то используется неэффективно (вызывают чувство тревоги),
б) информируют о новых услугах (товарах, опциях), которые помогут решить его проблему (о которой он не знал до начала опроса).
Примерный алгоритм анкеты, создающей потребность:
1. Вводные нейтральные вопросы по теме, «айс-брейкеры».
2. Вопросы об актуальном состоянии респондента, которые постепенно подводят его к идее, что у него чего-то не хватает, или что-то устарело.
3. Вопросы, уточняющие, понимает ли респондент, какие последствия имеет эта нехватка, и чем она может обернуться лично для него или его бизнеса.
4. Вопросы о том, знаком ли респондент с некоторыми решениями (товарами, услугами, технологиями).
5. Вопросы, информирующие респондента, как именно эти решения помогают справиться с его проблемой.
6. Вопросы, наводящие на мысль о покупке (информирующие о цене, скидке, условиях).
7. Вопросы, подтверждающие, что при покупке этого решения проблемы респондента будут решены, и он получит дополнительную выгоду.
Пример: Если бы я хотела продать эту статью с помощью анкеты, я вначале задала бы несколько формальных вопросов о вашем опыте анкетных исследований и о том, получили ли вы специальное образование для проведения исследований (уже здесь начинается работа с тревогой). Потом спросила бы, с помощью каких процедур вы устанавливаете и доказываете, что респонденты правильно понимают инструкцию, формулировки и критерии оценки в ваших опросах. Затем спросила бы, знакомы ли вы с такими-то примерами из вашей сферы, когда результаты дорогих опросов приходилось выбрасывать из-за того, что не все респонденты верно понимали инструкцию, или суть вопросов. Упомянула бы, какой позор постиг организаторов таких опросов из такой-то компании. Потом я спросила бы, знакомы ли вы с процедурами концептуализации, операционализации, валидизации, адаптации, апробации и пилотного запуска, и в каком объеме вы их используете. Затем привела бы примеры, как эти процедуры помогли спасти дорогостоящие исследования. И, наконец, я поинтересовалась бы, что должно произойти в вашей компании для изменения подхода к опросным исследованиям и сколько, по-вашему, может стоить статья, в которой содержится алгоритм применения этих процедур, чтобы ваши исследования стали надежными, принесли успех вашей компании и лично вам.
В этом примере все еще отчетливо видны «белые нитки» продажи, но, чем ближе ваш респондент к статусу клиента (например, заполняет анкету на сайте продукта) и чем ближе он к покупке, тем лучше будет воспринята им такая анкета и тем легче получится увеличить объем его покупки за счет дополнительных продаж.
Третий вариант создающих потребность анкет, очень популярный сейчас, это развлекательные тесты. Интернет-пользователей до сих пор привлекают тесты в стиле «Хорошо ли вы разбираетесь в компьютерных играх?» (где можно невзначай добавить несколько вопросов с перечислением игровых новинок определенной компании), «Умеете ли вы управлять своим временем?» (здесь уместно упомянуть несколько специализированных мобильных приложений, которые вы хотите продать) и т.д. Такие тесты иногда выглядят профессионально и доставляют положительные эмоции, даже когда их рекламная природа очевидна.
Пример: Несколько дней назад друг предложил мне пройти тест на знание итальянских сыров на сайте «Медуза». Тест был отмечен значком «партнерский материал», а в названии упоминался бренд производителя сыров, но друг этого не заметил. Он зачитывал вопросы, а я воспринимала их на слух. Тест был, действительно, интересным.
И в какой-то момент, захотев уже салат с сочной полезной моцареллой, я шутя воскликнула:
– Да похоже, они продают эти сыры!
– Действительно, смотри, тут в конце теста написано: «Ну и конечно теперь мы просто обязаны вам рассказать, что U. тоже производит все сыры, о которых мы упомянули в тесте, – и не только. Они свежие и полезные, и даже кальций в них – со вкусом Италии».Много зная о маркетинговых уловках и манипуляции, мы все равно восприняли этот тест положительно и заинтересовались компанией, так как форма подачи и полезность контента перевысили знание об истинных целях организаторов теста.
Один из вопросов теста представлен на рисунке.
На картинке: Один из вопросов теста на знание итальянских сыров (Источник).
Опросы со смещенной целью. Особняком в этом списке опросов со скрытыми мотивами стоят опросы со смещенной целью, так как они используются, в основном, не для манипуляции, а для более изящного исследования мотивов респондентов, когда такое невозможно сделать с помощью прямых вопросов.
Пример: Об этом опросе рассказала моя ученица, директор частной мебельной фабрики. Она пыталась понять причины плохих продаж в фирменных магазинах. Несколько месяцев назад фабрика (изготавливавшая до этого только мягкую мебель) приобрела производство кухонь. Соответственно, в фирменных магазинах, кроме мягкой мебели, началась продажа кухонь. Но, на фоне стабильных продаж мягкой мебели, кухни продавались очень плохо. У директора возникла гипотеза, что причина плохих продаж не в плохом качестве продукции (у нее была возможность проверить реальный спрос), а в предвзятом отношении продавцов, которые саботировали продажи. Напрямую спросить об этом продавцов было невозможно, и потому она организовала среди них опрос в стиле «Почему, на ваш взгляд, кухни плохо продаются». Продавцы обрадовались возможности высказать, наконец, все свое недовольство от инноваций, и красноречиво отвечали на вопросы анкеты. Так ей удалось подтвердить свою гипотезу, собрать основные предубеждения продавцов против нового товара, понять их сопротивление и получить базу для работы с возражениями (в ее случае – с возражениями самих продавцов, а не клиентов).
5. Непонимание критериев оценки
Исследователи не всегда разъясняют критерии оценки, ожидая, что они интуитивно понятны участникам.
Пример: Традиционно из десятков анкет, присылаемых мне на экспертизу, около 30% содержат вопросы с просьбой оценить какой-то параметр (услугу, товар) от 1 до 5 баллов, но не содержат расшифровки значений, или хотя бы указания, какой полюс является положительным. Иногда все исследование пропадает, если организаторы обращают внимание на диаметральные различия в оценках респондентов и только потом догадываются, что некоторые респонденты ставили «1», предполагая, что это «первое место» в рейтинге, а другие ставили «1», как самый низкий балл.
Как выход из таких ситуаций, принято использовать шкалу Лайкерта (Лейкерта, Ликерта), содержащую более детальные формулировки для оценки (например, от «Совершенно не нравится» до «Очень нравится», или от «Никогда» до «Очень часто»). Можно найти или придумать много формулировок этой шкалы для самых разных вариантов вопросов. Но и у этой шкалы есть недостатки, так как субъективное понимание, например, частоты каких-то действий у разных людей может различаться. И если нам важно знать не их мнение о частоте, а более-менее точный показатель, лучше конкретизировать такие варианты ответов точными промежутками (например: «Реже одного раза в год» — «…» — «Несколько раз в день»).
На картинке: комментарии участников к анкетному опросу, опубликованному на сайте (источник: pikabu.ru)
Проработка вариантов ответа становится особенно важной, когда анкетный опрос применяется для оценки сложных, субъективно-значимых параметров. В таких случаях респонденты склонны к «ментальной экономии» и выбирают варианты оценки, соответствующие их общему представлению об объекте, не задумываясь над вопросом (например, «игра мне, в общем, нравится, проставлю везде 4 и 5 – не важно, оцениваю я звук, или уровень обратной связи с игроками»).
Такие усредненные оценки встречаются часто при проведении оценки сотрудников методом 360 градусов. Оценивая своих коллег, люди склонны ставить положительные баллы «любимым» и нейтральные, или отрицательные, баллы «нелюбимым», независимо от того, по какому параметру ставятся оценки (нелюбимый сотрудник может быть сильным лидером, или ни с кем не конфликтовать, но «рука не поднимется» поставить ему высокие баллы даже за эти показатели). В итоге, такая оценка оказывается совершенно бесполезной для организаторов исследования, так как не дает возможности выделить реальные проблемные точки у сотрудников компании.
Точно так же обстоят дела при оценке пользовательского опыта при работе с ИТ-продуктами. Если сайт, или компания, в общем, нравятся пользователю, он будет склонен ставить, в общем, высокие оценки, чтобы «никого не обидеть». И такой опрос не поможет разработчикам сделать продукт лучше.
Пример: Забавный случай случился с моей знакомой, когда только начал развиваться сервис «Одноклассники». Заведя аккаунт значительно позже своих знакомых и еще не зная негласных правил поведения на сайте, она стала просматривать профили друзей и ставить оценки фотографиям. Очень скоро несколько подруг ее заблокировали. Она была крайне удивлена и смогла разговорить одну из них, чтобы вяснить причину. Оказалось, подруг (уже давно закончивших школу) сильно задели низкие оценки, которые она ставила их фотографиям. «Как ты не понимаешь? Ты понизила мне общий балл своими двойками!» – призналась одна из них. А моя знакомая, в отличие от большинства пользователей «Одноклассников», была убеждена, что механизм оценки фотографий существует для того, чтобы искренне высказываться насчет удачности кадра, цвета, перспективы и др., а не для выполнения социальной функции поддержки друзей.
В таких случаях высшим пилотажем исследователя становится разработка «поведенческих» вариантов ответа, описывающих примеры проявления качества в поведении человека (или – при оценке продукта – особенности взаимодействия пользователя с ним). По поведенческим вариантам нельзя однозначно определить, какой из них положительный, и какой отрицательный, и респонденту приходится выбирать вариант, наиболее приближенный к реальности.
Пример: Можно предложить такие поведенческие варианты для оценки конфликтности: «Этот человек никогда не повышает голос и всегда держится в стороне от любых разногласий и споров» (самый низкий балл) – «Этот человек остро реагирует, когда его точка зрения не принимается коллегами, или когда поведение коллег кажется ему несправедливым; он может повышать голос, или даже решать разногласия силой» (самый высокий балл). Соответственно, в таком же ключе формулируются остальные промежуточные варианты оценки.
На картинке: Пример вопроса оценки «ориентации на команду» для оценки сотрудников методом 360 градусов. В каждом варианте можно заметить положительные и негативные черты, что увеличивает вероятность честной оценки, в отличие от простого приписывания высоких, или низких баллов сотруднику (Источник).
Разработка поведенческих вариантов оценки – сложный этап. Особенно сложно подобрать адекватные варианты, когда не совсем понятно, как они проявляются в реальном поведении (или взаимодействии пользователя с продуктом). Например, при оценке звуковых эффектов в игре высшей оценкой звука будет: «Звуки не отвлекают от игры, создают хороший фон», или «Звуки играют важнейшую роль, помогают следить за динамикой игры, во время подсказывают действия игрокам». Для того, чтобы варианты оценки получились наиболее соответствующими реальному опыту пользователя, используется этап операционализации, о котором я подробно расскажу в следующей части статьи.
Краткие выводы
Я попыталась описать примеры, когда очевидные для организаторов исследований этапы анкетирования неверно понимаются участниками. Респонденты могут неверно понимать слова и фразы, формулировки вопросов, инструкции к анкете, критерии оценки и направленность вопросов. Эти сложности приводят к сбору нерелевантной информации, или невозврату анкет.
Также мы рассмотрели примеры, когда замешательство респондентов провоцируется намеренно с целью манипуляции результатами опроса. Среди таких манипуляций:
— предоставление иллюзии выбора;
— расстановка акцентов;
— подмена понятий;
— наводящие формулировки;
— использование эффекта привязки;
— создание потребности: 1) через информирование и любознательность, 2) через провокацию тревоги, 3) через развлекательные тесты,
— опросы со смещенной целью.
Чтобы оценить, не манипулируют ли вашим мнением исследователи, предоставляя результаты анкетного опроса, можно задать им несколько вопросов по процедуре исследования:
1. Попросите посмотреть исходный текст анкеты и попробуйте самостоятельно ее заполнить перед тем, как знакомиться с результатами (еще лучше – перед тем, как санкционировать исследование).
2. Представьте, как заполняет эту анкету ваш типичный клиент, или сотрудник (все ли термины и формулировки будут ему понятны).
3. Обратите внимание на формулировку вопросов и вариантов ответа: есть ли негативные варианты, занимают ли они равное место с позитивными вариантами.
4. Обратите внимание, нет ли в вопросах анкеты наводящих формулировок и «привязок».
5. Просмотрите, насколько однозначно и конкретно сформулированы критерии оценки в вопросах анкеты (не провоцируют ли они на «ментальную экономию» – на нейтральные, или исключительно положительные ответы). Лучший вариант – если критерии оценки сформулированы в поведенческих примерах.
6. При анализе итогового отчета обратите внимание, на основе каких вопросов анкеты построены выводы: не подменяют ли исследователи понятия, не выдают ли мнения респондентов за факты.
7. Если используется зарубежная методика (например, от известной компании), поинтересуйтесь ссылками на публикации с описанием процедуры ее перевода, адаптации и валидизации. Без этих процедур методику нельзя считать авторитетным методом исследования, независимо от статуса ее разработчика.
8. Запросите точное распределение участников опроса по группам (пол, возраст, социальный статус, или: отделы, должности), чтобы избежать перекоса выборки (подробнее об этом – в предыдущей статье о выборке).
В следующих статьях:
Ошибка 2. Формулировки вопросов: почему вы решили, что вас понимают? (2 часть)
Ошибка 3. Виды лжи в опросах: почему вы верите ответам?
Ошибка 4. Мнение не равно поведению: вы действительно спрашиваете о том, что хотите узнать?
Ошибка 5. Виды опросов: вам нужно узнать, или подтвердить?
Ошибка 6. Разделяйте и насыщайте выборку: среднее ничего не помогает понять.
Ошибка 7. Пресловутый «Net Promouter Score» – это НЕ изящное решение.
Качество анкеты во многом определяет качество полученных данных. На первый взгляд процесс создания анкеты кажется интуитивно понятным. Но зачастую, когда ответы уже получены, обнаруживаются ошибки: часть ответов ушла в категорию «Другое», часть респондентов «затруднилась с ответом», другая часть вовсе не завершила опрос.
Пользователи онлайн-сервиса для создания опросов «Анкетолог» ежедневно создают сотни анкет. Василий Жаворонков, руководитель отдела исследований, собрал распространенные ошибки при создании анкет и рассказал, как их избежать.
Одна анкета для нескольких целей
Цель исследования – это основной вопрос, ответ на который мы ищем. Часто, чтобы сэкономить бюджет, исследователи запускают одну анкету для достижения сразу нескольких исследовательских целей. Такой подход чреват получением ненадежных данных. Основное правило: одна цель – одна анкета, где каждый (!) вопрос работает на достижение исследователем поставленной цели.
Объединять два вопроса в один
Ошибка – объединять два вопроса в один. Скорее всего, респондент ответит только на один из них – тот, по которому ему есть что сказать. Чтобы получить точные ответы, разделите вопрос по смыслу на два отдельных.
✘ Сталкиваются ли ваши сотрудники со стрессом и выгоранием на работе?
✔ Сталкиваются ли ваши сотрудники со стрессом на работе?
✔ Сталкиваются ли ваши сотрудники с выгоранием на работе?
Слишком много открытых вопросов
Опрос нацелен на сбор количественных данных с помощью вопросов с закрытым списком вариантов ответа. Открытые вопросы требуют больших трудозатрат как от респондента, так и от исследователя. Первый потратит больше сил, чтобы сформулировать и написать ответ. Второй – чтобы его прочитать и категоризировать. Допустимо добавить 1-2 открытых вопроса в конце анкеты, чтобы респонденты могли поделиться наболевшим по теме опроса. Так вы сможете найти дополнительные сюжеты, не охваченные вопросами анкеты.
Плохо сформулированные варианты ответа
Подсказки должны быть однородными: равной длины, одинаковой степени конкретизации и выделены по одному основанию. Интервалы значений в подсказках должны быть уникальными и не включать в себя значения соседних. В случае с оценочными вопросами подсказки должны быть симметричными: две про позитив и две про негатив.
Ошибки в тексте анкеты
Соблюдение правил орфографии и пунктуации – плюс балл к репутации бренда. Небрежно оформленная анкета отражает соответствующее отношение компании к своим клиентам. Перед запуском дважды проверьте анкету на ошибки и опечатки и попросите коллег взглянуть на анкету свежим взглядом.
Сложные формулировки вопросов
Формулируйте вопросы максимально просто, понятно и недвусмысленно. Откажитесь от теоретических понятий, профессиональных терминов, аббревиатур, сокращений и сленга. Не используйте речевые штампы и абстрактные понятия («много», «мало», «часто», «редко», «нормально»). Даже такие словосочетания, как «программа лояльности» или «под ключ», стоит пояснять в скобках.
✘ Какой рекламный баннер из представленных ниже нравится вам больше всего?
✔ Какое изображение вам нравится?
Одинаковые типы вопросов
Чтобы удерживать внимание, вопросы должны быть разнообразными. Используйте разные типы вопросов: выбор из списка, шкала, матрица, парное сравнение и т. д. Спрашивайте про разное: факты, чувства, желания, потребности, драйверы и барьеры. Задавайте вопросы в последовательности «что?», «где?», «когда?», «кто?», «как?», «почему?».
Начинать анкету с личных вопросов
Не стоит с ходу спрашивать респондента о его возрасте, семейном положении и доходе. В самом начале анкеты такие вопросы могут насторожить и оттолкнуть. Поэтому личные вопросы, как правило, размещают в конце анкеты, когда респондент, ответив на большую часть вопросов, хочет завершить опрос. Спрашивая респондента о его жизни, подбирайте нейтральные формулировки и добавляйте опцию «Не хочу отвечать».
Неполный список вариантов ответа
Проверьте, чтобы варианты ответа охватывали все возможные ситуации. Не должно получиться так, чтобы респонденту не подходил ни один из предложенных вариантов. Если есть сомнения в полноте списка, добавьте поле «Другое» для ввода ответа в свободной форме, чтобы позже дополнить перечень ответов.
Представлены не все возможные сценарии ответа
Продумайте, сколько вариантов нужно выбрать для ответа на вопрос, чтобы избежать ситуации, когда технически респондент может выбрать только один вариант, а фактически ему подходят несколько. К примеру, если вы спрашиваете «Как вы добираетесь до работы?», учитывайте, что человек может комбинировать несколько видов транспорта: часть пути пройти пешком, часть – на автобусе, часть – на метро.
Предвзятая формулировка вопроса
Часто исследователи предвзято формулируют вопросы из-за неосознанного желания подтвердить свою гипотезу. В свою очередь, респонденты имеют склонность давать социально одобряемые ответы или более позитивные оценки, чтобы проявить уважение к исследователю. Чтобы предотвратить получение смещенных оценок, используйте нейтральные формулировки.
✘ По шкале от 1 до 10 насколько вам нравится дизайн нашего сайта?
✔ Пожалуйста, оцените дизайн нашего сайта по шкале от 1 до 10.
Респондент не может пропустить вопрос
Подсказка «Затрудняюсь ответить» показывает уважение к респонденту и дает возможность уйти от ответа. При этом если респонденты слишком часто затрудняются с ответом, это говорит о том, что сам вопрос или варианты ответа сформулированы некорректно или ответ социально неодобряем.
Фиксированная последовательность вариантов ответа
При расположении подсказок учитывайте, что первую подсказку выбирают чаще всего. Чтобы избежать систематической ошибки при ответе на вопрос, конструкторы анкет позволяют настраивать отображение вариантов ответа в случайном порядке. Эта опция применима только для тех вопросов, где подсказки нельзя упорядочить естественным образом. В оценочных вопросах подсказки всегда упорядочивают по смыслу, например, «очень хорошо», «хорошо», «ни хорошо, ни плохо», «плохо», «очень плохо».
Отсутствие логики перехода между вопросами
Когда в анкете отсутствует логика, у респондента складывается впечатление, что его время тратят впустую. Например, вы просите оценить товары бренда, не уточнив, есть ли у респондента опыт их использования. Конструкторы анкет позволяют настраивать логическое ветвление вопросов анкеты. Вы можете настраивать показ отдельных вопросов и даже целых блоков в зависимости от ответа респондента на предыдущий вопрос. К примеру, сначала вы спрашиваете посетителей кафе, есть ли у них дети до 7 лет. Затем тех, кто ответил утвердительно, просите оценить удобство игровой комнаты. Остальных перенаправляете к следующему вопросу.
«Лишние» варианты ответа
Чем короче анкета, тем выше качество полученных данных. Поэтому по возможности нужно сокращать количество и формулировки вопросов, а также список подсказок к ним. Для этого в конструкторах анкет есть инструмент подстановки выбранных вариантов ответа в последующие вопросы. К примеру, вы спрашиваете, какие сорта сыра респондент покупал за последние полгода. После чего выбранные варианты ответа автоматически подставляются в следующий вопрос, где респондента просят оценить их вкусовые качества.
Слишком длинные списки вариантов ответа
Вопросы с длинными списками вариантов ответа вызывают трудности у респондентов. Такие списки обычно просматривают невнимательно, в результате чего снижается качество данных. Один из способов сократить список – сгруппировать варианты по смыслу. В случае выбора более общей категории, респонденту предлагают уточнить свой ответ, ответив на дополнительный вопрос.
Заключение
Сбор ответов на анкету непростой и дорогостоящий процесс, который легко могут перечеркнуть ошибки при создании анкеты. Поэтому критически важно несколько раз самостоятельно проверить анкету и попросить о помощи коллег или знакомых, чтобы получить свежий взгляд со стороны.
Опрос — распространенный инструмент маркетингового исследования, однако только грамотное использование делает его эффективным. Рассказываем, в результате каких ошибок создатели анкет чаще всего получают некачественные данные, и каких правил стоит придерживаться, чтобы не оказаться на их месте.
Попытка в одной анкете изучить несколько тем, часто не коррелирующих друг с другом
Нередко создатели анкет стараются с помощью одного опроса достичь сразу несколько целей. Например: найти целевую аудиторию своей компании, оценить ее лояльность, а заодно и проверить, какие характеристики продукта важны для потребителя. Однако для полного изучения проблемы необходимо каждое последующее исследование основывать на результатах предыдущего:
- определить свою целевую аудиторию;
- оценить ее отношение к компании;
- выявить значимые характеристики своего продукта для аудитории;
- оценить новый продукт.
Сжатие этого пути до одного единственного исследования приводит к искажению получаемых данных. Причем аномалия в результатах может быть даже принята за естественную тенденцию и привести компанию к убыткам.
Чтобы избежать подобной ситуации, постройте стратегию для программы исследований, пропишите задачи, гипотезы и порядок проведения опросов. Придерживайтесь правила «одно исследование — одна тема» и не приступайте к запуску следующего опроса без внимательного анализа результатов предыдущего.
Создатель анкеты забывает про различные сценарии прохождения опроса
Как правило, сценарии прохождения опроса формируются логическими развилками: это может быть дихотомический вопрос «да/нет», выбор сразу нескольких вариантов ответа, при этом включая и вариант «ничего из вышеперечисленного». Вам нужно заранее продумать, куда будет перенаправлен человек, выбравший любой из вариантов ответа: это может быть один из последующих вопросов (какой именно?) или завершающая страница анкеты.
Например, если вы хотите изучить, какие платформы для онлайн-образования выбирают респонденты, вам нужно проработать вариант сценария, который развивается как после положительного ответа на вопрос «Проходили ли вы какие-либо курсы онлайн?», так и после отрицательного. Если же респондент отвечает «нет», а алгоритм все равно выводит его на вопросы о сервисах онлайн-образования, это негативно скажется на качестве результатов исследования. Данные будут искажены, так как респонденты отвечают на те вопросы, на которые, по логике исследования, отвечать не должны. Также отсутствие проработки пользовательских сценариев ведет к тому, что анкету «технически» нельзя пройти: респондент попадает на вопросы, на которые не может ответить, а система не позволяет ему пропустить их.
Чтобы этого избежать, анкету нужно тестировать. Отправьте опрос нескольким разным людям и попросите их рассказать о любых сложностях, которые возникли при заполнении анкеты. Предварительное тестирование поможет выявить неясные вопросы, неподходящие варианты ответа и другие проблемы, прежде чем вы отправите анкету респондентам. Внесите в опрос поправки и протестируйте его еще раз. Только после этого стоит проводить полноценное исследование.
Неверное использование типов вопросов
Иногда создатели анкет путают, какой тип вопроса в каком случае нужно использовать. Например, на вопрос «Какую еду вы любите?» могут быть предложены варианты ответа: «пюре», «рис», «салаты», «котлеты» и «супы». При этом вопрос закрытый, без возможности выбрать несколько вариантов ответа или вписать свой. В результате любители котлет с пюре или шашлыков оказывается в растерянности и не знают, что выбрать. Такое несоответствие типов вопросов и задачи исследования повлечет за собой искажение данных, излишек информации в открытых вопросах и ее недостаток в закрытых.
Прежде чем составлять анкету, внимательно изучите существующие типы вопросов. Обычно они делятся на закрытые (с возможностью выбора из вариантов, указанных создателем опроса), полуоткрытые (можно выбрать вариант ответа или указать свой в дополнительном окошке «Другое») и открытые (нужно вписать свой ответ в специальную строку). Эти виды вопросов имеют подвиды, например, единичный выбор, шкала, матрица, множественный выбор и т. д. Определите, какие данные вы ожидаете получить в результате исследования, и выберите подходящий тип вопроса.
Формулировки вопросов непонятны или имеют двойственное значение
Порой в погоне за образностью речи теряется ее цель — донести основную мысль. «Когда вы в последний раз приобретали атлас?» — возникает двусмысленность из-за отсутствия ударения. «Позволяете ли вы себе выходить за границы?» — речь о личных границах, границах дозволенного или границах государства? Сбить с толку также могут неоднозначные термины.
Неясность формулировок увеличивает количество ответов «не знаю» и искажает общую картину исследования. Кроме того, респонденты могут отказаться от опроса, который заставляет впадать их в ступор. Чтобы этого избежать, помните правило «один вопрос — одно действие». Если вопрос вынуждает совершать два действия — разбейте его на два. Также избегайте наводящих вопросов, которые подталкивают к выбору определенного ответа. Исключите вопросы с неполными вариантами, когда выбор ответов недостаточен (добавьте в такие вопросы вариант «Другое» с полем для свободного ответа). Попросите своих тестировщиков проверить текст на предмет двусмысленных терминов. Главное — четко представьте, какой ответ вы ожидаете получить.
Слишком много вопросов в одной анкете
Большое количество вопросов вызывает у респондента «предсказанную усталость»: опрос еще не начался, а он уже утомился. Это влечет за собой бездумное прощелкивание вариантов ответа и равнодушие. Если ваш опрос разрастается, проанализируйте, не пытаетесь ли вы изучить сразу несколько разных проблем. Кроме того, вы можете попробовать разбить вопросы на несколько страниц, в таком случае вам будет нужно найти баланс между длиной страниц и количеством вопросов, которые на них расположены.
Также обращайте внимание на количество вариантов ответа в закрытых вопросах. Обычно принято использовать «правило семи»: когда нужно сравнивать варианты ответа между собой, их не должно быть более семи, так как среднестатистический человек может манипулировать в голове одновременно не более чем семью понятиями. Если необходимо добавить, например, десять вариантов, то их можно разбить уже на два вопроса. Попробуйте пройти анкету сами и помните, что опрос не должен отнимать у респондента более 15-20 минут.
Внешний вид, орфография и логика анкеты не проверяются перед началом опроса
В лучшем случае дело ограничивается грамматическими ошибками и опечатками. В худшем — в анкете будут битые ссылки или незагружающиеся изображения и видеофайлы.
Не ленитесь проверять анкету на грамотность перед публикацией. Не уверены в правильности написания слова? Сверьтесь со словарем или вовсе замените его синонимом. Сомневаетесь относительно знаков препинания в сложном предложении? Упростите его или разбейте на несколько простых, чтобы избежать использования неправильных знаков. Ну и обязательно проверьте корректность работы всех ссылок.
Поддерживать же логику в вопросах поможет правило воронки: сначала задаются простые вопросы, потом — сложные. Вопросы, классифицирующие опрашиваемых на группы, задают в последнюю очередь, так как они носят более личный характер и не так интересны отвечающим.
Мы перечислили далеко не все ошибки, которые совершают составители опросов, но надеемся, что и представленные в этом материале помогут вам посмотреть на свои анкеты новым взглядом, сделать их качественнее и в результате получить репрезентативные данные. Если же у вас нет возможности или желания разбираться в нюансах составления анкет, то вы можете обратиться к специалистам «Анкетолога», которые сделают все за вас.
Я продолжаю делиться опытом ошибок и находок в анкетных исследованиях. В первой статье я рассказала, как можно привлечь релевантных респондентов и увеличить возврат заполненных анкет.
Читать первую статью Ошибки анкетных опросов. 1 ошибка: смещение выборки. 8 способов привлечь нужных респондентов
В этой статье я расскажу, почему проблема понятности анкеты для участников опроса гораздо важнее, чем кажется на первый взгляд. Рассмотрим также примеры манипуляции мнением респондентов, фальсификации результатов опроса и использования опросов в маркетинговых целях.
Преимущество анкетных опросов – большой охват и быстрый результат – становится и их основным недостатком. Теряя возможность коммуникации с конечным респондентом, мы вынуждены делать дорогое допущение: «все респонденты понимают смысл анкеты и заполняют ее корректно». Если сделать это допущение, можно выдохнуть и работать с результатами опроса, как с релевантными фактами и мнениями. А если такое допущение не сделать, исследование может превратиться в череду перепроверок и согласований и в итоге полностью парализоваться.
Если честно, пройдя через сложности привлечения респондентов и возврата анкет, меньшее, чего хочется исследователю – это сомневаться в том, что анкеты заполнены корректно. Но еще грустнее – осознать, что анкеты испорчены из-за неверного понимания участниками инструкции, или вопросов. И чтобы оградить себя и заказчика от этих сомнений, можно соблюсти ряд подготовительных этапов, которые значительно повысят доверие к исследованию. Мы рассмотрим эти этапы в следующей статье. Вначале разберемся, где могут крыться сложности понимания, и к чему это может привести.
Можно выделить, как минимум, следующие части анкетного исследования, где может возникнуть непонимание:
1. Непонимание слов и специальных терминов.
2. Непонимание инструкции.
3. Непонимание направленности опроса.
4. Непонимание формулировки вопросов.
5. Непонимание критериев оценки.
1. Непонимание слов и специальных терминов
Здесь все просто. Респонденты, действительно, часто не понимают значение слов, которые кажутся исследователю очевидными. И это не всегда касается профессионального сленга. Иногда, казалось бы, обычные слова русского языка вызывают затруднения у участников опроса, но у экспериментатора редко появляется возможность узнать об этом.
На картинке: комментарий пользователя к анкетному опросу, опубликованному на сайте (источник: pikabu.ru)
Пример: Мы проводили исследование людей разного социального статуса и разных возрастных групп. В числе исследовательских методик использовался тест Т. Лири – авторитетный психологический тест, адаптированный для русскоязычных респондентов, применяемый десятилетиями для оценки личности и отношений. Тысячи исследований проведены в России с использованием этого теста. В нашем исследовании уже приняло участие несколько сотен человек, когда мы пришли опрашивать студентов престижного вуза. Студенты заполняли анкеты прямо в аудитории. Через несколько минут они стали поднимать руки и говорить, что не понимают значение некоторых слов из теста. Вот список этих слов: мягкотелый, самобичующий, деспотичный, тщеславный, покладистый, легко расположен, легко впадает впросак, черствый. Для нас это стало открытием. Оказалось, адаптация классического авторитетного теста уже устарела для некоторых респондентов этого возраста и статуса. Собранные к тому времени сотни анкет от респондентов других возрастов и статусов тоже оказались под сомнением: люди не уточняли у нас значения слов, значит – либо понимали их, либо стеснялись спросить и отвечали наугад.
Вторая угроза исходит от употребления в анкетах сленга, который может либо не пониматься участниками, либо раздражать их. Такое может случиться, если исследователь пытается заигрывать с целевой аудиторией и употребляет в анкете их сленг, не являясь носителем этой культуры.
Пример 2: Когда мы исследовали коммуникацию между отделами в одной ИТ-компании, несколько ее разработчиков рассказали на интервью, что их очень злит, когда HR-менеджеры, проводя внутренние опросы, или делая рассылки, копируют особенности языка и вставляют англицизмы. Хотя сами разработчики часто этим грешили, их раздражало, когда сотрудники, не включенные в контекст их работы, перенимали этот сленг.
2. Непонимание инструкции
Непонимание инструкции – самый очевидный пункт в этой статье и, казалось бы, бесполезный. Почти все исследователи проясняют во введении к анкете, на что направлено исследование, и как стоит заполнять бланк. Почти все респонденты уже имеют опыт участия в каких-нибудь опросах, и сейчас редко можно услышать взволнованные вопросы, которые нам задавали лет 8 назад: «А в квадратик нужно ставить плюсик, или галочку?» и «А можно зачеркнуть ответ, если я передумал?».
На картинке: Анкета с неточными инструкциями для соискателей (источник: pikabu.ru).
Несмотря на опытность обычного респондента, вопрос юзабилити анкет снова возникает, если исследователь пробует новые формы (например, on-line опросы и анкетирование на мобильных устройствах с неочевидными инструкциями или невозможностью пропустить ответ), забывает про опцию «один вариант ответа/ несколько вариантов ответа», или забывает дать корректную инструкцию к сложным вопросам (например, вопросам с ранжированием, или попарным сравнением). И для исследователя большая удача, когда получается узнать о затруднениях участника, как в примере на картинке ниже.
На картинке: комментарий пользователя к анкетному опросу, опубликованному на сайте (источник: pikabu.ru)
То, что кажется очевидным исследователю и большинству респондентов, может представлять сложности для менее опытных участников.
На картинке: Анкета с неточными инструкциями, не адаптированная для участника опроса (источник: adme.ru).
Пример 1: Мы проводили исследование сотрудников компании, имеющей филиалы в маленьких городах и поселках. Представители филиалов съехались на обучение в столицу, поэтому опросить их всех после обучения показалось хорошей идеей. Мы выступили перед сотрудниками, дали инструкции и раздали опросники, пообещав выслать результаты на e-mail каждому участнику, или принести на следующий день. Опросник был довольно большой, люди в тишине заполняли его. Как только первый участник отдал заполненную анкету, в конце комнаты поднялась женщина и направилась к двери. Когда мы спросили, где ее анкета, она ответила: «Я не понимаю, что такое имейл, и не понимаю, куда и что вы мне хотите выслать. Лучше я пойду». Оказалось, она просидела больше получаса, так как не поняла наши слова, но стеснялась уточнить инструкцию. Для нас это был вопиющий случай: мы узнали, каких масштабов может достичь непонимание инструкции. А при удаленных и on-line опросах у исследователя обычно не появляется возможности понять, что пошло не так: анкеты либо не возвращаются, либо заполняются некорректно.
Пример 2. Однажды мы организовали большое тестирование людей разных возрастов с использованием психологических опросников, которые включали шкалу лжи. По правилам таких тестов, запрещено интерпретировать результаты, если показатель лжи превышает установленный порог. Одна из участниц получила критический балл по шкале лжи и, когда мы отказались анализировать результаты, была крайне удивлена, сказав, что всегда старается говорить правду и уж точно не стала бы врать в психологическом тесте. Мы взялись с ней разбирать ответы, среди которых было, например: «Я всегда перехожу дорогу на зеленый свет», «Я всегда говорю правду» и другие очевидные вопросы на социальную желательность. На все она ответила «Да». Тогда я спросила:
– Ну, а если задуматься, за всю жизнь вы точно ни разу не перешли дорогу на красный?
– Было, конечно. Но я же старалась отвечать так, как считаю правильным себя вести, а не как веду. А так – в жизни разное бывает.Оказалось, подробная и четкая инструкция к тесту все-таки была осмыслена женщиной по-своему.
Пример 3: Во время исследования стилей поведения в служебных отношениях среди директоров предприятий, как всегда, нам удалось привлечь намного больше женщин, намечался сильный перекос выборки, и потому мы очень обрадовались, когда узнали, что завтра поступит сразу несколько анкет от мужчин, директоров крупных гос. организаций. Мы были готовы на следующий день приступить к обработке, но вечером мне позвонил один из директоров. Он бодро сообщил, что с несколькими директорами заполняет наши анкеты и хотел бы получить пояснения по некоторым ситуациям из теста, так как у них возникли споры в выборе вариантов ответа. Оказалось, директора, приехав на повышение квалификации, решили совместить общение и заполнение интересного теста, и принялись заполнять наши анкеты вместе в номере гостиницы, бурно обсуждать каждую ситуацию, спорить и убеждать друг друга. Индивидуальное исследование личных стилей поведения превратилось в групповое принятие решений, все анкеты оказались заполнены одинаково и потеряли всякую ценность для нашего исследования.
3. Непонимание формулировки вопросов
В создании анкеты, или планировании интервью есть одно правило: «Вопрос – это уже почти ответ». Информативный ответ можно получить только при очень хорошо продуманном вопросе. Для того, чтобы создать такие вопросы, проводится большая подготовительная работа (в следующей части статьи я расскажу про этапы этой подготовки).
Но наш опыт общения с исследователями показывает, что на такую подготовку почти никто не обращает внимания. Ответственность за ответ часто возлагается на респондента, делается существенное предположение, что респонденты имеют сформулированное мнение по нашему вопросу и очень хотят высказать его. Часто это совершенно ошибочное предположение. Не только проблемы исследователей, но язык их вопросов часто не воспринимаются респондентами.
На картине: Кадр из фильма «Автостопом по галактике».
Википедия: «Окончательный Ответ на величайший вопрос Жизни, Вселенной и Всего Такого (…): «Сорок два». Реакция была такой:
— Сорок два! — взвизгнул Лунккуоол. — И это всё, что ты можешь сказать после семи с половиной миллионов лет работы?
— Я всё очень тщательно проверил, — сказал компьютер, — и со всей определённостью заявляю, что это и есть ответ. Мне кажется, если уж быть с вами абсолютно честным, то всё дело в том, что вы сами не знали, в чём вопрос.
— Но это же великий вопрос! Окончательный вопрос жизни, Вселенной и всего такого! — почти завыл Лунккуоол.
— Да, — сказал компьютер голосом страдальца, просвещающего круглого дурака. — И что же это за вопрос?»
Пример 1: Однажды со мной поделилась идеей исследования ТОП-менеджер производственной компании. В тот момент она заканчивала обучение в MBA и заинтересовалась изучением мотивации рабочих на производстве. Исследование мотивации – сложная тема, мы спросили, какие методы она будет использовать. «А какие тут нужны методы? – удивилась она. – Раздам им бумажки с вопросом «Что вас мотивирует?» и соберу ответы». Жаль, общение с ней не продолжилось, и мы не узнали, как рабочие завода восприняли ее анкеты, и как она использовала результаты такого исследования.
Пример 2: Второй пример несоответствия языка исследовательских анкет языку заполнявших их людей тоже из производства. HR-директор крупного производственного холдинга как-то похвастался нам в личной беседе, что ему за несколько лет удалось увеличить вовлеченность персонала на 12% (!). Рабочий персонал и средний менеджмент заводов – специфическая группа для исследований. Как он изучал их вовлеченность? Оказалось, опросником от компании «Gallup».
Тут нужно пояснить. Самый большой недостаток использования опросника – не столько расплывчатые и неадаптированные для людей рабочих специальностей формулировки вопросов (например, вопросы №5, 6, 8), сколько его применение в качестве теста с подсчетом интегрального числового показателя вовлеченности. Другими словами, даже если у участников возникнет непонимание формулировок анкеты, исследователь не проанализирует ответы отдельно, не проследит за выбросами, а подсчитает суммарный показатель. Текст опросника приведен на картинке.
На картинке: Один из вариантов русскоязычного перевода опросника вовлеченности персонала от компании «Gallup» (Источник: antropos.ru).
Нам не удалось найти ссылки на публикации с адаптацией и валидизацией опросника «Gallup» (обязательными этапами при использовании переводных методик). Тем не менее, можно найти несколько вариантов его вольного перевода, много рекомендаций его применения в бизнес-изданиях и еще больше предложений от консалтинговых компаний, которые используют 12 невалидизированных и неадаптированных вопросов, как единственный инструмент для измерения вовлеченности персонала.
Естественно, когда клиент видит в отчете только обобщенные показатели вовлеченности и – еще лучше – рост таких показателей, он редко спрашивает о методах, которыми они были получены.
4. Непонимание направленности опроса
Непонимание направленности вопроса – куда более сложная и распространенная ошибка в анкетных исследованиях. Иногда и предположить нельзя, как человек может интерпретировать, казалось бы, однозначно сформулированный вопрос.
Для этой проблемы есть изящное решение, которое мы обсудим в следующей части. А пока, можно поговорить о случаях, когда исследователи намеренно прячут истинный смысл вопроса, или вносят путаницу в формулировки, чтобы получить желаемый ответ.
Иллюзия выбора. В практике социальной манипуляции есть такой ход: предоставление собеседнику иллюзии выбора, при которой любой его ответ будет выгоден манипулятору. Классический пример иллюзии выбора из продаж сетевых ресторанов быстрого питания: При заказе клиентом кофе официант спрашивает: «Вы к кофе возьмете маффин, или пирожок?» (вопрос «Не желаете ли что-нибудь к кофе?» считается куда менее эффективным с точки зрения продаж). Такой ход часто применяется в анкетных опросах, когда организатор исследования заинтересован в определенных ответах.
Пример: Несколько лет назад наша компания выступала организатором корпоративной игры для менеджеров среднего и высшего звена известного завода. Незадолго до этого контрольный пакет акций этого завода был куплен немецкой компанией, которая сразу начала внедрение корпоративных стандартов поведения. Стандарты эти на русском языке представляли не вполне корректно переведенный и не всегда понятный для русского менталитета свод правил, и перед нами поставили задачу организовать игру так, чтобы менеджмент усвоил эти стандарты. На игру отводилось всего несколько часов, и мы сразу объяснили, что за такое время нельзя сформировать поведенческие паттерны и нельзя даже развить принятие и согласие с чуждыми нормами. Сошлись на том, что целью игры будет уменьшить эмоциональное напряжение, которое вызывали новые стандарты. Итак, мы разработали игры и конкурсы, в основе которых было взаимодействие с каждым правилом, сделали акцент на вовлечении, групповой работе и положительных эмоциях.
Игра прошла хорошо, все руководители вовлеклись и расходились довольными. А через несколько дней HR-служба компании попросила нас провести опрос удовлетворенности игрой, чтобы предоставить отчет руководству. Мы понимали, что новые нормы не были усвоены сотрудниками и, тем более, не перешли в привычки. Но цель свою – уменьшить напряжение – мы выполнили. Поэтому, наша анкета была сосредоточена исключительно на положительных эмоциях после игры (см. рисунок).
На картинке: Фрагмент анкеты обратной связи для участников игры.
Вопросы 5, 6 и 9 – вопросы с иллюзией выбора. Они выглядят довольно полно. Но, если присмотреться, любой вариант ответа либо отражает положительную оценку, либо перекладывает ответственность на заполняющего (по принципу «это не игра была плохая – это я все еще не понимаю стандарты поведения, которые мне объясняют уже несколько месяцев», или «я и так хорошо понимаю суть стандартов»).
Последний вопрос – образец вопроса с иллюзией выбора. Все его варианты положительные. Формулируя его, мы знали, как результаты будут выглядеть в отчете: как в диаграммах будут смотреться положительные эффекты, заданные нами заранее в анкете, и как приятно руководителю будет рассматривать их. Когда человек просматривает такой отчет, у него редко появляется вопрос, были ли предусмотрены анкетой негативные варианты ответов.
Расстановка акцентов
Если заказчик исследования не интересуется исходным текстом анкеты и не уточняет, какие варианты были предоставлены участникам, организаторы могут подменить смысл результатов, расставив акценты.
Пример: Недавняя публикация результатов исследования общественного мнения россиян вызвала бурное обсуждение в Интернете (см. рисунок). В основном, обсуждение крутится вокруг термина «удовлетворительно». А для нашей статьи интересно, как результаты опроса преобразились в заголовке статьи за счет игры слов русского языка. В заголовке значится «половину россиян удовлетворяет экономика страны», в то время как в расшифровке статьи сказано, что только 6% оценили экономику положительно. Если бы в отчете были представлены только «существенные» результаты и был упущен вариант с положительной оценкой, то, благодаря богатству смыслов языка, понятие «удовлетворяет» воспринималось бы, как очень хороший результат опроса (а не как оценка «на троечку»).
На картинке: фрагмент новости о результатах соцопроса (источник: www.solidarnost.org).
Пример 2: Еще один веселый пример расстановки акцентов. Если ввести в поисковике фразу «почти половина россиян не доверяет полиции», выдаются ссылки на источники vedomosti.ru, rbc.ru, echo.msk.ru и др. А если ввести “почти половина россиян доверяет полиции», выдаются ссылки на ria.ru, news.sputnik.ru, www.business-gazeta.ru, ridus.ru (последний источник – на удивление, в отличие от скриншота).
На картинке: скриншот новостной ленты – расстановка акцентов разными изданиями (источник: joyreactor.cc)
Подмена понятий. По сути, практика защиты перед заказчиком одних только результатов исследования без предварительного рассмотрения сырых данных и способов их сбора, оставляет огромное поле для подделки данных и манипуляции результатами без всякой подделки. В таких случаях важно обращать внимание на логику и направленность вопросов в анкете перед тем, как анализировать ее результаты.
Поэтому особенно забавно смотрятся предложения обучающих и консалтинговых компаний самостоятельно оценить эффект от обучения персонала, или проведенных внедрений, и предоставить заказчику отчет о возврате на инвестиции. В анкетах обратной связи подрядчики могут спрашивать сотрудников совсем не о том, а в итоговом отчете подменять понятия. Но заказчики обычно с готовностью принимают такие отчеты, так как они выглядят вполне авторитетно, и не требуют усилий со стороны внутренних служб.
Пример: Недавно нам представили компанию, оказывающую PR-услуги. Представили, с гордостью пояснив, что эта компания – одна из немногих в отрасли, дающая четкий отчет по KPI (ключевым показателям эффективности) своей деятельности в процентах. Действительно, оценить эффективность маркетинговых и PR-кампаний, очистить замеры от всех влияющих условий рынка, непросто. Мы заинтересовались методикой. И, когда мы спросили, как именно проводится измерение эффективности PR-деятельности и вычисляются проценты, выяснилось, что в качестве единиц измерения используется план (например, «написать 10 статей в отраслевых изданиях»), а в качестве отчета – подсчет выполнения этого плата (по логике этой компании, если написано 9 статей, то KPI по PR выполнены на 90%). Конечно, существует разделение на процессные и фактические KPI и есть бизнесы, где важно именно четкое выполнение процесса. Но это не касается тех сфер, где процесс не имеет значения, если не достигнут результат. И у меня есть подозрение, что, предоставляя заказчику отчет об эффективности PR-кампании в численных показателях, эти подрядчики совершали грубую подмену понятий.
Наводящие формулировки. Тональность вопроса в анкете, или его направленность могут наводить участника на определенный ответ. Выгода организатора исследования от таких ответов заключается в подтверждении собственной позиции (например, при фальсификации теорий, или оправдании управленческих решений).
Пример: Хорошо этот эффект иллюстрирует «Теория перспектив» А. Тверски и Д. Канемана об экономии интеллектуальных затрат (за исследования иррациональной природы принимаемых людьми решений они получили Нобелевскую премию).
В одном из экспериментов по исследованию принятия решения в зависимости от контекста подаваемой информации, известном как «Азиатская болезнь», участникам предлагалось решить задачу: «Представьте, что Соединенные Штаты Америки готовятся к вспышке эпидемии неизвестной «азиатской болезни», вследствие которой, как ожидается, погибнет 600 человек. Для борьбы с этой болезнью предложены две альтернативные программы. Какую из них стоит выбрать?» Далее двум разным группам участников сообщалась одна и та же информация, но в разных формулировках (с позитивным и негативным фокусом). Авторы эксперимента доказали, что, стремясь сэкономить усилия при принятии решения, люди предпочитают полагаться на интуицию, прошлый опыт и более простые и оптимистичные варианты.
На картинке: Формулировки «программ» эксперимента «Азиатская болезнь» и предпочтение ответов участниками.
Еще один распространенный пример из исследований Д. Канемана: если одну группу испытуемых спросить: «Дожил ли Ганди до 114 лет? В каком возрасте он умер?», а другую: «Дожил ли Ганди до 35 лет? В каком возрасте он умер?», то первая группа оценит жизнь Ганди как гораздо более долгую, чем вторая.
Так, удачно формулируя вопросы анкеты, делая акцент на положительных вариантах, или используя наводящие цифры, исследователи создают «эффект привязки» и могут манипулировать ответами участников.
Второй вариант, при котором применяется техника наводящих формулировок, — это постепенное изменение убеждений участника исследования с помощью анкеты. В этом случае от вопроса к вопросу создается канва, при которой респондент вынужден отвечать определенным образом, сталкивается со своими ответами, как с новыми представлениями, и постепенно меняет точку зрения. Продолжением такого метода являются вопросы, создающие потребность (см. следующий пункт).
Пример: Однажды я сама стала жертвой жесткого манипулятивного опроса. Его проводила авторитетная организация, предлагая пройти on-line анкетирование людям со всего мира. Исследование подавалось под видом «Оцените, насколько правильно вы питаетесь». Начало анкеты было стандартным, задавались вопросы о разных продуктах, но постепенно анкета стала сужаться до фильтрующих вопросов о мясе (употребляете ли мясо, сколько раз в неделю, и т.д.). После моих ответов следующие вопросы анкеты стали предлагать мне просмотреть фотографии и видео о том, как умертвляют животных на фермах, как разделывают туши, как утилизируют отходы и др. И уже совсем скоро вопросы приобрели такой характер: «Зная, как страдают животные на фермах, вы по-прежнему будете регулярно употреблять мясо?» и «Не считаете ли вы, что стоит предпочесть растительные белки, такие же полезные и питательные, чтобы прекратить издевательство над животными?». Эти вопросы сыпались градом: никто уже не интересовался моим рационом. Казалось, завершить этот поток можно, только отвечая в духе «я все осознал и пойду теперь убеждать всех, кого встречу на пути». Впервые у меня был такой травматический опыт от заполнения анкеты. Я прекратила отвечать на вопросы, и мне потребовалось время, чтобы снова укрепиться в своих представлениях о питании, которые оказались под большим влиянием из-за этого опроса.
Опросы, создающие потребность. Создание у участников нужных потребностей с помощью правильно сформулированных вопросов – еще одна тактика манипуляций и продаж. И анкетные опросы в этом мероприятии оказывают хорошую поддержку продающим компаниям.
Никого уже не обманут псевдо-социологические опросы в стиле «Правильно ли вы ухаживаете за кожей?», или «Все ли вы знаете об очищении организма?», где после третьего вопроса появляется: «Знакомы ли вы с продукцией компании N?». Лет десять назад в нашей стране эти опросы были очень популярными.
Сейчас тактику создания потребностей используют более тонко. Первый вариант – это скрытое информирование участника с помощью анкеты об ассортименте и новых продуктах компании, что рождает осведомленность и вызывает любопытство (см. рисунок).
На картинке: фрагмент анкеты, рекомендованной Минздравом для определения группы риска по употреблению наркотиков подростками. Среди вопросов были также такие: «Сколько раз, если такое случалось, вы нюхали ингаляты – клей, аэрозоль, бензин – специально, чтобы получить «необычные ощущения»?». Анкеты предлагалось раздавать детям 10-13 лет, что вызвало бурное возмущение родителей. (Источники: Ridus.ru, RG.ru).
Второй вариант создания потребности – предложить клиенту анкету, якобы помогающую сориентироваться в том, какого вида услуга (товар) на самом деле ему нужна. Нельзя сказать, что это однозначная «политика зла». Такие анкеты, действительно, помогают уточнить потребности клиента, но они и очень хорошо помогают продавать.
Суть продажи заключается в том, что под видом опроса:
а) респондента подводят к мысли, что у него чего-то нет, или что-то используется неэффективно (вызывают чувство тревоги),
б) информируют о новых услугах (товарах, опциях), которые помогут решить его проблему (о которой он не знал до начала опроса).
Примерный алгоритм анкеты, создающей потребность:
1. Вводные нейтральные вопросы по теме, «айс-брейкеры».
2. Вопросы об актуальном состоянии респондента, которые постепенно подводят его к идее, что у него чего-то не хватает, или что-то устарело.
3. Вопросы, уточняющие, понимает ли респондент, какие последствия имеет эта нехватка, и чем она может обернуться лично для него или его бизнеса.
4. Вопросы о том, знаком ли респондент с некоторыми решениями (товарами, услугами, технологиями).
5. Вопросы, информирующие респондента, как именно эти решения помогают справиться с его проблемой.
6. Вопросы, наводящие на мысль о покупке (информирующие о цене, скидке, условиях).
7. Вопросы, подтверждающие, что при покупке этого решения проблемы респондента будут решены, и он получит дополнительную выгоду.
Пример: Если бы я хотела продать эту статью с помощью анкеты, я вначале задала бы несколько формальных вопросов о вашем опыте анкетных исследований и о том, получили ли вы специальное образование для проведения исследований (уже здесь начинается работа с тревогой). Потом спросила бы, с помощью каких процедур вы устанавливаете и доказываете, что респонденты правильно понимают инструкцию, формулировки и критерии оценки в ваших опросах. Затем спросила бы, знакомы ли вы с такими-то примерами из вашей сферы, когда результаты дорогих опросов приходилось выбрасывать из-за того, что не все респонденты верно понимали инструкцию, или суть вопросов. Упомянула бы, какой позор постиг организаторов таких опросов из такой-то компании. Потом я спросила бы, знакомы ли вы с процедурами концептуализации, операционализации, валидизации, адаптации, апробации и пилотного запуска, и в каком объеме вы их используете. Затем привела бы примеры, как эти процедуры помогли спасти дорогостоящие исследования. И, наконец, я поинтересовалась бы, что должно произойти в вашей компании для изменения подхода к опросным исследованиям и сколько, по-вашему, может стоить статья, в которой содержится алгоритм применения этих процедур, чтобы ваши исследования стали надежными, принесли успех вашей компании и лично вам.
В этом примере все еще отчетливо видны «белые нитки» продажи, но, чем ближе ваш респондент к статусу клиента (например, заполняет анкету на сайте продукта) и чем ближе он к покупке, тем лучше будет воспринята им такая анкета и тем легче получится увеличить объем его покупки за счет дополнительных продаж.
Третий вариант создающих потребность анкет, очень популярный сейчас, это развлекательные тесты. Интернет-пользователей до сих пор привлекают тесты в стиле «Хорошо ли вы разбираетесь в компьютерных играх?» (где можно невзначай добавить несколько вопросов с перечислением игровых новинок определенной компании), «Умеете ли вы управлять своим временем?» (здесь уместно упомянуть несколько специализированных мобильных приложений, которые вы хотите продать) и т.д. Такие тесты иногда выглядят профессионально и доставляют положительные эмоции, даже когда их рекламная природа очевидна.
Пример: Несколько дней назад друг предложил мне пройти тест на знание итальянских сыров на сайте «Медуза». Тест был отмечен значком «партнерский материал», а в названии упоминался бренд производителя сыров, но друг этого не заметил. Он зачитывал вопросы, а я воспринимала их на слух. Тест был, действительно, интересным.
И в какой-то момент, захотев уже салат с сочной полезной моцареллой, я шутя воскликнула:
– Да похоже, они продают эти сыры!
– Действительно, смотри, тут в конце теста написано: «Ну и конечно теперь мы просто обязаны вам рассказать, что U. тоже производит все сыры, о которых мы упомянули в тесте, – и не только. Они свежие и полезные, и даже кальций в них – со вкусом Италии».Много зная о маркетинговых уловках и манипуляции, мы все равно восприняли этот тест положительно и заинтересовались компанией, так как форма подачи и полезность контента перевысили знание об истинных целях организаторов теста.
Один из вопросов теста представлен на рисунке.
На картинке: Один из вопросов теста на знание итальянских сыров (Источник).
Опросы со смещенной целью. Особняком в этом списке опросов со скрытыми мотивами стоят опросы со смещенной целью, так как они используются, в основном, не для манипуляции, а для более изящного исследования мотивов респондентов, когда такое невозможно сделать с помощью прямых вопросов.
Пример: Об этом опросе рассказала моя ученица, директор частной мебельной фабрики. Она пыталась понять причины плохих продаж в фирменных магазинах. Несколько месяцев назад фабрика (изготавливавшая до этого только мягкую мебель) приобрела производство кухонь. Соответственно, в фирменных магазинах, кроме мягкой мебели, началась продажа кухонь. Но, на фоне стабильных продаж мягкой мебели, кухни продавались очень плохо. У директора возникла гипотеза, что причина плохих продаж не в плохом качестве продукции (у нее была возможность проверить реальный спрос), а в предвзятом отношении продавцов, которые саботировали продажи. Напрямую спросить об этом продавцов было невозможно, и потому она организовала среди них опрос в стиле «Почему, на ваш взгляд, кухни плохо продаются». Продавцы обрадовались возможности высказать, наконец, все свое недовольство от инноваций, и красноречиво отвечали на вопросы анкеты. Так ей удалось подтвердить свою гипотезу, собрать основные предубеждения продавцов против нового товара, понять их сопротивление и получить базу для работы с возражениями (в ее случае – с возражениями самих продавцов, а не клиентов).
5. Непонимание критериев оценки
Исследователи не всегда разъясняют критерии оценки, ожидая, что они интуитивно понятны участникам.
Пример: Традиционно из десятков анкет, присылаемых мне на экспертизу, около 30% содержат вопросы с просьбой оценить какой-то параметр (услугу, товар) от 1 до 5 баллов, но не содержат расшифровки значений, или хотя бы указания, какой полюс является положительным. Иногда все исследование пропадает, если организаторы обращают внимание на диаметральные различия в оценках респондентов и только потом догадываются, что некоторые респонденты ставили «1», предполагая, что это «первое место» в рейтинге, а другие ставили «1», как самый низкий балл.
Как выход из таких ситуаций, принято использовать шкалу Лайкерта (Лейкерта, Ликерта), содержащую более детальные формулировки для оценки (например, от «Совершенно не нравится» до «Очень нравится», или от «Никогда» до «Очень часто»). Можно найти или придумать много формулировок этой шкалы для самых разных вариантов вопросов. Но и у этой шкалы есть недостатки, так как субъективное понимание, например, частоты каких-то действий у разных людей может различаться. И если нам важно знать не их мнение о частоте, а более-менее точный показатель, лучше конкретизировать такие варианты ответов точными промежутками (например: «Реже одного раза в год» — «…» — «Несколько раз в день»).
На картинке: комментарии участников к анкетному опросу, опубликованному на сайте (источник: pikabu.ru)
Проработка вариантов ответа становится особенно важной, когда анкетный опрос применяется для оценки сложных, субъективно-значимых параметров. В таких случаях респонденты склонны к «ментальной экономии» и выбирают варианты оценки, соответствующие их общему представлению об объекте, не задумываясь над вопросом (например, «игра мне, в общем, нравится, проставлю везде 4 и 5 – не важно, оцениваю я звук, или уровень обратной связи с игроками»).
Такие усредненные оценки встречаются часто при проведении оценки сотрудников методом 360 градусов. Оценивая своих коллег, люди склонны ставить положительные баллы «любимым» и нейтральные, или отрицательные, баллы «нелюбимым», независимо от того, по какому параметру ставятся оценки (нелюбимый сотрудник может быть сильным лидером, или ни с кем не конфликтовать, но «рука не поднимется» поставить ему высокие баллы даже за эти показатели). В итоге, такая оценка оказывается совершенно бесполезной для организаторов исследования, так как не дает возможности выделить реальные проблемные точки у сотрудников компании.
Точно так же обстоят дела при оценке пользовательского опыта при работе с ИТ-продуктами. Если сайт, или компания, в общем, нравятся пользователю, он будет склонен ставить, в общем, высокие оценки, чтобы «никого не обидеть». И такой опрос не поможет разработчикам сделать продукт лучше.
Пример: Забавный случай случился с моей знакомой, когда только начал развиваться сервис «Одноклассники». Заведя аккаунт значительно позже своих знакомых и еще не зная негласных правил поведения на сайте, она стала просматривать профили друзей и ставить оценки фотографиям. Очень скоро несколько подруг ее заблокировали. Она была крайне удивлена и смогла разговорить одну из них, чтобы вяснить причину. Оказалось, подруг (уже давно закончивших школу) сильно задели низкие оценки, которые она ставила их фотографиям. «Как ты не понимаешь? Ты понизила мне общий балл своими двойками!» – призналась одна из них. А моя знакомая, в отличие от большинства пользователей «Одноклассников», была убеждена, что механизм оценки фотографий существует для того, чтобы искренне высказываться насчет удачности кадра, цвета, перспективы и др., а не для выполнения социальной функции поддержки друзей.
В таких случаях высшим пилотажем исследователя становится разработка «поведенческих» вариантов ответа, описывающих примеры проявления качества в поведении человека (или – при оценке продукта – особенности взаимодействия пользователя с ним). По поведенческим вариантам нельзя однозначно определить, какой из них положительный, и какой отрицательный, и респонденту приходится выбирать вариант, наиболее приближенный к реальности.
Пример: Можно предложить такие поведенческие варианты для оценки конфликтности: «Этот человек никогда не повышает голос и всегда держится в стороне от любых разногласий и споров» (самый низкий балл) – «Этот человек остро реагирует, когда его точка зрения не принимается коллегами, или когда поведение коллег кажется ему несправедливым; он может повышать голос, или даже решать разногласия силой» (самый высокий балл). Соответственно, в таком же ключе формулируются остальные промежуточные варианты оценки.
На картинке: Пример вопроса оценки «ориентации на команду» для оценки сотрудников методом 360 градусов. В каждом варианте можно заметить положительные и негативные черты, что увеличивает вероятность честной оценки, в отличие от простого приписывания высоких, или низких баллов сотруднику (Источник).
Разработка поведенческих вариантов оценки – сложный этап. Особенно сложно подобрать адекватные варианты, когда не совсем понятно, как они проявляются в реальном поведении (или взаимодействии пользователя с продуктом). Например, при оценке звуковых эффектов в игре высшей оценкой звука будет: «Звуки не отвлекают от игры, создают хороший фон», или «Звуки играют важнейшую роль, помогают следить за динамикой игры, во время подсказывают действия игрокам». Для того, чтобы варианты оценки получились наиболее соответствующими реальному опыту пользователя, используется этап операционализации, о котором я подробно расскажу в следующей части статьи.
Краткие выводы
Я попыталась описать примеры, когда очевидные для организаторов исследований этапы анкетирования неверно понимаются участниками. Респонденты могут неверно понимать слова и фразы, формулировки вопросов, инструкции к анкете, критерии оценки и направленность вопросов. Эти сложности приводят к сбору нерелевантной информации, или невозврату анкет.
Также мы рассмотрели примеры, когда замешательство респондентов провоцируется намеренно с целью манипуляции результатами опроса. Среди таких манипуляций:
— предоставление иллюзии выбора;
— расстановка акцентов;
— подмена понятий;
— наводящие формулировки;
— использование эффекта привязки;
— создание потребности: 1) через информирование и любознательность, 2) через провокацию тревоги, 3) через развлекательные тесты,
— опросы со смещенной целью.
Чтобы оценить, не манипулируют ли вашим мнением исследователи, предоставляя результаты анкетного опроса, можно задать им несколько вопросов по процедуре исследования:
1. Попросите посмотреть исходный текст анкеты и попробуйте самостоятельно ее заполнить перед тем, как знакомиться с результатами (еще лучше – перед тем, как санкционировать исследование).
2. Представьте, как заполняет эту анкету ваш типичный клиент, или сотрудник (все ли термины и формулировки будут ему понятны).
3. Обратите внимание на формулировку вопросов и вариантов ответа: есть ли негативные варианты, занимают ли они равное место с позитивными вариантами.
4. Обратите внимание, нет ли в вопросах анкеты наводящих формулировок и «привязок».
5. Просмотрите, насколько однозначно и конкретно сформулированы критерии оценки в вопросах анкеты (не провоцируют ли они на «ментальную экономию» – на нейтральные, или исключительно положительные ответы). Лучший вариант – если критерии оценки сформулированы в поведенческих примерах.
6. При анализе итогового отчета обратите внимание, на основе каких вопросов анкеты построены выводы: не подменяют ли исследователи понятия, не выдают ли мнения респондентов за факты.
7. Если используется зарубежная методика (например, от известной компании), поинтересуйтесь ссылками на публикации с описанием процедуры ее перевода, адаптации и валидизации. Без этих процедур методику нельзя считать авторитетным методом исследования, независимо от статуса ее разработчика.
8. Запросите точное распределение участников опроса по группам (пол, возраст, социальный статус, или: отделы, должности), чтобы избежать перекоса выборки (подробнее об этом – в предыдущей статье о выборке).
В следующих статьях:
Ошибка 2. Формулировки вопросов: почему вы решили, что вас понимают? (2 часть)
Ошибка 3. Виды лжи в опросах: почему вы верите ответам?
Ошибка 4. Мнение не равно поведению: вы действительно спрашиваете о том, что хотите узнать?
Ошибка 5. Виды опросов: вам нужно узнать, или подтвердить?
Ошибка 6. Разделяйте и насыщайте выборку: среднее ничего не помогает понять.
Ошибка 7. Пресловутый «Net Promouter Score» – это НЕ изящное решение.
Опрос — распространенный инструмент маркетингового исследования, однако только грамотное использование делает его эффективным. Рассказываем, в результате каких ошибок создатели анкет чаще всего получают некачественные данные, и каких правил стоит придерживаться, чтобы не оказаться на их месте.
Попытка в одной анкете изучить несколько тем, часто не коррелирующих друг с другом
Нередко создатели анкет стараются с помощью одного опроса достичь сразу несколько целей. Например: найти целевую аудиторию своей компании, оценить ее лояльность, а заодно и проверить, какие характеристики продукта важны для потребителя. Однако для полного изучения проблемы необходимо каждое последующее исследование основывать на результатах предыдущего:
- определить свою целевую аудиторию;
- оценить ее отношение к компании;
- выявить значимые характеристики своего продукта для аудитории;
- оценить новый продукт.
Сжатие этого пути до одного единственного исследования приводит к искажению получаемых данных. Причем аномалия в результатах может быть даже принята за естественную тенденцию и привести компанию к убыткам.
Чтобы избежать подобной ситуации, постройте стратегию для программы исследований, пропишите задачи, гипотезы и порядок проведения опросов. Придерживайтесь правила «одно исследование — одна тема» и не приступайте к запуску следующего опроса без внимательного анализа результатов предыдущего.
Создатель анкеты забывает про различные сценарии прохождения опроса
Как правило, сценарии прохождения опроса формируются логическими развилками: это может быть дихотомический вопрос «да/нет», выбор сразу нескольких вариантов ответа, при этом включая и вариант «ничего из вышеперечисленного». Вам нужно заранее продумать, куда будет перенаправлен человек, выбравший любой из вариантов ответа: это может быть один из последующих вопросов (какой именно?) или завершающая страница анкеты.
Например, если вы хотите изучить, какие платформы для онлайн-образования выбирают респонденты, вам нужно проработать вариант сценария, который развивается как после положительного ответа на вопрос «Проходили ли вы какие-либо курсы онлайн?», так и после отрицательного. Если же респондент отвечает «нет», а алгоритм все равно выводит его на вопросы о сервисах онлайн-образования, это негативно скажется на качестве результатов исследования. Данные будут искажены, так как респонденты отвечают на те вопросы, на которые, по логике исследования, отвечать не должны. Также отсутствие проработки пользовательских сценариев ведет к тому, что анкету «технически» нельзя пройти: респондент попадает на вопросы, на которые не может ответить, а система не позволяет ему пропустить их.
Чтобы этого избежать, анкету нужно тестировать. Отправьте опрос нескольким разным людям и попросите их рассказать о любых сложностях, которые возникли при заполнении анкеты. Предварительное тестирование поможет выявить неясные вопросы, неподходящие варианты ответа и другие проблемы, прежде чем вы отправите анкету респондентам. Внесите в опрос поправки и протестируйте его еще раз. Только после этого стоит проводить полноценное исследование.
Неверное использование типов вопросов
Иногда создатели анкет путают, какой тип вопроса в каком случае нужно использовать. Например, на вопрос «Какую еду вы любите?» могут быть предложены варианты ответа: «пюре», «рис», «салаты», «котлеты» и «супы». При этом вопрос закрытый, без возможности выбрать несколько вариантов ответа или вписать свой. В результате любители котлет с пюре или шашлыков оказывается в растерянности и не знают, что выбрать. Такое несоответствие типов вопросов и задачи исследования повлечет за собой искажение данных, излишек информации в открытых вопросах и ее недостаток в закрытых.
Прежде чем составлять анкету, внимательно изучите существующие типы вопросов. Обычно они делятся на закрытые (с возможностью выбора из вариантов, указанных создателем опроса), полуоткрытые (можно выбрать вариант ответа или указать свой в дополнительном окошке «Другое») и открытые (нужно вписать свой ответ в специальную строку). Эти виды вопросов имеют подвиды, например, единичный выбор, шкала, матрица, множественный выбор и т. д. Определите, какие данные вы ожидаете получить в результате исследования, и выберите подходящий тип вопроса.
Формулировки вопросов непонятны или имеют двойственное значение
Порой в погоне за образностью речи теряется ее цель — донести основную мысль. «Когда вы в последний раз приобретали атлас?» — возникает двусмысленность из-за отсутствия ударения. «Позволяете ли вы себе выходить за границы?» — речь о личных границах, границах дозволенного или границах государства? Сбить с толку также могут неоднозначные термины.
Неясность формулировок увеличивает количество ответов «не знаю» и искажает общую картину исследования. Кроме того, респонденты могут отказаться от опроса, который заставляет впадать их в ступор. Чтобы этого избежать, помните правило «один вопрос — одно действие». Если вопрос вынуждает совершать два действия — разбейте его на два. Также избегайте наводящих вопросов, которые подталкивают к выбору определенного ответа. Исключите вопросы с неполными вариантами, когда выбор ответов недостаточен (добавьте в такие вопросы вариант «Другое» с полем для свободного ответа). Попросите своих тестировщиков проверить текст на предмет двусмысленных терминов. Главное — четко представьте, какой ответ вы ожидаете получить.
Слишком много вопросов в одной анкете
Большое количество вопросов вызывает у респондента «предсказанную усталость»: опрос еще не начался, а он уже утомился. Это влечет за собой бездумное прощелкивание вариантов ответа и равнодушие. Если ваш опрос разрастается, проанализируйте, не пытаетесь ли вы изучить сразу несколько разных проблем. Кроме того, вы можете попробовать разбить вопросы на несколько страниц, в таком случае вам будет нужно найти баланс между длиной страниц и количеством вопросов, которые на них расположены.
Также обращайте внимание на количество вариантов ответа в закрытых вопросах. Обычно принято использовать «правило семи»: когда нужно сравнивать варианты ответа между собой, их не должно быть более семи, так как среднестатистический человек может манипулировать в голове одновременно не более чем семью понятиями. Если необходимо добавить, например, десять вариантов, то их можно разбить уже на два вопроса. Попробуйте пройти анкету сами и помните, что опрос не должен отнимать у респондента более 15-20 минут.
Внешний вид, орфография и логика анкеты не проверяются перед началом опроса
В лучшем случае дело ограничивается грамматическими ошибками и опечатками. В худшем — в анкете будут битые ссылки или незагружающиеся изображения и видеофайлы.
Не ленитесь проверять анкету на грамотность перед публикацией. Не уверены в правильности написания слова? Сверьтесь со словарем или вовсе замените его синонимом. Сомневаетесь относительно знаков препинания в сложном предложении? Упростите его или разбейте на несколько простых, чтобы избежать использования неправильных знаков. Ну и обязательно проверьте корректность работы всех ссылок.
Поддерживать же логику в вопросах поможет правило воронки: сначала задаются простые вопросы, потом — сложные. Вопросы, классифицирующие опрашиваемых на группы, задают в последнюю очередь, так как они носят более личный характер и не так интересны отвечающим.
Мы перечислили далеко не все ошибки, которые совершают составители опросов, но надеемся, что и представленные в этом материале помогут вам посмотреть на свои анкеты новым взглядом, сделать их качественнее и в результате получить репрезентативные данные. Если же у вас нет возможности или желания разбираться в нюансах составления анкет, то вы можете обратиться к специалистам «Анкетолога», которые сделают все за вас.
Многие компании практикуют регулярные опросы целевой аудитории. Информация, полученная с помощью полевого исследования, позволяет компании осуществлять улучшения, востребованные текущими и потенциальными клиентами. Как правило, клиенты заинтересованы участвовать в таких опросах в надежде повлиять своими ответами на обслуживание или продукты компании, а значит, и какую-то часть собственной жизни. Важно, что к таким опросам проявляют интерес не только лояльные клиенты, но и те, кто остался недоволен. Они в первую очередь могут рассказать о выявленных недостатках или негативе, полученном лично. Эта информация имеет огромную практическую пользу для отдела маркетинга или службы контроля качества компании.
При неквалифицированном исполнении опрос может вызывать негативную реакцию клиентов. При этом респонденты могут быть недовольны как содержанием анкеты, так и качеством проведения опроса.
Какие ошибки при проведении опросов в первую очередь не нравятся клиентам?
– Опрос проводит робот (чатбот).
Использование в общении роботов клиент может посчитать пренебрежительным, неуважительным отношением к себе. Респондент не всегда сразу понимает, что его опрашивает не-человек. Такое открытие может вызывать неприятные эмоции, например, раздражение, разочарование, обиду, злость. Клиент понимает, что этот разговор не так важен для организации, чтобы эту работу поручить «живым» людям. Даже при выяснении обратной связи «на нем экономят». Клиент чувствует, что его используют – роботы получают информацию для оптимизации процессов компании, т.е. компания в большей степени решает свои проблемы, чем его. Клиент может подумать, что в таком случае не стоит делиться своим мнением с «железякой» и развернутых ответов будет существенно меньше, чем в общении с интервьюером-человеком.
– Высокая частота опросов, формализм в опросах
Клиенту надоедает регулярно отвечать на одни и те же вопросы, тем более, если он не чувствует каких-либо изменений. В некоторых опросах интервьюер невнимателен к респонденту или слишком торопится – клиент чувствует формальность процедуры и теряет интерес к участию в опросе. Через некоторое время после опросов идеальным решением было бы информирование потребителей о действиях компании по устранению замечаний. Возможно, современные технологии могли бы помочь в индивидуальных информационных сообщениях, учитывающих информацию, предоставленную респондентом. Однако даже общее информирование клиентов об изменениях по итогам опросов встречается крайне редко. Такой режим общения похож на настоящие человеческие отношения: feedback (обратную связь) получал бы не только поставщик услуг от клиента, но и клиент от поставщика.
При регулярных опросах желательно интересоваться у клиента, через какое время для него приемлем следующий звонок, либо какая альтернативная форма связи для него удобна (электронная почта, форма на сайте, мессенджеры и пр.). Полученную информацию следует внести в базу данных и в дальнейшем учитывать при планировании исследований клиентов. Возможно, для более лояльного отношения к опросам, необходимо предусмотреть поощрение за помощь. При проведении опросов поощрение обычно имеет символический характер, и размер подарка редко бывает супер значимым для респондентов. Это скорее тот случай, когда «важен не подарок, а внимание».
– Непродуманная анкета
Обычно самые критические ошибки встречаются при составлении анкеты для опроса, особенно когда она составляется сотрудником, не имеющим соответствующего опыта и квалификации. И тогда вопросы, на первый взгляд очевидные и безобидные, могут довести клиента до белого каления.
Анкета в маркетинговом исследовании – это инструмент, позволяющий получить объективную информацию об изучаемой части реальности, произвести замеры важных параметров (например, оценки удовлетворенности, спрос на новые услуги, отношение к цене восприятие марки и т.д.). Использование плохого инструмента приведет к искажению или потере важной информации.
Обычно анкета имеет четкую структуру, каждая часть анкеты решает свою задачу и требует от респондента различных усилий (рис.1).
Рис.1. Структура исследовательской анкеты
Любой опрос (анкета) начинается с приветствия и вводной части. При необходимости в самом начале разговора предусматриваются вопросы-фильтры, которые обеспечивают соответствие респондента требованиям выборки.
Вводная часть анкеты – это небольшой текст, который объясняет респонденту следующие вещи:
- какая организация его опрашивает;
- каковы тема и цели опроса;
- как будет обрабатываться и использоваться полученная информация (например, «результаты опроса будут представлены в обобщенном виде, без указания имен и других персональных данных»);
- иногда приводится мотивирующая к участию фраза, например, «Ваше мнение поможет нам сделать услуги более комфортными».
Если вводная часть отсутствует или составлена плохо, высока вероятность того, что респондент откажется от участия в опросе в самом начале разговора. Почему люди не участвуют в опросе, не видно из результатов опроса. При тестировании различных вариантов вводной части можно определить оптимальный вариант начала интервью. Удачное начало обеспечивает более высокую конверсию обращений в заполненные анкеты. Такая процедура выполняется опытными интервьюерами при пилотаже анкеты. Безусловно, не каждый сотрудник отдела маркетинга или колл-центра может квалифицированно провести такую работу.
Правила составления маркетинговых или социологических анкет могут оказаться полезными как при составлении анкет собственными силами, так и при согласовании/обсуждении анкет привлеченного исполнителя. Необходимо с вниманием отнестись к этапу согласования и обсуждения анкеты с исследовательской или консалтинговой компанией.
Исследование своими силами эффективно в случае, если такие проекты проводятся компанией регулярно и сотрудники имеют соответствующие знания и опыт. Квалификация «обычных» сотрудников отдела маркетинга обычно не позволяет компетентно составить анкету для маркетингового исследования. В таких случаях своими силами целесообразно проводить только простые опросы или исследования, не имеющие высокой важности для организации.
В целом подход точно такой же, как и в других профессиях: у многих дома есть швейная машина и кто-то умеет шить, но вряд ли многие дома шьют костюмы или верхнюю одежду. Многие умеют готовить, но сложные блюда предпочитают покупать готовые или заказывать в ресторане.
Ниже будут рассмотрены некоторые ошибки при составлении анкеты на примере реального онлайн-опроса (анкетирования), проведенного одним из российских банков среди своих B2B клиентов в 2020 г. на тему удовлетворенности.
— Оценочная шкала, непонятная респондентам
Рис. 2. Пример вопроса из опросной анкеты b2b клиентов (выбор шкалы)
В данном случае используется 11-балльная шкала, которая часто применяется в стандартных зарубежных методиках (как, например, NPS – индекс лояльности). Но для жителей России эта шкала непривычна. Практика опросов в РФ показывает, что наиболее адекватные оценки измеряемых показателей можно получить, используя 5-балльную шкалу, привычную для россиян со школы.
Каждый уровень 5-балльной шкалы имеет устоявшееся словесное определение (например, «5» – «отлично», «3» – «удовлетворительно»), так что эта шкала интуитивно понятна каждому россиянину.
В случае с более длинными шкалами нашему человеку может быть не вполне понятно, какую степень интенсивности отражают, например, 4 балла в 7-балльной шкале. А значит, ответы респондента будут недостаточно надежными. При повторном опросе респондент вполне может назвать и другое число, поскольку «не чувствует» шкалу.
— Вопрос об абстрактной услуге / ситуации
Рис.3. Пример из анкеты маркетингового исследования (обращение к абстрактной услуге)
Когда компания предоставляет достаточно однотипные услуги/продукты, процесс приобретения/ потребления которых в целом схож, подобная формулировка может применяться.
Но в случае с банковскими услугами, которые существенно отличаются (например, РКО, кредитование, лизинг и пр.), лучше выделить типичные ситуации / группы продуктов и получать оценки по каждой отдельно. Тем более, потребители могут не знать или не иметь опыта пользования некоторыми банковскими услугами.
В данном случае респонденты могут отвечать на вопрос, имея в виду совершенно различные услуги, а вывод маркетолог банка сделает по всем услугам. Кроме того, следует учесть и ситуацию, когда клиенту нужна услуга, которую этот банк не оказывает.
В любом случае, если нужна оценка абстрактной услуги/ситуации, желательно получить от респондента хотя бы текстовый комментарий с объяснением причин именно такой оценки или ее отсутствия.
— Удовлетворенность в целом
Рис.4. Пример вопроса исследовательской анкеты (удовлетворенность списком продуктов)
Люди склонны лучше запоминать плохое («ложка дегтя в бочке меда»). Поэтому, помимо общей оценки (не всех услуг вместе, а удовлетворенностью работой банка в целом), нужно также замерять оценки отдельных услуг, чтобы можно было выявить «проседающие» услуги, и степень их влияния на итоговую оценку банка. Желательно итоговую оценку банка размещать в анкете после оценок отдельных услуг/параметров работы банка. Это позволяет клиенту более вдумчиво рассматривать вопрос и ставить более взвешенную итоговую оценку.
По каждой «не-отличной» оценке необходимо получить текстовый комментарий респондента. Ведь недостаточно просто узнать, что клиенты недовольны какой-то услугой. Для «работы над ошибками» необходимо выяснить, что именно вызывает недовольство клиентов.
— Недостаточность вариантов ответа. Логический тупик
Рис.5. Пример из анкеты маркетингового исследования (сравнение с нечто)
Если у организации клиента нет опыта обслуживания в других банках – ему не с чем сравнивать свой банк. Но, поскольку данный вопрос в анкете нельзя пропустить, респондент будет вынужден либо поставить непонятную оценку (наугад или самую высокую оценку), чтобы перейти к следующему вопросу, либо прекратить отвечать на вопросы анкеты (логический тупик). Для таких респондентов необходимо предусмотреть какой-либо приемлемый вариант ответа, например, стандартный «затрудняюсь ответить» («не могу сравнить», «Не обслуживались в других банках» («давно не обслуживались в других банках», «С другим банком работает другой сотрудник» и т.д.).
Другой недочет формулировки этого вопроса – сравнение банка с другими банками в целом. В итоге каждый респондент сравнивает банк с другими банками, в которых обслуживался. То есть, в каждой анкете банк сравнивается с всегда разным подмножеством «других» банков (иногда плохих, иногда хороших). Здесь было бы более уместным выяснить, в каких именно банках респондент имеет опыт обслуживания, попросить его выбрать банк, с которым он взаимодействует чаще всего (который он может оценить наиболее обоснованно) и поставить оценки этому банку-конкуренту и банку, проводящему опрос.
Такой подход позволит банку выяснить, каким банкам он уступает, а каких превосходит.
— Вопросы о гипотетическом будущем
Рис.6. Пример из маркетинговой анкеты (2 вопроса в одном и только позитивный вариант)
Очевидно, цель этого вопроса – оценка тенденций динамики объема потребления услуг банка. Тогда в анкете должен присутствовать аналогичный вопрос и о вероятности сокращения объема пользования услугами банка (но его нет).
Поведение клиента в будущем зависит от множества обстоятельств, выяснить которые будет совсем нелишним. Скорее всего, дать однозначный ответ на этот вопрос большинство клиентов затруднится. Как часто бывает в B2B-исследованиях, респондент и лицо в компании, которое может реалистично ответить на такой вопрос – не совпадают.
Возможно, есть условия увеличения объема потребления, которые респонденты могли бы указать в текстовом поле вопроса. Так что здесь не хватает и варианта «затрудняюсь ответить», и открытого вопроса для комментария от респондента, объясняющего его оценку.
— Отсутствие логических переходов в анкете
Рис.7. Пример нелогичной навигации при анкетировании
Несмотря на ответ респондента «Не пользовались» напротив услуги «Кредитование», его все равно просят указать проблемы, повлиявшие на его оценку услуги кредитования. Поскольку респондент не пользовался данной услугой, и оценки как таковой нет, респондент в замешательстве: какие именно проблемы в его случае он может указать? Очевидно, что в данном случае вопрос о проблемах должен быть пропущен, чтобы респондент мог перейти к следующему вопросу. Этот переход должен быть отражен в структуре анкеты.
Отсутствие в анкете переходов в зависимости от смысла предыдущих ответов делает часть вопросов бессмысленными для респондентов, а полученные ответы – кривыми для аналитиков банка. «Добросовестный» респондент в такой ситуации может ответить наугад/выбрать нейтральный вариант, прекратить интервью, изменить свое мнение о банке в худшую сторону, отказываться от участия в дальнейших опросах банка.
— Не учитывается период времени, который оценивается
Рис.8. Пример из анкетирования клиентов (отсутствие периода оценки)
Если последний раз клиент обращался в банк давно, а с тех пор многое в банке изменилось, оценки банка, полученные от такого клиента, будут неактуальными. Для того чтобы не получать неактуальные ответы от респондентов, необходимо либо уточнять оцениваемый период в вопросе/анкете, либо опрашивать только респондентов, которые пользовались услугами банка недавно: например, в течение последних 3 месяцев.
— Применение методики NPS (Net Promoter Score) без учета ее ограничений
Рис. 9. Пример измерения лояльности при анкетировании (стандартный вопрос NPS)
Существуют некоторые категории продуктов и услуг, которые большинство потребителей не будут рекомендовать своим знакомым ввиду их чрезвычайной деликатности и/или серьезности влияния на жизнь потребителя. К таким категориям могут относиться медицинские и финансовые услуги. Поэтому ответы на данный вопрос следует сопоставлять с оценками удовлетворенности банком: если клиентов, готовых рекомендовать банк, мало, но удовлетворенность в целом высокая, для тревоги нет оснований. Не каждый продукт может рекламироваться через «сарафанное радио», но существуют и другие эффективные каналы коммуникации.
Вообще, не стоит делать выводы глобального системного характера на основании только одного вопроса анкеты. Выводы и рекомендации должны строиться на базе комплексного анализа полученных данных. При исследовании удовлетворенности клиентов важно не ограничиваться какой-то одной, пусть и популярной, методикой, а параллельно применять и альтернативные методики, дополняющие, детализирующие итоговую картину. В результате будет получено полное, объемное «изображение» ситуации, позволяющее разглядеть проблемы с разных сторон и принять обоснованные решения.
Итак, при составлении анкеты для опроса клиентов (потребителей) следует придерживаться следующих основных правил:
- наличие вводного текста/приветствия, интересного респонденту и располагающего к участию в опросе;
- небольшая продолжительность интервью/заполнения анкеты (не более 10 минут);
- наличие вопросов-фильтров, отсекающих респондентов, не принадлежащих целевой аудитории исследования;
- вопросы задаются только тем респондентам, которые могут на них ответить – имеют соответствующий опыт/квалификацию;
- четко определен временной промежуток, который рассматривается/оценивается в анкете;
- вопросы соответствуют задачам исследования (а не берутся с потолка или из образцов анкет, скачанных в Интернете);
- соблюдаются логические переходы в анкете;
- отсутствуют логические тупики;
- вопросы сгруппированы в тематические/смысловые блоки;
- вопросы и блоки вопросов расположены в логической последовательности;
- в закрытых вопросах – оптимальное количество вариантов ответа (достаточное, чтобы охватить наиболее вероятные ситуации, но не слишком большое, чтобы не утомить и не запутать респондента);
- наличие в вопросах варианта ответа «Другое» с текстовым полем (там, где возможны непредусмотренные варианты ответа);
- наличие в вопросах варианта ответа «Затрудняюсь ответить»;
- использование шкал, понятных и привычных для респондентов;
- отсутствие чрезмерно обобщенных или абстрактных вопросов.
Здесь приведена лишь базовая справочная информация, позволяющая избежать фундаментальных ошибок при составлении анкеты. Материалов о правильном составлении анкет достаточно, чтобы составить из них полноценный учебник.
И все же полноценная учебная литература не всегда позволяет адаптировать общие правила составления анкет к конкретным задачам и реальным респондентам.
Добиться такой эффективности позволяет пилотаж анкеты – пробный опрос по анкете небольшого количества респондентов. Как правило, после пилотажа корректируются даже анкеты, составленные профессионалами с большим опытом. Здесь важно понимать, что пилотаж и последующая коррекция анкеты – это неотъемлемая часть профессионального подхода к составлению анкеты исследования.
Пилотаж позволяет оценить длительность заполнения анкеты, количество отказов, формулировки вопросов и вариантов ответа. Даже если опрос планируется в форме самозаполнения (например, онлайн), вполне рабочим вариантом является проведение пилотного опроса посредством телефонного или очного интервью и в живом общении с клиентами «откатать» анкету.
Вы можете подписаться на уведомления о новых материалах СканМаркет
Онлайн опросы – удобный и эффективный метод проведения исследований целевой аудитории, продукта, отношения потребителей к бренду. Однако ошибки при составлении анкеты маркетингового исследования приводят к получению некачественных данных и искажению конечных выводов. В результате аномалии могут быть приняты за естественный тренд и стать причиной неправильных решений в маркетинге.
Рассмотрим, какие ошибки исследователя возможны при проведении анкетирования. Это поможет избежать проблем с заполняемостью и позволит получить достоверные данные для анализа.
Неверное применение типов вопросов
Частые ошибки постановки вопросов – неверный выбор типа. Вопросы в анкете могут быть открытыми, полуоткрытыми и закрытыми, позволять выбрать несколько ответов или только один. Важно подобрать тип в соответствии с целями и задачами исследования, учесть все возможные варианты ответов и расположить их в определенном порядке.
К примеру, вы хотите выяснить, где планируют провести летний отпуск респонденты. В этом случае ошибкой будет дать возможность выбрать только один вариант ответа:
- «на море»;
- «на даче»;
- «дома»;
- «в деревне».
В результате те, кто проводит часть отпуска на море, а вторую половину на даче, окажутся в замешательстве. А из-за отсутствия возможности вписать свой вариант в исследовании не будут учтены те, кто вообще не будет брать отпуск летом.
Создать анкету или опрос за несколько минут
Воспользоваться анкетой, созданной экспертом-маркетологом,
или создать свой опросник
простая регистрация
готовые шаблоны
и темы дизайна
удобный и функциональный
конструктор
широкие возможности
автоматизации
профессиональная
помощь экспертов
модуль контроля качества
Сложная читабельность
Непродуманный дизайн ухудшает читабельность анкеты, вызывает быструю утомляемость, мешает воспринимать информацию и заполнять опросник. При визуальном оформлении страниц нельзя использовать:
- шрифты разного размера и цвета на одном экране;
- яркий отвлекающий фон;
- шрифт слишком маленького кегля;
- мелкие или смазанные картинки;
- другие элементы, ухудшающие внешний вид опросника.
Для ответов на оценочные вопросы респондентам часто предлагаются рейтинговые шкалы. Если в одном случае позитивным является максимальное значение, а в другом – минимальное, то многие участники опроса ошибутся в выборе даже при наличии инструкции. Поэтому в рамках одной анкеты не рекомендуется использовать разнонаправленные шкалы.
Некорректное формулирование
Анкетные вопросы должны быть составлены простым языком максимально четко и однозначно, нельзя смешивать в одном вопросе две смысловые части. Также не стоит употреблять слова-обобщения «всегда», «часто», «редко», «много» и прочие, которые вызывают затруднения при ответе.
Типичные ошибки в формулировке вопросов – это:
- слишком длинные и запутанные формулировки;
- редко употребляемые и сложные слова;
- слова и фразы, показывающие пристальный интерес;
- абстрактные, неопределенные, двойственные понятия.
Чтобы улучшить возвратность анкеты, удалите из формулировок лишний текст и сложные обороты. Используйте те термины, которые знакомы вашим респондентам, в противном случае вы получите ложные результаты и, возможно, сделаете неверные выводы.
Нелогичные пользовательские сценарии
К типичным ошибкам при составлении анкеты можно отнести отсутствие ветвления в опроснике. К примеру, если вы спрашиваете респондента о его статусе и предлагаете в качестве одного из вариантов ответ «безработный», то нет смысла интересоваться у этих участников размером дохода. Это вызовет сложности с ответом у респондентов и увеличит вероятность получения ошибочных данных.
Слишком длинные опросники
Частые ошибки при проведении опросов и анкетирования – желание задать наряду с главными вопросами еще несколько, которые расширят исследование или пригодятся на будущее. Однако при заполнении длинных анкет респонденты быстро устают и не доходят до конца опроса. Поэтому возьмите за правило использовать в анкете только те вопросы, которые соответствуют целям и задачам исследования.
Заключение
Возможные ошибки опросов чаще всего связаны с тем, что составители анкет недостаточно знакомы с методиками разработки опросников и не знают, как правильно сформулировать вопросы. Чтобы снизить количество ошибок и улучшить качество полученных данных, используйте примеры опросников из базы шаблонов сервиса Foquz. Образцы анкет составлены профессиональными маркетологами и содержат выверенные формулировки вопросов, что упрощает и облегчает работу по проведению анкетирования.