Тестирование сайтов и приложений живыми людьми

Что дают живые тестировщики

Автотесты проверяют, что кнопка работает. Живой человек проверяет, что он её нашёл. Команда продукта знает интерфейс наизусть и не видит, где новый пользователь теряется. Взгляд со стороны дешевле всего получить до запуска, а не по падению конверсии.

Второе преимущество — разные устройства. У исполнителей свои телефоны, старые и новые, свои браузеры и мобильный интернет разного качества. Ошибка, которая видна только на маленьком экране или в старой версии браузера, найдётся быстрее.

Третье — свежий взгляд на тексты. Исполнитель не знает ваших внутренних слов. Если в интерфейсе написано «оформить лид», а человек ищет «оставить заявку», это видно с первого отчёта.

Какие тесты подходят для биржи

Лучше всего работают короткие задачи с понятным итогом:

• Юзабилити-сценарий: найти товар, оформить заказ до шага оплаты, записать, где было непонятно.
• Проверка формы: заявка, обратный звонок, поиск. Понятны ли ошибки, работает ли маска телефона, что видно после отправки.
• Первое впечатление: за пять секунд на главной странице понять, что продаёт сайт, и пересказать своими словами.
• Проверка на устройствах: открыть страницу на своём телефоне, сделать скриншоты, указать модель и браузер.
• Сравнение: пройти одну задачу на вашем сайте и на двух других и рассказать, где проще.
• Проверка текстов: прочитать инструкцию или письмо и пересказать, что нужно сделать.
• Проверка удобства для всех: пройти сценарий с увеличенным шрифтом или только с клавиатуры и описать, что мешало.

Как написать сценарий

Сценарий — это задача пользователя, а не инструкция по интерфейсу. Плохо: «нажмите кнопку Корзина в правом верхнем углу». Хорошо: «вы хотите купить кроссовки 42 размера до 7000 ₽, оформите заказ до шага оплаты». Если подсказать путь, тест покажет только, умеет ли человек читать подсказки.

Попросите думать вслух, то есть записывать мысли по ходу: «ищу фильтр по размеру, не вижу». Короткие заметки в отчёте ценнее итоговой оценки «удобно, 8 из 10».

Одна задача на одно задание. Если хотите проверить три сценария, сделайте три задания или три коротких шага в одном, но не десять.

Перед публикацией сформулируйте, что считаете успехом. Например: человек дошёл до шага оплаты меньше чем за пять минут и ни разу не вернулся в каталог. Тогда каждый отчёт можно отметить как «справился» или «нет», а не только читать впечатления.

Напишите, кто вам нужен: опыт покупок онлайн, Android или iPhone, возраст. Фильтров по этим признакам на бирже нет, но люди сами решают, подходят ли они, и могут написать об этом в отклике.

Пример задания

«Откройте сайт по ссылке в описании на своём телефоне. Задача: найти беговые кроссовки 42 размера до 7000 ₽ и оформить заказ до шага оплаты. Платить не нужно, данные карты не вводите. По ходу записывайте, где пришлось остановиться или вернуться назад. В отчёте: 1) модель телефона и браузер; 2) три-пять наблюдений, каждое в одну-две строки; 3) скриншоты экранов, где было непонятно; 4) ответ на вопрос: что чуть не заставило вас бросить заказ.»

Заметьте, чего в этом тексте нет: подсказок, где искать фильтр, и вопроса «понравился ли вам сайт». Ответ на него почти всегда «да» и ничего не даёт.

Пример для проверки формы короче: «Откройте страницу по ссылке в описании и оставьте заявку на обратный звонок с вымышленным именем и тестовым номером из описания. Сделайте скриншот после отправки. Напишите, были ли ошибки, понятно ли, что заявка ушла, и сколько полей пришлось заполнить».

Доказательства и формат отчёта

Для удалённого задания выберите типы доказательств: файлы со скриншотами или PDF, видео до 60 секунд, ссылки и текст. В одной сдаче до 20 доказательств.

Запись экрана длиннее минуты на биржу не загрузить. Если нужна запись всего сценария, попросите выложить её в облако и сдать доказательством-ссылкой. Скриншот без подписи мало полезен: попросите писать в тексте, к какому шагу относится каждый.

Для мобильного приложения попросите указать версию приложения и операционной системы. Если приложения ещё нет в магазинах, тестовую сборку придётся давать по ссылке в описании, а значит, скачать её сможет любой, кто откроет задание.

Попросите в тексте одинаковую структуру отчёта. Тогда отчёты двадцати человек сводятся в список проблем, отсортированный по частоте. Пустой текст или пустую ссылку сервер не примет, но формальный отчёт отсеивает только хорошее задание.

Сколько людей и сколько платить

Для юзабилити-теста одного сценария обычно хватает пяти-восьми человек: основные проблемы начинают повторяться уже в первых отчётах. Для проверки на устройствах людей нужно больше, чтобы покрыть разные модели.

Мест в задании от 1 до 500. Каждый исполнитель сдаёт свой отчёт и получает оплату отдельно. Выбирать можно вручную по откликам или включить автовыбор первых подходящих по рейтингу, отметке «Проверенный» и числу выполненных заданий.

Минимальная цена удалённого места 100 ₽, ориентир на главной для теста сайта с записью экрана — от 400 ₽. Сценарий на 15–20 минут с подробным отчётом стоит дороже короткого опроса. Пример: 8 мест по 500 ₽ — это 4000 ₽ исполнителям и 800 ₽ комиссии, всего 4800 ₽ в резерве. Чтобы проверить доработку, поставьте два задания с одинаковым сценарием, до и после, и сравните найденные проблемы.

Что учесть заранее

У биржи есть правила, которые влияют на тесты:

• Задания публичные. Описание видят все, в том числе те, кто не будет его выполнять. Не пишите в нём ничего конфиденциального и не давайте доступ к закрытым данным.
• Ссылки в переписке скрываются автоматически, как телефоны и почта. Адрес сайта или тестового стенда указывайте в описании задания.
• Не просите вводить данные карт, пароли и коды из SMS. Оплату проверяйте в тестовом режиме платёжной системы с тестовыми данными или ограничьтесь путём до шага оплаты.
• Задания, итог которых — созданный аккаунт, в стоп-листе биржи. Регистрацию проверяйте на тестовом стенде, где итог — отчёт о форме.
• Это не замена QA-команде и не нагрузочное тестирование. Биржа помогает увидеть продукт глазами людей, а не прогнать регресс.

Типичные ошибки

Тест обычно проваливается не из-за исполнителей, а из-за постановки:

• Подсказки в сценарии. Тест превращается в проверку внимательности.
• Нет модели устройства и браузера в отчёте. Ошибку потом не воспроизвести.
• Слишком длинный сценарий за маленькие деньги. К концу отчёты становятся короткими.
• Все места на одну и ту же аудиторию. Если продукт для пожилых, а отчёты пишут студенты, укажите в задании, кого вы ищете.
• Тест на рабочем сайте с настоящими заказами. Тестовые заявки попадут к менеджерам и на склад: предупредите команду или используйте стенд.
• Приёмка без чтения. Если вы молчите три дня, работа принимается автоматически, и спорить уже поздно.