Разметка и сбор данных для ИИ

Какие задачи по данным решают люди

Модели учатся и проверяются на данных, которые размечали или создавали люди. На бирже можно поставить такие задачи:

• Разметка изображений: отметить объекты, выбрать класс, проверить чужую разметку.
• Разметка аудио: расшифровать запись, указать эмоцию, манеру речи, шум.
• Сбор данных: снять фото определённых предметов, начитать фразы из списка, снять бытовое действие от первого лица.
• Оценка ответов модели: сравнить два ответа и выбрать лучший, найти фактические ошибки, проверить, выполнено ли условие.
• Поиск слабых мест: придумать запросы, на которых модель ошибается, и описать ошибку.
• Проверка переводов и текстов на естественность для носителя языка.
• Сбор текстов: написать вопросы, которые задал бы клиент, перефразировать фразы для обучения классификатора.

Когда биржа подходит, а когда нет

На бирже у задания фиксированная цена за место, а место — это один исполнитель. Это удобно, когда нужен один человек на одну порцию работы: 50 записей, 100 картинок, 10 диалогов. Для миллионов микрозадач по копейке с автоматической раздачей по одной картинке биржа не создана: минимальная цена удалённого места 100 ₽.

Отсюда правило: собирайте работу в пакеты. Один пакет — одно место. Пакет должен занимать понятное время, от пятнадцати минут до пары часов, и это время стоит написать в задании. Срок задания не дальше 60 дней, поэтому длинный проект делите на серии. Хороший признак, что задача подходит: её можно объяснить на одной странице, а результат проверить выборочно за несколько минут.

Своего инструмента разметки на бирже нет. Исполнитель работает в вашем инструменте, в таблице или с файлами, а результат сдаёт файлом, ссылкой или текстом.

Как написать инструкцию для разметки

Качество разметки определяет инструкция. Два человека по одной инструкции должны поставить одну и ту же метку. Если не ставят, виновата обычно инструкция, а не люди. Перед публикацией разметьте два-три десятка примеров сами: где сомневались вы, исполнитель будет сомневаться чаще. В инструкции должны быть:

• Определения классов с примерами: что считается «радостью», а что «нейтральной» речью.
• Пограничные случаи: что делать, если на фото два объекта, если голос слышен плохо.
• Метка «нельзя определить». Без неё исполнитель гадает, а вы получаете шум.
• Формат результата: столбцы таблицы, имена файлов.
• Что делать с личными данными, если они попадутся: лица, документы, номера телефонов.

Пример задания на разметку голоса

«Скачайте архив по ссылке в описании: 50 коротких записей. Прослушайте каждую в наушниках. Для каждой выберите эмоцию из списка: радость, злость, грусть, нейтрально, нельзя определить. Сомнительные записи отметьте в отдельном столбце. Заполните таблицу по шаблону: имя файла; эмоция; сомнение да или нет. Сдайте ссылку на заполненную таблицу и напишите в тексте, сколько записей было трудно разметить. Работа занимает около 40 минут.»

Если поставить такое задание на 10 мест по 300 ₽, каждую запись разметят десять человек, а вы заплатите 3000 ₽ исполнителям и 600 ₽ комиссии. Зачем десять человек на одни и те же записи, объясняет следующий раздел.

Перекрытие и контроль качества

Одна и та же порция, размеченная несколькими людьми, показывает, где инструкция понятна, а где нет. Это называется перекрытием. Если три человека из трёх поставили одну метку, ей можно доверять. Если ответы разошлись, это повод перечитать инструкцию или убрать пример из набора. Обычно начинают с перекрытия в три человека: при двух непонятно, кто прав, а дальше растёт цена. Для субъективных задач, вроде эмоций или естественности речи, перекрытие делают больше.

На бирже перекрытие делается местами: одно задание, одна порция, несколько мест. Каждый исполнитель сдаёт свою разметку и получает оплату отдельно. Если перекрытие не нужно, делайте разные порции разными заданиями.

Добавьте контрольные примеры с известным ответом. Если исполнитель ошибся на большинстве из них, у вас есть понятная причина открыть спор. В споре деньги места замораживаются, решение принимает администратор по доказательствам.

Работа принимается автоматически через три дня после сдачи, если вы молчите. Проверяйте пакеты вовремя.

Сбор фото, голоса и видео

Если данные нужно создать, а не разметить, исполнитель снимает или записывает их сам. На биржу загружаются фото в форматах JPEG, PNG, WebP и HEIC до 15 МБ, видео до 60 секунд и до 60 МБ, PDF. Аудиофайлы напрямую не загружаются: записи голоса исполнитель сдаёт ссылкой на архив или как видео.

Из фото и видео при загрузке удаляются координаты: для удалённого задания место съёмки может быть домом исполнителя. Если вам нужна геометка, это уже задание на месте, а такие пока принимаются только в Москве.

Голос и изображение человека — его персональные данные. Если вы собираете записи для обучения, заранее продумайте основание и согласие и напишите в задании, для чего нужны записи.

Опишите технические требования: освещение, фон, ракурс, длительность, тишина вокруг. Дайте в описании ссылку на пример хорошей записи. Если требования нарушены, у вас есть основание для спора, а у исполнителя понятный ориентир.

Попросите сдавать вместе с архивом короткий текст: сколько файлов, какое устройство, были ли отклонения от требований. Это упрощает приёмку и разбор спорных случаев. Не просите снимать лица, документы и экраны с личными данными, если это не цель сбора.

Оценка ответов моделей

Для оценки ответов нужна не только внимательность, но и знание предмета. Укажите в задании, какой опыт нужен: юрист, бухгалтер, программист, носитель языка. Квалификацию биржа не проверяет, ориентируйтесь на отклики, рейтинг и отзывы. Хорошая проверка — небольшое первое задание на одно место перед большим.

Удобный формат — попарное сравнение с обоснованием. «Ответ А лучше: он учёл условие про сроки» полезнее, чем оценка от 1 до 10 без объяснений. Для поиска слабых мест модели опишите, какие ошибки вас интересуют: фактические, логические, нарушение формата. И не делайте задание слишком длинным: двадцать пар ответов с обоснованием — это уже час внимательной работы, и к концу качество падает.

Описание задания публичное. Давайте в нём обезличенные примеры, а не реальные диалоги с клиентами.

Цена и бюджет

Цену места назначаете вы, минимум 100 ₽. Считайте от времени: засеките, сколько пакет занимает у вас самих, добавьте запас для человека, который видит задачу впервые, и назначьте ставку, на которую откликнутся.

Пример расчёта: пакет из 100 картинок с одной меткой на каждую занимает вместе с чтением инструкции минут десять. Цена 100 ₽ за место — минимум биржи. С перекрытием в три человека это 300 ₽ исполнителям и 60 ₽ комиссии за пакет.

Комиссия сервиса 20 % сверху, исполнитель получает ровно цену места. Все исполнители на бирже самозанятые, и выплата для них — доход, с которого они платят налог. Компании пополняют кошелёк по счёту и получают закрывающие документы.