Фото — Работы дизайнеров всего мира 4

Мы остановились на анализе исключительно юзабилити тестирований потому, что их параметры очень хорошо поддаются контролю:	Все команды использовавшие тестирования были высокопрофессиональными.	Все работали с одним и тем же сайтом.
Все использовали метод "думать вслух".	Исследования были проведены в одно и то же время.	Все получили одинаковые инструкции перед исследованием поэтому были схожи такие параметры тестирования как:
Мы использовали факторы которые не контролировались в оригинальном исследовании, а именно, размер выборки и количество пользовательских задач, как независимые переменные в нашем исследовании. Аргументами в пользу использования данных CUE-4 было то, что сайт Hotel Penn был и остается полнофункциональными коммерческим сайтом, а исследования имеют высокую достоверность и проведены профессионально.	Мы загрузили файлы по CUE-4 с сайта Рольфа Молича2 в которых содержаться отчеты всех 17 команд.	Анализу подверглись 9 отчетов представленных командами, проводившими юзабилити тестирования, это были команды A, H, J, K, L, M, N, O, и S.
При получении данных требуемых для статистического анализа, было сделано три основных шага:	определено количество участников в юзабилити тестированиях,	проанализированы задачи пользователей и сценарии,
проанализированы проблемы, о которых сообщала каждая команда.	Количество пользователей используемых командой варьировалось от 5 до 15 и показано в таблице №1.	В каждой сессии тестирования участвовал один пользователь, который вслух высказывал свои мысли. За исключением команды A в которой пары заказывали номера вместе в одной из 7 сессий.
При рассмотрении 9 отчетов был обнаружен большой разброс в постановке пользовательских задач, от одного предложения до целой страницы, представленных как в табличном так и в текстовом виде,	по большей части критерии выбора задачи отсутствовали.	Некоторые задачи были использованы во многих сценариях, а некоторые были представлены только в одном сценарии, различались вопросы, объем инструкций и другие параметры задач.
Команда A представила таблицу из 13 задач, с обоснованием выбора каждой задачи и анализом ее целей.	Команда H представила 9 задач без каких либо объяснений и анализа целей.	Команда J представила 6 сценариев, снабженных описанием результатов.
Команда K представила список из 12 задач, многие с краткой инструкцией или вопросом, но без сценариев, к примеру: "Есть ли свободные комнаты ночью 4 января 2004".	Команда L представила 10 задач, в основном, тех же самых, что и команда A, но две из них были модифицирована, а одна своя.	Команда M представила 10 сценариев с анализом целей, для каждой задачи были четко прописаны точка старта, точка завершения и критерии успеха.
Команда N использовала 4 задачи записанных в текстовом виде с заголовками, к примеру: "Семейные выходные в Нью-Йорке" (задача 1), "Заполнение формы предварительного заказа и бронирование комнаты" (задача 4).	Команда O использовала комбинацию из 16 задач и сценариев. Задачи 14, 15 и 16 выполнялись, если позволяло время.	Команда S давала пользователям легенду, чтобы они могли войти в роль и сценарий на 8 задач в текстовом виде.
Очевидно, что количество задач представленных в отчетах команд, не может быть проанализировано в чистом виде.	К примеру, из заголовка 4-й задачи команды N видно, что у нее как минимум две цели: заполнение формы предварительного заказа и заполнение формы бронирования комнаты,	и это не единственный пример комплексной задачи в этом исследовании.
По этой причине необходимо провести более детальный анализ задач:	Цель задачи это высший уровень в иерархии задачи, возможно, что для достижения цели пользователю придется выполнить несколько пользовательских задач.	Пользовательская задача имеет свою цель, но при этом определены условия или воображаемая ситуация.
Пользователь пытается выполнить задачу в различных контекстах, по разному взаимодействуя с системой, а значит увеличивается шанс обнаружения проблемы. К примеру:	Элементарная задача наименьшая часть задачи, которую нельзя разделить на более мелкие части.	Обычно встречается в очень специфичном контексте, к примеру, вернуться на главную страницу и сделать предзаказ для семьи из трех человек с 20 июня по 5 июля.
Классификация пользовательских задач.	Каждый сценарий и его описание были внимательно изучены и разделены на элементарные задачи, для каждой из которых было составлено описание.	Некоторые задачи не требовали дальнейшего разделения.
Благодаря Рольфу Моличу, отчеты команд участвовавших в CUE-4 общедоступны [9]. Из 17 команд профессиональных юзабилити специалистов, 9 проводили юзабилити тестирования, и в общей сложности задействовали 76 пользователей, остальные использовали различные экспертные методы.