Фото — Работы дизайнеров всего мира 5

Магическое число 5, было быстро адаптировано многими организациями как оптимальное количество пользователей для юзабилити тестирования, которое обеспечивает приемлемый уровень возврата инвестиций.	Тем не менее, вскоре было обнаружено, что реальность очень отличается от заявленного, к примеру, Spool&Schroeder [15] сообщили, что первые пять пользователей в 49 тестах четырех коммерческих сайтов обнаружили только 35% проблем, показав значение ?	равным только 0.082, в случае Faulkner [4] хорошо проработанное исследование показало, что 5 пользователей могут обнаружить менее 55% проблем.
Значения ? в литературе колеблются от 0.08 до 0.51 [14, 15, 16]. м	Используя значение ? равное 0.31 во всех исследованиях, независимо от сложности интерфейса, можно столкнуться с переоценкой доли обнаруженных проблем и как следствие, недооценкой необходимого размера выборки.	Кроме предположения о значении ?, есть и другое предположение, которое может объяснить противоречивость результатов различных исследований.
В формуле предполагается, что общее количество проблем в исследуемом интерфейсе известно, и равно общему количеству обнаруженных [16] или среднему количеству проблем обнаруженных в каждом тесте [14].	Но, серия исследований CUE [8, 10, 11, 12] показывает, что обнаружение "всех проблем" которые есть в интерфейсе, маловероятно.	Исследования CUE-2 и CUE-4 обнаружили незначительное совпадение проблем обнаруженных различными командами при исследовании одного и того же интерфейса:
CUE-2: 75% из 310 проблем были обнаружен только одной из команд; 8 команд исследовали один и тот же сайт, при этом было задействовано 53 пользователя [10].	CUE-4: 67% из 237 проблем были обнаружен только одной из команд; 9 команд исследовали один и тот же сайт, при этом было задействовано 76 пользователей [8].	Большой процент проблем обнаруженных только одной из команд, наводит на мысль о том, что команды далеки от обнаружения "всех" проблем, а следовательно магическое число 5 значительно преуменьшено.
Не делая предположения о том, что нам известно общее число проблем или считая им число проблем обнаруженных в исследовании, Якобсен [7, упоминается в 6] предположил, что количество обнаруженных проблем пропорционально среднему геометрическому количества пользователей и исследователей.	Количество обнаруженных проблем = C ?(количество исследователей x количество пользователей).	Формула была получена в результате анализа небольшой базы данных, составленной по отчетам 4 исследователей, работавших с одним и тем же набором видеозаписей, в каждом исследовании было задействовано 4 пользователя, которые вслух комментировали свои мысли.
Это применимо и к юзабилити тестированию, поскольку поскольку в нем пользователи также произносят вслух свои мысли, есть один или несколько исследователей, и чаще всего число пользователей не велико.	Все три упомянутых формулы, устанавливают тот или иной тип пропорциональности между количеством обнаруженных проблем и количеством участвующих в тестировании пользователей.	Эта пропорциональность сохраняется в пределах отдельно взятого исследования или тестирования, но будет ли она сохраняться в различных тестах в которых значение ?
изменяется в широких пределах?	Задачи пользователей Результаты юзабилити тестования зависят от многих факторов, таких как подбор пользователей,	задачи тестирования, проработка задач, критерии проблемы, навыки проводящих тестирование специалистов и т.п.
Различия в пользовательских задачах объясняют то, что различные команды исследователей находят различные проблемы.	Исследование Hertzum & Jacobsen’s [6] показало, что результативность исследований использующих один из методов UEM (когнитивный анализ, эвистическое исследование, тестирование с привлечением пользователей)	варьируется от 5% до 65%.
Анализ показал, что это происходит по причине неопределенности целей, процедур исследования и критериев проблемы.	В обзоре Hertzum & Jacobsen’s [6] проблемы найденные исследователями различались благодаря большим различиям в задачах:	одни исследователи использовали экспертные методы, другие привлекали к тестированию пользователей, комментировавших свои мысли вслух.
Еще одним доказательством того, что различия в задачах могут быть важны, были получены Cockton & Woolrych [2].	Для оценки одного и того же интерфейса проводились два юзабилити тестирования,	задачей второго было подтвердить опасения, появившиеся после первого.
Различия в задачах, привели к тому, что в процессе второго тестирования было выявлено несколько новых проблем.	Очевидно, что новые пользовательские задачи позволяют обнаруживать новые проблемы.	К тому же в результате CUE-2 было обнаружено, что результаты работы команд в значительной степени различаются, в этом исследовании команды использовали 51 разную задачу, 25 (49%) из которых использовались только одной из команд.
Молич комментировал этот так: "количество задач может влиять на количество обнаруженных проблем, тем не менее, не так существенно, как многие могли подумать".	Две главных темы исследования — это влияние размера выборки и количества пользовательских задач, на результаты исследования	Заинтересовавшись вышеописанными взаимосвязями между результатами исследования и размером выборки или задачами, мы решили ответить на два вопроса:
Существует ли взаимосвязь между количеством пользователей и долей обнаруженных проблем.	Существует ли взаимосвязь между количеством пользовательских задач и долей обнаруженных проблем.	Благодаря Рольфу Моличу, отчеты команд участвовавших в CUE-4 общедоступны [9]. Из 17 команд профессиональных юзабилити специалистов, 9 проводили юзабилити тестирования, и в общей сложности задействовали 76 пользователей
остальные использовали различные экспертные методы.