Что такое пользовательское тестирование
Что такое пользовательское тестирование
Пользовательское приемочное тестирование (UAT) — это тип тестирования, выполняемый конечным пользователем или клиентом для проверки / принятия системы программного обеспечения перед перемещением приложения в производственную среду. UAT выполняется на заключительном этапе тестирования после выполнения функциональных, интеграционных и системных испытаний.
Основной целью UAT является проверка сквозного бизнес-потока. Он не фокусируется на косметических ошибках, орфографических ошибках или тестировании системы. Приемочное тестирование пользователя выполняется в отдельной среде тестирования с настройкой данных, аналогичных производственным. Это своего рода тестирование черного ящика, в котором будут участвовать два или более конечных пользователя. Полная форма UAT — это приемочные испытания.
Кто выполняет UAT?
Необходимость приемочного тестирования:
После того, как программное обеспечение прошло модульное, интеграционное и системное тестирование, необходимость приемочного тестирования может показаться излишней. Но приемочные испытания необходимы, потому что
Приемочные испытания и V-модель
В VModel приемочное тестирование пользователя соответствует фазе требований жизненного цикла разработки программного обеспечения (SDLC).
Предварительные условия приемочного тестирования:
Ниже приведены критерии входа для приемочного тестирования:
Как сделать UAT-тестирование
UAT выполняется предполагаемыми пользователями системы или программного обеспечения. Этот тип тестирования программного обеспечения обычно проводится на клиентском компьютере, который называется бета-тестированием. Как только критерии входа для UAT удовлетворены, тестировщикам необходимо выполнить следующие задачи:
Шаг 1) Анализ бизнес-требований
Одним из наиболее важных действий в UAT является выявление и разработка сценариев тестирования. Эти тестовые сценарии получены из следующих документов:
Шаг 2) Создание плана UAT:
Шаг 3) Определите тестовые сценарии и тестовые случаи:
Определите сценарии тестирования в отношении бизнес-процесса высокого уровня и создайте контрольные примеры с четкими шагами тестирования. Тестовые случаи должны в достаточной степени охватывать большинство сценариев UAT. Бизнес-прецеденты являются входными данными для создания тестовых случаев.
Шаг 4) Подготовка тестовых данных:
Шаг 5) Запустите и запишите результаты:
Выполните тестовые случаи и сообщите об ошибках, если таковые имеются. Повторно проверьте ошибки, как только исправлены. Инструменты управления тестами могут быть использованы для выполнения.
Шаг 6) Подтверждение достигнутых бизнес-целей:
Бизнес-аналитики или UAT-тестеры должны отправить подпись после тестирования UAT. После подписания товар годится для производства. Результатами тестирования UAT являются План тестирования, Сценарии и сценарии тестирования UAT, Результаты испытаний и Журнал дефектов.
Критерии выхода по UAT:
Перед переходом в производство необходимо учитывать следующее:
Качества тестеров UAT:
Тестировщик или бизнес-аналитик или специалист по предмету Эксперты, которые понимают бизнес-требования или процессы, могут подготовить тест и данные, которые являются реалистичными для бизнеса.
Лучшие практики:
Для достижения успеха UAT необходимо учитывать следующие моменты:
UAT Инструменты
На рынке существует несколько инструментов, используемых для приемочного тестирования Пользователем, и некоторые из них перечислены для справки:
Фитнес-инструмент: это Java- инструмент, используемый в качестве движка для тестирования. Легко создавать тесты и записывать результаты в таблицу. Пользователи инструмента вводят форматированный ввод и тесты создаются автоматически. Затем выполняются тесты, и результат возвращается пользователю.
Watir : Это инструментарий, используемый для автоматизации браузерных тестов во время приемочного тестирования. Ruby — это язык программирования, используемый для межпроцессного взаимодействия между ruby и Internet Explorer.
Пользовательское приемочное тестирование: руководство по успешному запуску новых продуктов
Как бы банально это не звучало, но большинству людей нравится, чтобы все было просто. Особенно, когда дело касается новых продуктов. По сути, потенциальная ценность, которую ваш продукт или сервис может привнести в жизни в ваших клиентов, не имеет никакого значения, если люди не смогут использовать его так, как этого хочется им, они почти наверняка пройдут мимо и обратят внимание на другие решения.
Напрашивается вывод — прежде чем начинать продавать свой продукт целевым клиентам, вы должны убедиться в том, что они смогут работать с ним так, как и намеревались изначально.
Именно здесь вам может пригодиться пользовательское приемочное тестирование (User Acceptance Testing, UAT). В сегодняшней статье мы расскажем вам, что это такое, когда и как вам следует использовать данный метод и почему он играет столь важную роль при выводе продукта на рынок.
Содержание статьи
Что такое пользовательское приемочное тестирование?
Пользовательское приемочное тестирование — процесс, в ходе которого вы просите группу людей использовать продукт, сервис или часть софта с его полным функционалом.
Известное также как бета-тестирование, UAT служит трем основным целям:
Далее в статье мы еще поговорим о важности UAT, но сперва давайте быстро разберем разные типы такого тестирования.
5 типов пользовательского приемочного тестирования
1. Первый тип, на котором мы и будем фокусироваться в этом посте, — альфа/бета-тестирование. При альфа-тесте роль пользователей на себя берут штатные сотрудники и члены команды разработчиков. А вот бета-тест проводится с участием реальных, специально отобранных пользователей. Ниже — пример лендинга с предложением зарегистрироваться для бета-тестирования Division 2, анонсированного на E3:
Эта страница не очень удачно выглядит в русской реализации, но, тем не менее, она выполняет свою функцию. Быстро и без особых усилий создать свой лендинг пейдж для бета-тестирования вашего нового продукта можно с помощью нашей платформы. Для этого достаточно выбрать любой бесплатный шаблон и адаптировать его под себя:
2. Контрактное приемочное тестирование (contractual acceptance testing) нацелено на то, чтобы проверить, соответствует ли разработанный продукт контрактным требованиям, согласованным всеми заинтересованными сторонами. Обычно такое тестирование используют, дабы убедиться в том, что сторонняя команда разработчиков выполнила свои договорные обязательства.
3. Законодательное приемочное тестирование (regulation acceptance testing) позволяет убедиться в том, что продукт соответствует всем законам и предписаниям своей отрасли и юрисдикции. Такое тестирование следует проводить в сферах здравоохранения и финансов, кроме того, с внедрением GDPR на нем должны акцентировать внимание все европейские компании.
4. Операционное приемочное тестирование (operational acceptance testing) сосредоточено на определении эффективности закулисных процессов внутри организации, которые гарантируют людям полноценное использование продукта. С помощью этого типа тестирования оцениваются такие процессы, как онбординг, сбор данных и защитные механизмы.
5. Тестирование по стратегии черного ящика (black box testing) ориентировано на анализ причинно-следственной связи между взаимодействием пользователя с продуктом и результатом, полученным за счет этого взаимодействия. Этот тип тестирования связан с UAT тем, что здесь людям говорят, для чего предназначен продукт, но изучать, как именно он работает, они могут самостоятельно.
Почему пользовательское приемочное тестирование играет столь важную роль
Итак, UAT является неотъемлемой частью процесса создания продукта. Тем не менее, вы должны фокусироваться на таких тестах не только при их фактическом проведении, но и на всех этапах разработки:
Как видно из диаграммы выше, пользовательское приемочное тестирование нацелено на то, чтобы все изначальные требования к продукту были соблюдены.
Думайте о конечном пользователе
Ценность вашего продукта определяется только людьми, которые будут с ним работать.
Хотя это звучит весьма очевидно, в процессе разработки продукта о таком нюансе можно запросто забыть. Не учитывая то, как ваши конечные пользователь будут взаимодействовать с вашим продуктом, вы рискуете столкнуться со многими проблемами или даже отклониться от намеченного пути. И точно также, не зная, чего на самом деле конечные пользователи хотят от вашего продукта, вы рискуете снабдить его совершенно ненужными функциями.
Несмотря на то, что удерживать фокус на клиентах в ходе разработки можно по-разному, акцентируя внимание на UAT, вы гарантированно сможете убедиться в том, что все усилия по вашему продукту делаются с мыслью о конечном пользователе.
Кроме того, это поможет вам сделать процесс разработки менее произвольным, поскольку каждое изменение или улучшение будет сопровождаться вопросом: «Как эта функция поведет себя в ходе пользовательского приемочного тестирования?».
Подтвердите product/market fit
Положительные результаты, полученные бета-тестерами во время вашего UAT, могут подтвердить не только наличие рынка для вашего продукта, но и то, что потребители в рамках этого рынка будут успешно использовать ваше решение.
Когда продукт готов к проведению UAT?
Прежде чем начинать UAT, команда разработчиков должна соблюсти ряд предварительных условий.
Остановимся на этих критериях более подробно.
Бизнес-требования должны быть готовы
Согласно iSixSigma, главным образом документы по бизнес-требованиям создаются, чтобы:
Продукт должен функционировать на своих предельных возможностях
Пользовательское приемочное тестирование не является синонимом функционального теста. UAT не предназначено для выявления сбоев, ошибок, зависаний и прочих проблем.
Вместо этого, с помощью таких тестов вы должны проверять юзабилити продукта, когда он работает так, как вы и задумывали изначально. Иными словами, если на текущий момент ваше решение нуждается в каких-то очевидных доработках, оно не готово к UAT.
Проблемы должны фиксироваться, исправляться и тестироваться
По ходу разработки продукта вы почти наверняка столкнетесь с перечисленными выше проблемами. Чтобы подготовить свое решение к UAT, ваша команда должна не только исправлять эти просчеты, но и фиксировать их в специальном лог-файле.
Этот лог-файл должен содержать следующую информацию:
Такой подход обеспечивает максимальную прозрачность и наглядность в контексте разработки продукта для всех заинтересованных сторон.
Команда по тестированию системы должна дать добро
На данном этапе производственного процесса, когда все остальные критерии уже были соблюдены, команда разработчиков и другие заинтересованные стороны должны подтвердить готовность продукта к бета-запуску для ограниченного количества пользователей.
Зачем нужно пользовательское тестирование: кейс от Feedly
6 шагов успешного пользовательского приемочного тестирования
Процесс UAT включает в себя следующие этапы:
1. Проанализируйте бизнес-требования
Как было сказано ранее, прежде чем переходить к разработке продукта, вам необходимо позаботиться о документации по бизнес-требованиям. Но помимо этих документов, вам нужно собрать следующее:
Анализируя эти документы, вы сможете начать разработку тестовых сценариев — важнейшего аспекта всех последующих шагов процесса.
2. Разработайте UAT план
На этой стадии вы определяете такие логистические критерии UAT, как:
3. Определите тестовые сценарии и кейсы
Вам нужно будет продумать конкретные задачи для своих бета-тестеров и подготовить учебные материалы, которые бы помогали им пройти этот путь.
По сути, вы должны разрабатывать такие тестовые сценарии так же, как и свой onboarding-процесс. Таким образом вы убедитесь в том, что ваше бета-тестирование соответствует тому, как продукт будет использоваться в реальных условиях.
4. Подготовьте тестовые данные
Разумеется, вы также должны наладить процесс, который бы позволял вам эффективно собирать и подготавливать тестовые данные. Кроме этого, вам нужно быть уверенными в том, что используемая вами информация всегда будет оставаться конфиденциальной (особенно учитывая то, что GDPR уже вступил в силу в Европе).
5. Проведите тест
В ходе тестирования члены QA команды работают с бета-пользователями, чтобы завершить обозначенные тестовые задачи. Как только юзер достигает точки выхода, его просят оценить полученный опыт как позитивный или негативный.
Если большая часть ответов оказывается положительной, команда может уверенно двигаться вперед и выводить продукт на рынок, создав посадочную страницу, открытую уже для всех желающих. Если же это не так — разработчикам придется внедрять в продукт необходимые изменения.
Также стоит отметить, что хотя к этому моменту ваш сервис уже должен нормально функционировать, во время UAT ваши бета-тестеры могут столкнуться с непредвиденными проблемами. Если это произойдет, вам нужно будет приостановить тестирование и возобновить его после устранения неполадок.
6. Подтвердите достижение бизнес-целей
Как только бета-пользователи дадут вам положительную обратную связь, вам нужно будет подготовить документацию, которая послужит официальным сигналом для вывода вашего продукта на рынок.
Эта документация включает:
Затем эти документы представят на встрече по UAT, где будут присутствовать все заинтересованные стороны. Помимо рассмотрения самих документов, участники собрания должны будут убедиться в том, что продукт действительно готов к запуску и что закулисные бизнес-процессы компании гарантируют его стабильную работу.
Что такое пользовательское тестирование и зачем оно нужно
Наблюдение за тем, как действующие и потенциальные клиенты используют ваш продукт, позволяет получить информацию, которую не предоставит простой анализ данных.
Что такое пользовательское тестирование?
Это тип исследования, в котором тестовая аудитория будет пользоваться вашим сайтом или продуктами. Таким образом, вы сможете увидеть, что работает, а что нет.
Представьте, что у вас есть интернет-магазин, продающий одежду. С помощью системы веб-аналитики выяснилось, что процент посетителей, добавляющих товар в корзину, довольно низок. Но причину этого выяснить не удалось.
Возможно, пользователи не могут найти кнопку «Добавить в корзину», их отпугивает отсутствие информации о товаре. Тестирование пользователями позволит узнать, над чем нужно поработать!
Зачем и когда?
Результаты пользовательского тестирования следует рассматривать в сочетании с данными, полученными из систем веб-аналитики. Некоторые результаты могут быть очень очевидными, другие более сложными для понимания.
Пользовательское тестирование следует проводить на ранней стадии создания продукта. Например, когда вы разрабатываете новый сайт, можно создать промежуточный сайт для тестирования. Гораздо проще изменить что-то в дизайне, если он еще не полностью разработан.
Тем не менее, тестирование пользователями может выполнять на всех этапах жизни продукта процесса. Новое поколение аудитории может использовать ваш продукт иначе, чем постоянные пользователи.
При проведении опросов респонденты не всегда дают достоверные ответы. Тестирование позволяет выявить эти неточности
Типы пользовательского тестирования
Есть несколько распространенных моделей проведения тестирования:
С модератором
Тестовая группа и модерато собираются вместе. Когда вы тестируете сайт или программный продукт, можно выбрать тихий офис.
Удаленное тестирование с модератором
Участники тестовой группы опробуют продукт удаленно под контролем модератора. При этом он может задавать пользователям дополнительные вопросы.
Удаленное тестирование без модератора
Тестеры получат инструкции и проводят тестирование в удобное время контроля со стороны модератора. Преимущество данного варианта заключается в том, что можно легко привлечь к тестированию большое количество людей. Но для анализа результатов всех тестов потребуется много времени.
С чего начать
Перед началом тестирования:
Создайте документ, в котором перечислите все цели тестов. Это поможет выбрать правильных тестеров и разработать сценарий тестирования.
Создайте сценарии, которым тестеры будут следовать во время тестирования. В них укажите, как и какой функционал продукта должен быть опробован.
Решите, сколько тестеров нужно для проведения исследования. Определите их пол, возраст, уровень подготовки и т. д. Имейте в виду, что можно одновременно использовать различные тактики пользовательского тестирования.
Решите, когда необходимо провести тесты, и создайте соответствующий план.
Для набора тестеров используйте электронную почту, социальные сети, прямой контакт.
Когда вы набрали достаточное количество тестеров, создайте окончательный план тестирования и построения отчетности.
При проведении тестирования убедитесь, что собрали достаточно информации для построения точных отчетов.
Укажите в нем все важные выводы, показатели и уровень репрезентативности вашей группы тестеров.
На основе полученных результатов решите, нужно ли проводить дополнительное исследование.
Поделитесь результатами тестирования со своей командой. После этого внесите все необходимые изменения в продукт.
Дайте знать, что вы думаете по данной теме в комментариях. За комментарии, лайки, дизлайки, отклики, подписки низкий вам поклон!
Пожалуйста, оставляйте свои отзывы по текущей теме статьи. За комментарии, отклики, дизлайки, подписки, лайки огромное вам спасибо!
7 шагов к отличному результату – пользовательское тестирование
Главная идея тестирования состоит в том, чтобы показать проект пользователю на раннем этапе. Это позволит оценить будущие итерации и проверить предположения.
Что такое пользовательское тестирование
Пользовательское тестирование (или тестирование юзабилити) является процессом, который идентифицирует проблемы продукта. Вы находите реальных пользователей, желательно из вашей целевой аудитории, и просите их попробовать ваше детище. История этого вида тестирования началась во время второй мировой войны, когда тестировали удобство использования военной техники.
Стив Круг в книге «Не заставляйте меня думать» популяризировал юзабилити тестирование. В наше время методы тестирования стали общедоступны, выйдя за рамки военных исследований и научных лабораторий.
Зачем нужно ранее тестирование
Намного дешевле найти потенциальные проблемы на ранних этапах жизненного цикла нового продукта. Технические компании, как правило, следуют за производственным процессом, который выглядит примерно так:
Этот график представляет, как проект передается через команды по всей компании. Менеджеры по продукции определяют требования к продукту и передают их команде UX. После окончания проектирования продукт перемещается к разработчикам. Этот цикл повторяется итеративным способом, пока конечный продукт не завершен.
Разработчики, которые полагаются на интуицию и одни только предположения, должны ждать выпуска каждого цикла, чтобы измерить обратную связь, потенциально тратя впустую много ресурсов. Как только создан образец продукта, нужно получить доказательства плохого юзабилити и изменять проект. Это оказывается слишком дорого и неэффективно.
«Если вы думаете, что хороший дизайн дорого стоит, посмотрите счет за плохой» Ralf Speth
Тестирование юзабилити на прототипах было разработано как быстрое и недорогое решение для снижения некоторых из этих рисков. Вы можете проверить предположения, регулировать разработку продукта и определить направление его развития. Скрытые проблемы продукта раскрываются с использованием фактических отзывов пользователей. Тестирование юзабилити может ограничиваться искусственной тестовой средой и небольшой выборкой, но это никогда не даст тех же результатов, какие дает обратная связь с массовым пользователем. От них мы получаем реальные данные.
Используйте бесплатные инструменты
Разрабатываем программу тестирования
Шаг 1 — Определите цели тестирования
Самое важное – определить на какие вопросы вы должны получить ответы в ходе тестирования. Ищите слабые места вашего продукта, тестируйте сложные действия пользователя и другие идеи, которые могут оказаться критичными. Наличие таких вопросов поможет подобрать наиболее подходящий метод тестирования и создать план. При недостатке средств можно использовать метод тестирования под названием «Мысли вслух».
«В тесте «Мысли вслух», вы просите участников непрерывно размышлять вслух, просто выражая словами их мысли, когда они пользуются интерфейсом» — Jakob Nielsen
Шаг 2 — Создайте сценарий
Здравствуйте! Меня зовут Алексей, и я буду сопровождать ваше тестирование. Спасибо за то, что нашли время поучаствовать в тестировании, Ваш отзыв очень ценен. Прежде чем мы начнем, я хотел бы прояснить несколько пунктов.
После идентификации целей исследования, определенных на предыдущем этапе, я проведу обсуждение некоторых вопросов по темам:
Фон/Контекст — «Как обычно вы создаете сайты? Вы используете приложения или сервисы?»
Ожидания — «Прежде, чем нажать кнопку поиска, чего вы ожидаете, что должно произойти?»
Юзабилити — «Как эту область лучше всего использовать?»
Шкала оценки — «Как сложно(1) или легко(5) создать форму в редакторе?»
Если ваш продукт сложен, расставьте приоритеты в вопросах и проведите многократные сеансы тестирования. Рассчитывайте, что для сеанса 20–30 минут используется 1–2 вопроса и 3–5 задач. Обращайте внимание на формулировки и избегайте наводящих вопросов, чтобы исключить влияние на поведение пользователя. Например, «Как вы прокручиваете страницу, чтобы видеть больше контента?» предполагает, что можно прокрутить. Лучше спросить «На странице есть еще контент? Как его можно увидеть?»
Шаг 3 — Создайте каркас и прототип
Каркас должен фокусироваться в меньшей степени на зрительном ряде и в большей на расположении элементов. Если вы используете программу для создания прототипа на основании визуальных каркасов, используйте их. С помощью платформы PIXLI можно пропустить этот шаг и сразу создать интерактивный прототип с визуализацией элементов. Общее правило состоит в том, чтобы создать высокоточные мокапы после проверки корректности основных пользовательских потоков, а не до них.
На этом этапе ваш прототип должен соответствовать вопросам, которые вы поставили. Если первая задача звучит как «Как вы авторизуетесь в системе?», то прототип должен демонстрировать доступ к форме и саму форму авторизации.
Если вторая задача – «Как вы создаете сайт на основании шаблона в редакторе», то где-то должен присутствовать переход к созданию сайта на основе шаблонов и возможность их выбора. Обратите внимание, где пользователи ищут путь решения задачи. Это и есть цель тестирования.
Шаг 4 — Поиск пользователей
Определитесь с целевой аудиторией. Если на тестирование выделили бюджет, обеспечьте стимулы для пользователей. Например, Google или Airbnb обычно стимулируют пользователей, предлагают подарочную карту. Если бюджет отсутствует, воспользуйтесь следующими подсказками.
Если у вас уже есть пользователи
Идентифицируйте людей, которые активно используют ваш продукт и отправьте сообщение по электронной почте. Предложите им поучаствовать с целью дальнейшего развития продукта. Сообщите, что будете учитывать все мнения и результаты тестирования. Легкий подхалимаж не помешает. Пользователь даст обратную связь, если он лично заинтересован в вашем продукте – ваш успех это его успех. Если пользователь не заинтересован, объясните, какую продукт приносит пользу или как решает его проблему.
Если у вас нет пользователей
Найдите места, где собирается ваша целевая аудитория лично или онлайн. Ищите форумы, группы в соцсетях, клубы и т.д. И отправьте сообщение, например:
«Здравствуйте, Андрей! Я разработчик платформы для web-дизайна PIXLI. По сообщениям на форуме я обратил внимание, что вы активно используете конструкторы для создания сайтов. Не могли бы Вы уделить полчаса на тестирование нашего продукта? Если да, то сообщите о наиболее удобном для Вас времени».
Если это не работает, расширьте зону поиска пользователей или обеспечьте маленькие стимулы. Например, можно предложить увеличить тестовый период пользования платформой, или расширить бесплатный функционал. Искать пользователей для тестирования трудно, если бюджет отсутствует.
Сколько пользователей должны участвовать в тестировании?
3–5 пользователей за один сеанс достаточно, чтобы увидеть большинство проблем. Если вам необходимо большее число пользователей, увеличьте количество сеансов.
Шаг 5 — Создайте подходящую обстановку для тестирования
Личные сеансы тестирования лучше проводить в тишине. Например, выделите комнату в своем офисе. Кафе тоже является неплохим вариантом, но там может быть шумно – это мешает. Следите за отсутствием отвлекающих факторов. Или постарайтесь их минимизировать. Если вы назначили встречу в кафе, лучше выбрать время, когда там не собирается полсотни служащих соседнего офисного центра на обед.
Удаленные сеансы проще организовать – пользователь находится в комфортной и привычной обстановке. Однако могут происходить технические сбои и надо иметь запасные возможности. Например, быстро сменить клиента для связи.
Всегда проводите пробный прогон!
Как следует проверьте свой прототип, доступ к нему. Прогоните сначала свой сценарий сами, чтобы еще раз все детализировать и уточнить.
Шаг 6 — Подготовка сеанса
Электронные письма-напоминания полезны, чтобы уменьшить неявки. Сообщите, в течение какого времени вы будете ожидать пользователя.
Записывайте высказывания пользователя на аудио, а потом их анализируйте. Видео и аудио позволят увидеть все действия и услышать «мысли вслух» по поводу их выполнения. Особенно те, которые отклоняются от заданного поведения. Обязательно предупредите пользователя, что его действия будут фиксироваться.
Шаг 7 — Анализируйте ключевые результаты
Пересмотрите, протестируйте, повторитесь
Пользовательское тестирование даст вам направление для движения дальше. Продукт запускается в разработку, когда решены проблемы юзабилити и общая обратная связь положительна. Если обратная связь нейтральна или отрицательна, или УТП для пользователя не определено четко, следует пересмотреть прототип и выполнить тестирование еще раз.
____________________ __________ __________ __________ __________ __________
Материал создан агентством контент-маркетинга Текстотека.
Хотите самостоятельно внедрить контент-маркетинг в свой бизнес? Подписывайтесь на наше сообщество ВКонтакте, там много бесплатного обучающего материала.