вторник, 12 июля 2016 г.

Четвертая городская сессия тестирования

И первая, которую делал не я.
И первая, в которой я принимал участие.
Отчет на сайте  UTC.
Коротко, мое мнение:
Акелла не промахнулся.
 А теперь позволю себе процитировать организатора сессии - Юру Рягина, дальше - его текст.


Четвертая городская сессия тестирования

О тест-сессиях

Думаю, можно смело сказать, что в сообществе тестировщиков Екатеринбурга в последние годы зародилась некая новая традиция - традиция проводить городскую сессию тестирования. Такая тест-сессия представляет собой соревнование, в котором активные представители сообщества тестировщиков нашего города целый день "меряются силами", тестируя предложенный на тест-сессии продукт. Городские тест-сессии в г. Екатеринбурге проводятся с 2013 года и организуются примерно раз в год различными компаниями. Так, например, в 2013 году тест-сессия была организована Максимом Захаровым (Naumen) и Антоном Андреевым (E96) при поддержке от СКБ Контура (продукт был предоставлен порталом E96), в 2014 году Максимом Захаровым (Яндекс) и при поддержке от Яндекса (тестировался также продукт Яндекса - Мастер), в 2015 году - Оксаной Валишиной (СКБ Контур) и Максимом Захаровым (СКБ Контур) при поддержке СКБ Контура (Тестировался продукт "Стафф" от СКБ Конутр). Лично я принимал участие в двух. На каждом таком мероприятии были новые лица и новые правила, на каждое мероприятие приходило очень много разных интересных людей, и каждая сессия давала новую пищу для размышления как участникам, так и организаторам.

Об организации

Участие в тест-сессиях принесло мне кучу положительных эмоций, новых вызовов в развитии себя в направлении тестирования и многое другое (ну и мне ещё удалось оказаться среди призеров данного мероприятия, что, конечно, было по-особенному приятно. После тест-сессии в декабре 2015 года у меня зародилась мысль - "а почему бы не организовать данное мероприятие самому и провести его от имени нашей компании?". Соответственно, цель была поставлена... оставалось только найти подходящий продукт, определиться с временем проведения и заручиться поддержкой руководства. В мае 2016 года ко мне обратились Алексей Смирнов и Александр Ложкин с задачей: «Юра! У нас есть новый продукт, пора бы его начать тестировать!». Тут же мне вспомнилась моя идея о проведении тест-сессии, и мы с коллегами, заручившись поддержкой руководителя проекта (Алексея Смирнова), начали планомерную подготовку к ЧЕТВЕРТОЙ ГОРОДСКОЙ СЕССИИ ТЕСТИРОВАНИЯ от «Группы Компаний Экстрим». Процесс подготовки описывать, пожалуй, не буду. Хочу сказать отдельное спасибо Максиму Захарову и Оксане Валишиной за то, что поделились своим опытом в проведении предыдущих тест-сессий. Без этого опыта мероприятие бы получилось не таким, каким оно получилось. А также нашему генеральному директору Максиму Сереброву, который взял на себя все вопросы, связанные с оплатой аренды помещения и других важных деталей мероприятия.

Как всё было

Итак, день: 2 июля 2016 года. Место: "Коворкинг Соль". Четвертая городская сессия тестирования Четвертая городская сессия тестирования Участие приняли 27 участников и 11 организаторов. Всех участников на входе встречали волонтеры, выдавали бейджики, ручки и блокноты, направляли и рассказывали, что, собственно, нужно дальше делать. Четвертая городская сессия тестирования Четвертая городская сессия тестирования После того как все "опоздуны" подошли, мы начали делить участников на команды. Итого получилось 14 команд:
  1. "#1": Швецова Ксения (ГК Экстрим), Суханова Наталья (Netelement),
  2. "ТСЖ Багхантеры": Денисламова Динара (Naumen), Сабиров Евгений (ГК Хост),
  3. "SashaTest": Лескина Александра (Naumen), Турыгина Александра (СКБ Контур),
  4. Комиссарова Анастасия (Naumen), Платонова Наталья (Сбербанк-Технологии),
  5. Ярунова Галина (ГК Экстрим), Беглецов Владимир (Сбербанк-Технологии),
  6. Мотина Наталья (Naumen), Шутов Борис (Яндекс),
  7. "Dream Team": Подрезова Виктория (ГК Экстрим), Пироженко Валерия (Naumen),
  8. Клёнова Галина (Naumen), Ушакова Наталья (не пришла),
  9. "Test-n-Roll": Буторин Василий (НПО автоматики), Черемных Татьяна (Netlabsystems),
  10. Кадочников Игорь (ГК Экстрим), Баянов Илья (ГК Экстрим) - команда из службы технической поддержки компании организатора,
  11. "Сачки1337": Коткова Юлия (Naumen), Плетнёв Степан (Прософт Биометрикс),
  12. "Двадцать седьмые" : Куликов Илья (ГК Экстрим), Захаров Максим (СКБ Контур),
  13. "Explosion": Рыбасова Ангелина (Naumen), Рощупкин Виталий (СКБ Контур),
  14. Ахметов Денис (Яндекс), Небова Полина (i-link консалтинг).
Как видно из состава команд, большинство участников было из Naumen'a (целых 8 человек). А вот из СКБ Контура было всего трое человек, а все потому, что в этот день у них был летний праздник. После того, как все участники были распределены по командам, началась вводная по продукту, который предстояло протестировать. В этот раз на тест-сессию был предложен продукт из сферы ЖКХ под названием РГИС (Региональная информационная система ЖКХ) под брендом Эльпас. Указанный продукт является довольно специфичным, поэтому вводная о нем получилась достаточно подробной и объемной. В частности были озвучены ответы на вопросы о том "Зачем?", "Почему?" и "Как?". Под конец рассказа о нашем продукте многие утомились, а другие были в шоке. Четвертая городская сессия тестирования После рассказа о продукте были оглашены правила мероприятия, список специальных багов в тестируемой системе - "Пасхалок" (да-да, они были сделаны специально для мероприятия), информация о том, как добраться до необходимых материалов (например, до аналитики), а также озвучена система начисления очков. В тестируемом приложении было несколько "точек входа". Т.е. тестировать можно было не только GUI приложения, а также загрузку данных через файлы (FILE) и взаимодействие через REST API. Поэтому для начисления очков использовалась следующая незамысловатая система: Для заведения багов был подготовлен специальный проект в нашем баг-трекере: Все инструкции получены, откладывать больше нечего. Поэтому настал час "X" и всем была дана команда "На старт! Внимание! Марш!". Все команды ринулись в бой, а разработчики начали яростно отбиваться от приходящих багов. Четвертая городская сессия тестирования Четвертая городская сессия тестирования Четвертая городская сессия тестирования Четвертая городская сессия тестирования Два часа пролетели незаметно, после чего настал обед, где все участники мероприятия решили подкрепиться перед второй частью мероприятия. Четвертая городская сессия тестирования Во второй части тест-сессии участники перешли от тестирования GUI к более сложным вещам, связанным с REST API и XML/XSD. Менторы мероприятия только и успевали бегать от одной команды к другой и отвечать на поставленные вопросы (а некоторые даже так устали, что решили немножечко отдохнуть на диванчике). Вторая часть тест-сессии длилась почти 3 часа. В то время, пока жюри подсчитывало количество очков каждой команд, решено было пообщаться и обсудить прошедшее мероприятие. Все из участников мероприятия успели познакомиться поближе, узнать кто чем занимается и посмотреть на общую статистику по мероприятию, а так же посмотреть на специальные баги. А там было на что посмотреть. Четвертая городская сессия тестирования Четвертая городская сессия тестирования Четвертая городская сессия тестирования

Итоги

А вот и "статистика" по прошедшему мероприятию.
  • Всего найдено 301 баг, из них:
    • 202 принято,
    • 92 отвергнуто,
    • 7 "Пасхалок".
  • Всего 202 бага, из них по приоритетам:
    • 7 с типом "Blocker",
    • 19 c типом "Critical",
    • 43 с типом "Major",
    • 69 c типом "Minor",
    • 64 с типом "Trivial".
  • Всего 202 бага, из них по "точкам входа" в приложение:
    • 189 в GUI,
    • 13 в FILE,
    • 0 в API.
Всего в реальном баг-трекере проекта заведено 52 бага/таска (критичность при переносе была дополнительно пересмотрена), при этом часть багов было сгруппировано (например баги связанные с версткой объединены в один баг/таск). Примерное количество уникальных багов - 110 штук. Призы уже были готовы увидеть своих победителей, оставались лишь считанные минуты для оглашения результатов тест-сессии по продукту РГИС. Четвертая городская сессия тестирования Собственно итоги (прошу прощения у тех кого я утомил столь долгим текстом). Победителями четвертой городской сессии тестирования стали: Первое место: Команда "Двадцать седьмые": Илья Куликов (ГК Экстрим), Максим Захаров (СКБ Контур) - 96 очков. Четвертая городская сессия тестирования Второе место: Команда "Сачки1337": Коткова Юлия (Naumen), Плетнёв Степан (Прософт-Биометрикс) - 72,5 очка. Четвертая городская сессия тестирования Третье место: Команда "Explosion": Рыбасова Ангелина (Naumen), Рощупкин Виталий (СКБ Контур) - 72 очка. Четвертая городская сессия тестирования Итоговую таблицу со всеми командами можно найти тут. И заключительное фото со всеми участниками и организаторами. Четвертая городская сессия тестирования Всем участникам и организаторам ещё раз большое спасибо! Отдельное спасибо Евгении Азановой (Naumen) за фоторепортаж (все фото можно посмотреть тут).   PPS. Все найденные баги в ближайшее время будут взяты в работу и устранены! Через 1-1.5 месяца ожидается дополнительный отчет, насколько тест-сессия помогла данному продукту при внедрении.

Комментариев нет:

Отправить комментарий