Четвертая городская сессия тестирования

И первая, которую делал не я.
И первая, в которой я принимал участие.
Отчет на сайте  UTC.
Коротко, мое мнение:

Акелла не промахнулся.

 А теперь позволю себе процитировать организатора сессии - Юру Рягина, дальше - его текст.

О тест-сессиях

Думаю, можно смело сказать, что в сообществе тестировщиков Екатеринбурга в последние годы зародилась некая новая традиция - традиция проводить городскую сессию тестирования. Такая тест-сессия представляет собой соревнование, в котором активные представители сообщества тестировщиков нашего города целый день "меряются силами", тестируя предложенный на тест-сессии продукт. Городские тест-сессии в г. Екатеринбурге проводятся с 2013 года и организуются примерно раз в год различными компаниями. Так, например, в 2013 году тест-сессия была организована Максимом Захаровым (Naumen) и Антоном Андреевым (E96) при поддержке от СКБ Контура (продукт был предоставлен порталом E96), в 2014 году Максимом Захаровым (Яндекс) и при поддержке от Яндекса (тестировался также продукт Яндекса - Мастер), в 2015 году - Оксаной Валишиной (СКБ Контур) и Максимом Захаровым (СКБ Контур) при поддержке СКБ Контура (Тестировался продукт "Стафф" от СКБ Конутр). Лично я принимал участие в двух. На каждом таком мероприятии были новые лица и новые правила, на каждое мероприятие приходило очень много разных интересных людей, и каждая сессия давала новую пищу для размышления как участникам, так и организаторам.

Об организации

Участие в тест-сессиях принесло мне кучу положительных эмоций, новых вызовов в развитии себя в направлении тестирования и многое другое (ну и мне ещё удалось оказаться среди призеров данного мероприятия, что, конечно, было по-особенному приятно. После тест-сессии в декабре 2015 года у меня зародилась мысль - "а почему бы не организовать данное мероприятие самому и провести его от имени нашей компании?". Соответственно, цель была поставлена... оставалось только найти подходящий продукт, определиться с временем проведения и заручиться поддержкой руководства. В мае 2016 года ко мне обратились Алексей Смирнов и Александр Ложкин с задачей: «Юра! У нас есть новый продукт, пора бы его начать тестировать!». Тут же мне вспомнилась моя идея о проведении тест-сессии, и мы с коллегами, заручившись поддержкой руководителя проекта (Алексея Смирнова), начали планомерную подготовку к ЧЕТВЕРТОЙ ГОРОДСКОЙ СЕССИИ ТЕСТИРОВАНИЯ от «Группы Компаний Экстрим». Процесс подготовки описывать, пожалуй, не буду. Хочу сказать отдельное спасибо Максиму Захарову и Оксане Валишиной за то, что поделились своим опытом в проведении предыдущих тест-сессий. Без этого опыта мероприятие бы получилось не таким, каким оно получилось. А также нашему генеральному директору Максиму Сереброву, который взял на себя все вопросы, связанные с оплатой аренды помещения и других важных деталей мероприятия.

Как всё было

Итак, день: 2 июля 2016 года. Место: "Коворкинг Соль". Участие приняли 27 участников и 11 организаторов. Всех участников на входе встречали волонтеры, выдавали бейджики, ручки и блокноты, направляли и рассказывали, что, собственно, нужно дальше делать. После того как все "опоздуны" подошли, мы начали делить участников на команды. Итого получилось 14 команд:

1. "#1": Швецова Ксения (ГК Экстрим), Суханова Наталья (Netelement),
2. "ТСЖ Багхантеры": Денисламова Динара (Naumen), Сабиров Евгений (ГК Хост),
3. "SashaTest": Лескина Александра (Naumen), Турыгина Александра (СКБ Контур),
4. Комиссарова Анастасия (Naumen), Платонова Наталья (Сбербанк-Технологии),
5. Ярунова Галина (ГК Экстрим), Беглецов Владимир (Сбербанк-Технологии),
6. Мотина Наталья (Naumen), Шутов Борис (Яндекс),
7. "Dream Team": Подрезова Виктория (ГК Экстрим), Пироженко Валерия (Naumen),
8. Клёнова Галина (Naumen), Ушакова Наталья (не пришла),
9. "Test-n-Roll": Буторин Василий (НПО автоматики), Черемных Татьяна (Netlabsystems),
10. Кадочников Игорь (ГК Экстрим), Баянов Илья (ГК Экстрим) - команда из службы технической поддержки компании организатора,
11. "Сачки1337": Коткова Юлия (Naumen), Плетнёв Степан (Прософт Биометрикс),
12. "Двадцать седьмые" : Куликов Илья (ГК Экстрим), Захаров Максим (СКБ Контур),
13. "Explosion": Рыбасова Ангелина (Naumen), Рощупкин Виталий (СКБ Контур),
14. Ахметов Денис (Яндекс), Небова Полина (i-link консалтинг).

Как видно из состава команд, большинство участников было из Naumen'a (целых 8 человек). А вот из СКБ Контура было всего трое человек, а все потому, что в этот день у них был летний праздник. После того, как все участники были распределены по командам, началась вводная по продукту, который предстояло протестировать. В этот раз на тест-сессию был предложен продукт из сферы ЖКХ под названием РГИС (Региональная информационная система ЖКХ) под брендом Эльпас. Указанный продукт является довольно специфичным, поэтому вводная о нем получилась достаточно подробной и объемной. В частности были озвучены ответы на вопросы о том "Зачем?", "Почему?" и "Как?". Под конец рассказа о нашем продукте многие утомились, а другие были в шоке. После рассказа о продукте были оглашены правила мероприятия, список специальных багов в тестируемой системе - "Пасхалок" (да-да, они были сделаны специально для мероприятия), информация о том, как добраться до необходимых материалов (например, до аналитики), а также озвучена система начисления очков. В тестируемом приложении было несколько "точек входа". Т.е. тестировать можно было не только GUI приложения, а также загрузку данных через файлы (FILE) и взаимодействие через REST API. Поэтому для начисления очков использовалась следующая незамысловатая система: Для заведения багов был подготовлен специальный проект в нашем баг-трекере: Все инструкции получены, откладывать больше нечего. Поэтому настал час "X" и всем была дана команда "На старт! Внимание! Марш!". Все команды ринулись в бой, а разработчики начали яростно отбиваться от приходящих багов. Два часа пролетели незаметно, после чего настал обед, где все участники мероприятия решили подкрепиться перед второй частью мероприятия. Во второй части тест-сессии участники перешли от тестирования GUI к более сложным вещам, связанным с REST API и XML/XSD. Менторы мероприятия только и успевали бегать от одной команды к другой и отвечать на поставленные вопросы (а некоторые даже так устали, что решили немножечко отдохнуть на диванчике). Вторая часть тест-сессии длилась почти 3 часа. В то время, пока жюри подсчитывало количество очков каждой команд, решено было пообщаться и обсудить прошедшее мероприятие. Все из участников мероприятия успели познакомиться поближе, узнать кто чем занимается и посмотреть на общую статистику по мероприятию, а так же посмотреть на специальные баги. А там было на что посмотреть.

Итоги

А вот и "статистика" по прошедшему мероприятию.

• Всего найдено 301 баг, из них:
  • 202 принято,
  • 92 отвергнуто,
  • 7 "Пасхалок".
• Всего 202 бага, из них по приоритетам:
  • 7 с типом "Blocker",
  • 19 c типом "Critical",
  • 43 с типом "Major",
  • 69 c типом "Minor",
  • 64 с типом "Trivial".
• Всего 202 бага, из них по "точкам входа" в приложение:
  • 189 в GUI,
  • 13 в FILE,
  • 0 в API.

Всего в реальном баг-трекере проекта заведено 52 бага/таска (критичность при переносе была дополнительно пересмотрена), при этом часть багов было сгруппировано (например баги связанные с версткой объединены в один баг/таск). Примерное количество уникальных багов - 110 штук. Призы уже были готовы увидеть своих победителей, оставались лишь считанные минуты для оглашения результатов тест-сессии по продукту РГИС. Собственно итоги (прошу прощения у тех кого я утомил столь долгим текстом). Победителями четвертой городской сессии тестирования стали: Первое место: Команда "Двадцать седьмые": Илья Куликов (ГК Экстрим), Максим Захаров (СКБ Контур) - 96 очков. Второе место: Команда "Сачки1337": Коткова Юлия (Naumen), Плетнёв Степан (Прософт-Биометрикс) - 72,5 очка. Третье место: Команда "Explosion": Рыбасова Ангелина (Naumen), Рощупкин Виталий (СКБ Контур) - 72 очка. Итоговую таблицу со всеми командами можно найти тут. И заключительное фото со всеми участниками и организаторами. Всем участникам и организаторам ещё раз большое спасибо! Отдельное спасибо Евгении Азановой (Naumen) за фоторепортаж (все фото можно посмотреть тут).   PPS. Все найденные баги в ближайшее время будут взяты в работу и устранены! Через 1-1.5 месяца ожидается дополнительный отчет, насколько тест-сессия помогла данному продукту при внедрении.