Намедни поставили задачу - составить набор простых вопросов признаков, по которым можно получить как можно больше полезной информации о уровне автоматизации тестирования в команде, степени участия в ней тестировщиков и качестве самой автоматизации.
Получился достаточно большой опросник, представляю его вашему вниманию. Попытался сам честно ответить на все вопросы для своего проекта. Там, где чаще да, чем нет - отвечал да.
Ваши версии? Ваши предложения? Буду пополнять или менять список.
Процесс
Ручное тестирование проходит на версии приложения с зелеными тестами (ручная работа применяется ПОСЛЕ автоматизации) - да
Наблюдает за результатами прохождения тестов тот, кто будет чинить приложение и тесты. - да
Тестировщики пишут недостающие кейсы для полного набора автоматизации тестирования фичи (неважно, кто при этом пишет сами тесты, тестеры или разрабы) - да
Весь объем тестов по фиче пишется до релиза - да
Весь объем тестов по фиче пишется до вливания фичи в общий код - да
Релиз происходит при условии 100% зеленых тестов (либо каждый(!) упавший тест проверяется вручную) - да
Существует ветка, в которую заливается код и в которой больше 50% сборок со 100% зелеными тестами - нет
Тестировщики регулярно проводят ревью кода приложения - нет
Тестировщики регулярно проводят ревью кода тестов - да
Разработчики пишут unit тесты - да
Разработчики пишут тесты на поднятом приложении без использования GUI - да
Разработчики пишут тесты на поднятом приложении с использованием GUI - да
Тестировщики пишут unit тесты - да
Тестировщики пишут тесты на поднятом приложении без использования GUI - да
Тестировщики пишут тесты на поднятом приложении с использованием GUI - да
План изменений в процессе и архитектуре автоматизации существует в виде артефакта - нет
Хотфиксы(срочное исправление, проходящее через процесс тестирования) случаются раз в полгода - да
Хотфиксы случаются раз в месяц - да
Хотфиксы случаются раз в неделю - нет
Хотфиксы случаются раз в день - нет
Факапы(срочное исправление, НЕ проходящее через процесс тестирования) случаются раз в полгода - да
Факапы случаются раз в месяц - да
Факапы случаются раз в неделю - нет
Факапы случаются раз в день - нет
Техника
Все тесты проходят за сутки с момента запуска (при условии наличия очереди) - да
Все тесты проходят за 4 часа с момента запуска (при условии наличия очереди) - нет
Все тесты проходят за час с момента запуска (при условии наличия очереди) - нет
Используется современная cvs: git или mercurial - да
Юнит тестов больше, чем тестов на поднятом приложении без использования GUI - нет
Тестов на поднятом приложении без использования GUI больше, чем тестов с использованием GUI - да
Релизы новой функциональности происходят раз в неделю - да
Релизы новой функциональности происходят раз в день - нет
Релизы новой функциональности происходят чаще раза в день - нет
Сборка стенда на ветке происходит по 1й кнопке - да
Регулярно, автоматически (по коммитам) происходит сборка проекта в определенной ветке - да
Регулярно, автоматически (по коммитам, если проект компилируется) идут тесты на проект в определенной ветке - да
Регулярно, автоматически (по коммитам, если прошли тесты) происходит релиз приложения в бой - нет
Тестировщики могут и при необходимости чинят приложение - нет
Тестировщики могут и при необходимости чинят тесты - да
Тестировщики могут и при необходимости проводят настройку инфраструктуры - да