Lesson 105

Сегодня была прекрасная возможность сказать А я предупрежда-а-ал!

Сказал, не так приятно, как хотелось бы. Но лучше, чем ничего.

Слово Канеру:

Не требуйте 100% автоматизации.

Некоторые менеджеры по разработке ПО страдают от заблуждения, что автоматизированное — всегда лучшее тестирование и они требуют, чтоб все тесты были автоматизированы. От таких требований пострадали многие проекты.

Если у вас доверчивый менеджер или руководитель, то, возможно, вы или другой старший тестировщик должны быть вместе с ним, когда он смотрит демо последних инструментов тестирования или слушает лекцию о серебряных пулях в методологии тестирования.

Будь скептически настроен, когда консультант или продавец инструмента автоматизации рассказывает тебе о ведущих компаниях, достигших 100% автоматизации. Требуй доказательств. Многие ведущие компании успешно используют сочетания методов тестирования, в том числе однократное минимально документируемое исследовательское тестирование. И оно должно быть. Автоматизация обычно означает запуск небольшого количества тестов как можно чаще. Многие тесты стоят того, чтоб их провести только один раз.

Другой миф, который нужно развеять — тестирование происходит по нажатию кнопки и автоматически сообщает о любых ошибках, которые были обнаружены. Продавцы инструментов, предлагающие интеграцию между их тестами и системой отслеживания ошибок поощряют эту безответственную фантазию. Мы никогда не видели подобного тестирования, отчетности и трекинга дефектов. Если у вас нет людей для анализа ошибок перед сообщением о них, то вы будете тратить время программистов и вынудите их восстать. Они будут против продирания через множество ложных и дубликатов.

Тем не менее, разумной целью может стать создание обширного и качественного автоматизированного набора тестов в следующих случаях:
- По договорным или нормам вы должны показать, что финальная версия продукта прошла все тесты.
- Вы поставляете тесты вместе с вашим продуктом, с которым далее клиенты работают самостоятельно (такая практика распространена в отрасли коммуникаций).
- Ваш продукт имеет жесткие требования к обеспечению обратной совместимости, для большого количества версий.
- Единственный путь, которым вы сможете протестировать продукт — написание программ для тестирования.

Однако и в этих случаях, мы считаем, что тестировщики всегда должны иметь возможность для неофициального ручного тестирования или прогона одноразовых, недокументируемых тестов. Не ставьте искусственные ограничения тестированию.