Lesson 280

Программист и менеджер.

П: Я буду эти тесты писать четыре дня, долго.
М: Все равно пиши.
П: Что важнее, тесты или функциональность?
М: Тесты. Так как функциональность без тестов — не работает, а значит вредна.

Несмотря на то, что тесты без функциональности это, конечно, ноль, функциональность без тестов (в контексте = не работающая) величина явно отрицательная.
Дискас?

Слово Канеру

Как могут лгать тест-кейсы

Если вы соберете все портфели в компании и сложите в кучу, вы ничего не узнаете о том, что внутри них. У вас есть 37 портфелей, они вместе весят 384 фунта, что это говорит о будущем компании? Ничего. Тем не менее, их содержание может иметь большое значение для вас. Вопрос решить можно только открыв портфели и разложив содержимое по полкам.

Тест-кейсы как портфели. Их подсчет без учета содержания ничего не говорит. Подсчет соотношения проходящих и падающих тестов тоже ничего не говорит: 90% тестов проходят, это хорошо или ужасно? Никто не ответит, не зная содержания тестов. Вычисление соотношения запланированных и написаных кейсов также ничего не говорит, может быть самое важное отложено на потом и последние 10% займут половину времени для создания. Или может случиться, что общее количество запланированных тестов недостаточно для покрытия рисков.

Иногда менеджеры тестирования согласны с этим, но они чувствуют, что у них нет альтернатив. Альтернатива есть: ничего. Гораздо лучше знать мало и иметь дело с реальностью, чем знать мало и притворяться, что знаешь много. Есть и еще одна альтернатива: разговор о рисках и покрытии. Другими словами — обсудить содержание тестов.
Тестировщики, использующие непонятные, неизмеримые метрики для тестов для объяснения объема тестирования клиентам вольно или невольно обманывают их.

Johanna Rothman считает нашу позицию по этому поводу слишком экстремальной. Она пишет: «У нас есть еще одна альтернатива. Например, если количество прошедших тестов уменьшилось с 98% до 30% в начале проекта, тор вы должны беспокоиться? Скорее всего нет. Но, если вы за неделю до беты или запуска продукта, то да, вам стоит беспокоиться. Почему? В начале проекта вы вообще не будете проводить многие тесты. Но в конце проекта вам придется провести большую часть испытаний, если не все. Можно использовать эти цифры, чтоб обсудить проблемы, например, нехватки ресурсов. Вы могли бы использовать эти данные, чтоб объяснить вашу озабоченность.»

Jeff Bleiberg пишет: «Как правило, есть необходимость обеспечить прозрачность процесса тестирования. Этому помогут метрики. Но, независимо от того, насколько они «надежны» и «говорят сами за себя» люди будут понимать их неправильно. Одно из моих правил состоит в том, что я не распостраняю свои отчеты и веду записи встреч, в которых отражаю значение метрик.»