Lesson 114

Пыщ-пыщ!
Посоветуйте книг и годных коротких сериалов по типу "17 мгновений весны", "Homeland" или там "Свет вечный".

Слово Канеру:

Тестовые инструменты это детская коляска

Тестировщики возмущаются, когда тестовые инструменты, которые они приобрели за серьезные деньги, сами полны баг. Действительно, тестовые инструменты часто забагованней, чем аналогичные более дешевые средства разработки. Запланируйте проверку инструментов тестирования и потратьте время на поиск обходных путей их ошибок.

Некоторые инструменты спроектированы для поддержки тестирования конкретных компонент технологий. Невозможность проверки таких компонент ведет к еще одному источнику ошибок измерительного прибора.
- Программисты инструмента тестирования должны ждать, пока тестируемая технология станет доступна
- Затем они должны провести реинженеринг технологии, чтоб выяснить, как добавить в нее поддержку тестируемости.
- За это время программисты вашего продукета начинают пользоваться новыми технологиями. А вы разочарованы тем, что вендор инструмента тестирования еще не выпустил необходимое обновление инструмента. Вендор проходит серьезные испытания, чтоб поставить инструмент вам тогда, когда это нужно.
- Сюрприз! Результат авральной работы полон ошибок.

Этот цикл будет повторяться вечно, до тех пор, пока для тестируемости будет необходим реинженеринг технологии. Мы надеемся и слышим обещания улучшений, но трудно сказать, когда это начнет происходить. Это проблемы отрасли.

Тестовые инструменты часто страдают от ошибок в сторонних компонентах. Один из нас, Pettichord, работает с инструментом, работающим нестабильно. События мыши иногда не генерируются. В конце концов, мы отследили ошибку до бага в драйвере операционной системе. Эта нестабильность воспроизводилась и без инструмента. Почему ручной тестировщик не смог найти это? Потому что он бы и не заметил, что случайное движение мышью не произошло. А если бы заметили, то обвинили бы драйвер мыши или себя. Мы сообщили о вине операционной системы поставщикам, которые отнеслись равнодушно. Серьезное влияние на проверяемость не было критичным. Мы, в конечном счете, обошли проблемы, используя другой драйвер мыши. Bob Johnson сообщает о аналогичных проблемах с использованием различных технологий: «Драйвер мыши не играл никакой роли в тестировании нашего приложения, но мы должны были отслеживать эту проблему и в нашем случае это заняло несколько дней, тестировщиков и разработчиков». Вот несколько тысяч долларов скрытых расходов на автоматизацию.

Другие инструменты могут повлиять на тестируемый продукт настолько, что сделают его непригодным для использования. Инструменты подсчета покрытия и мониторинга памяти занимают место в памяти. Такие инструменты могут замедлить ваш продукт до такой степени, что вы не сможете проверить его.

Так как тестовые инструменты имеют настолько плохую репутацию, ваши программисты, скорее всего, требуют, чтоб вы воспроизводили каждый дефект найденный автоматизированными тестами вручную, до того, как принять его всерьез. Это добавляет сложности в анализ сбоев автоматизированных тестов.