Про двух тестировщиков

Про этот пост - читайте тэги.

Теперь - к делу.
Макс Дорофеев любит  модели. Моделей он, наверное, тоже любит. но вот именно модели он обожает. Они не только описывают реальность, но их еще можно обсчитать чиселками и сделать интересные выводы.

Чем я хуже? Не далее, как сегодня, мы в паре с Настей тестировали продукт и я отметил наш весьма разный стиль работы.
На схеме 2х2 я бы изобразил так:

Очевидно, это не общая по больнице картина и показывает лишь то, как мы работаем друг относительно друга.
Но интересно стало посчитать...

Ну вот представьте:
У нас есть продукт, состоящий из 100%. В нем 20% важных фич и 80% неважных.

Первый тестировщик перед релизом плохо (50% вероятность нахождения бага) поверит 10% из 20% (половину) важных фич и 60% из 80% неважных. Остальное пропустит.
Второй хорошо (80%) проверит все 20% важных и всего 10% неважных. Остальное не успеет.

Допустим, в каждых 5% продукта есть баг. То есть 4 критикала и 16 миноров.

Тогда получается, что:




Первый найдет 1 важный баг и 6 неважных.
А второй найдет 3,2 важных бага и 1,6 неважных.

А более честная метрика - сколько пропустят?
Первый - 3 важных и 10 неважных.
Второй - 1 важный и 14,4 неважных.

Очевидно, надо брать Настю второго, а меня первого уволить.
Пытаясь оправдаться, я подумал, что в жизни вероятности нахождения багов немного другие. И вообще тянет поиграть с цифрами.
Потому создал табличку:
https://yadi.sk/i/NsBH5ruhcnSSq

Игры с цифрами не помогают, как ни крути. правильный ответ - медленно тестировать важные фичи.