пятница, 13 декабря 2019 г.

Гейзенбаг 2019

Было интересно.

Ирина Рубченко, Тинькофф — автоматизация отдела автоматизации

Инструмент для записи тест-кейсов на естественном языке с кликов тестировщика, генерация из этих тест-кейсов кода тестов. Начало — 20 тестов, цель — 1000. Отдел автоматизации не общается с тестерами и разрабами. Код тестов не хранят, генерят на лету с тестов. WAT. TestRail, и убивается версионирование.

Эмоции от доклада: дорого, жуть, работа обезьянки. Сделали проблему, теперь решают. Нестабильность — десятки процентов, очень плохо.

Александр Воробей, Тинькофф — тестирование микрофронтенда

В начале дал неправильное определение микросервисам (микросервис = отдельный репозиторий, ага. конечно). Затем хорошо и по делу, полезно для инфраструктуры фронтенда, нужно послушать. Говорил слова JEST, Puppeteer, Storybook.

Артём Ерошенко, Qameta Software — визуализация покрытия

  • 15 000 тестов — на 50% больше, чем в команде, с которой я буду сравнивать дальше.
  • 97% стабильность — в 30-300 раз хуже
  • 15 минут на прогон — в 10 раз лучше
  • 800 потоков — в 100 раз лучше
  • Тесты пишут все — аналогично
Инструментирование интерфейса приложения с трассировкой до кейсов в TestRail — до кода. В итоге по хоткею на каждом элементе интерфейса появляется ссылка на все тесты, работающие с ним. Можно делать, когда других задач нет, выглядит красивенько. Применимо в проекте от тысячи тестов. Условно полезная штука с некоторыми минусами поддержки.

Дальше Артём рассказывал про покрытие API.

С помощью EMMA и Cobertura, или что там нынче актуально. API требует 100% покрытия. Затем патчат Swagger цветовой маркировкой: зелёный — метод покрыт, красный — не покрыт. Посчитали покрытие для каждого теста и в Swagger добавили ссылки на тест (вот этот метод покрыт вот этими тестами).

Норм, но:
  • Для апи отлично.
  • Для остального кода нет, так как лямбды.
Доклад — ок, дождаться библиотек и использовать.

Барух Садогурский — DevOps

К просмотру обязательно. Ценное: список практик, список литературы.
Этими четырьмя метриками можно померить любую команду:
  • Time to market
  • Частота релизов
  • Частота факапов
  • Время восстановления


Комментариев нет:

Отправить комментарий