[{"data":1,"prerenderedAt":42},["ShallowReactive",2],{"wiki-test-management-test-metrics-ru":3},{"meta":4,"html":8,"headings":9,"words":41},{"title":5,"description":6,"published":7,"updated":7,"sourceUpdated":7},"Метрики тестирования","Метрики тестирования: доля пройденных тестов, плотность дефектов, дефекты в эксплуатации, время на исправление. Расчёт и искажения. Категории метрик по ISTQB.","2026-11-03","\u003Cp>\u003Cstrong>Метрика тестирования\u003C/strong> (test metric) - мера, которая количественно описывает свойство тестирования или тестируемого продукта: ход выполнения, число и \u003Cspan class=\"wiki-term\" tabindex=\"0\" data-wiki-term=\"severity\">серьёзность\u003C/span> \u003Cspan class=\"wiki-term\" tabindex=\"0\" data-wiki-term=\"defect\">дефектов\u003C/span>, покрытие, затраты. Метрики вычисляют из данных, которые создаёт тестирование (результатов \u003Cspan class=\"wiki-term\" tabindex=\"0\" data-wiki-term=\"test-run\">тестовых прогонов\u003C/span>, \u003Cspan class=\"wiki-term\" tabindex=\"0\" data-wiki-term=\"defect-report\">отчётов о дефектах\u003C/span>, связей с требованиями), и используют для мониторинга тестирования, проверки \u003Cspan class=\"wiki-term\" tabindex=\"0\" data-wiki-term=\"exit-criteria\">критериев выхода\u003C/span> и принятия решений о релизе.\u003C/p>\n\u003Cp>Силлабус ISTQB Foundation Level (версия 4.0.1, раздел 5.3.1) делит метрики тестирования на категории и называет типичные примеры в каждой. Международный стандарт документации тестирования ISO/IEC/IEEE 29119-3 (текущая редакция 2021 года) включает показатели в отчёт о состоянии тестирования и отчёт о завершении тестирования, но не предписывает, какие именно использовать. Выбор метрик, их определения и пороговые значения задают организация и проект.\u003C/p>\n\u003Ch2 id=\"зачем-нужны-метрики-тестирования\" class=\"wiki-heading\">Зачем нужны метрики тестирования\u003Cbutton type=\"button\" class=\"wiki-heading__anchor\" data-wiki-anchor=\"зачем-нужны-метрики-тестирования\" aria-label=\"Скопировать ссылку на раздел\" data-copied-label=\"Ссылка на раздел скопирована\">\u003Csvg class=\"wiki-heading__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M117.18,188.74a12,12,0,0,1,0,17l-5.12,5.12A58.26,58.26,0,0,1,70.6,228h0A58.62,58.62,0,0,1,29.14,127.92L63.89,93.17a58.64,58.64,0,0,1,98.56,28.11,12,12,0,1,1-23.37,5.44,34.65,34.65,0,0,0-58.22-16.58L46.11,144.89A34.62,34.62,0,0,0,70.57,204h0a34.41,34.41,0,0,0,24.49-10.14l5.11-5.12A12,12,0,0,1,117.18,188.74ZM226.83,45.17a58.65,58.65,0,0,0-82.93,0l-5.11,5.11a12,12,0,0,0,17,17l5.12-5.12a34.63,34.63,0,1,1,49,49L175.1,145.86A34.39,34.39,0,0,1,150.61,156h0a34.63,34.63,0,0,1-33.69-26.72,12,12,0,0,0-23.38,5.44A58.64,58.64,0,0,0,150.56,180h.05a58.28,58.28,0,0,0,41.47-17.17l34.75-34.75a58.62,58.62,0,0,0,0-82.91Z\"/>\u003C/svg>\u003Csvg class=\"wiki-heading__icon wiki-heading__icon--done\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M232.49,80.49l-128,128a12,12,0,0,1-17,0l-56-56a12,12,0,1,1,17-17L96,183,215.51,63.51a12,12,0,0,1,17,17Z\"/>\u003C/svg>\u003C/button>\u003C/h2>\n\u003Cp>Тестирование создаёт много данных: сотни результатов за прогон, десятки дефектов за релиз. Метрика сжимает эти данные в число, которое можно сравнить - с планом, с критериями выхода, с прошлым релизом.\u003C/p>\n\u003Cp>Силлабус ISTQB связывает метрики с мониторингом и контролем тестирования. Мониторинг сравнивает фактическое состояние тестирования с планом, контроль принимает меры при расхождении. Метрики - средство сравнения: «выполнено 120 из 300 запланированных \u003Cspan class=\"wiki-term\" tabindex=\"0\" data-wiki-term=\"test-case\">тест-кейсов\u003C/span>, осталось три дня» - факт, на котором можно основать решение, «тестирование идёт хорошо» - нет.\u003C/p>\n\u003Cp>Метрика отвечает на определённый вопрос. Вопросы, которые чаще всего задают во время тестирования:\u003C/p>\n\u003Cul>\n\u003Cli>насколько продвинулось выполнение запланированных тестов;\u003C/li>\n\u003Cli>каково качество продукта: сколько дефектов и насколько они серьёзны;\u003C/li>\n\u003Cli>насколько эффективно тестирование: сколько дефектов оно находит до релиза;\u003C/li>\n\u003Cli>как быстро устраняют дефекты;\u003C/li>\n\u003Cli>что покрыто тестами, а что нет.\u003C/li>\n\u003C/ul>\n\u003Ch2 id=\"категории-метрик\" class=\"wiki-heading\">Категории метрик\u003Cbutton type=\"button\" class=\"wiki-heading__anchor\" data-wiki-anchor=\"категории-метрик\" aria-label=\"Скопировать ссылку на раздел\" data-copied-label=\"Ссылка на раздел скопирована\">\u003Csvg class=\"wiki-heading__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M117.18,188.74a12,12,0,0,1,0,17l-5.12,5.12A58.26,58.26,0,0,1,70.6,228h0A58.62,58.62,0,0,1,29.14,127.92L63.89,93.17a58.64,58.64,0,0,1,98.56,28.11,12,12,0,1,1-23.37,5.44,34.65,34.65,0,0,0-58.22-16.58L46.11,144.89A34.62,34.62,0,0,0,70.57,204h0a34.41,34.41,0,0,0,24.49-10.14l5.11-5.12A12,12,0,0,1,117.18,188.74ZM226.83,45.17a58.65,58.65,0,0,0-82.93,0l-5.11,5.11a12,12,0,0,0,17,17l5.12-5.12a34.63,34.63,0,1,1,49,49L175.1,145.86A34.39,34.39,0,0,1,150.61,156h0a34.63,34.63,0,0,1-33.69-26.72,12,12,0,0,0-23.38,5.44A58.64,58.64,0,0,0,150.56,180h.05a58.28,58.28,0,0,0,41.47-17.17l34.75-34.75a58.62,58.62,0,0,0,0-82.91Z\"/>\u003C/svg>\u003Csvg class=\"wiki-heading__icon wiki-heading__icon--done\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M232.49,80.49l-128,128a12,12,0,0,1-17,0l-56-56a12,12,0,1,1,17-17L96,183,215.51,63.51a12,12,0,0,1,17,17Z\"/>\u003C/svg>\u003C/button>\u003C/h2>\n\u003Cp>Силлабус ISTQB называет семь категорий метрик:\u003C/p>\n\u003Cdiv class=\"wiki-table wiki-table--cols-2\">\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>Категория\u003C/th>\n\u003Cth>Примеры\u003C/th>\n\u003C/tr>\n\u003C/thead>\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd>Ход проекта\u003C/td>\n\u003Ctd>Выполнение задач, использование ресурсов, трудозатраты на тестирование\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Ход тестирования\u003C/td>\n\u003Ctd>Ход реализации тест-кейсов, подготовки тестового окружения, число выполненных и невыполненных, пройденных и непройденных тест-кейсов, время выполнения тестов\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Качество продукта\u003C/td>\n\u003Ctd>Доступность, время отклика, среднее время до отказа\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Дефекты\u003C/td>\n\u003Ctd>Число и приоритеты найденных и исправленных дефектов, плотность дефектов, процент обнаружения дефектов\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Риски\u003C/td>\n\u003Ctd>Уровень остаточного риска\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Покрытие\u003C/td>\n\u003Ctd>Покрытие требований, покрытие кода\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Затраты\u003C/td>\n\u003Ctd>Стоимость тестирования, организационная стоимость качества\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\u003C/div>\n\u003Cp>Разделы ниже описывают четыре метрики, которые \u003Cspan class=\"wiki-term\" tabindex=\"0\" data-wiki-term=\"test-management-system\">системы управления тестированием\u003C/span> вычисляют чаще всего, с формулами и тем, как каждая вводит в заблуждение. Метрики покрытия описаны в статье \u003Ca href=\"/ru/wiki/test-management/requirements-traceability\" class=\"wiki-link wiki-link--article\">Трассируемость и покрытие требований\u003C/a>.\u003C/p>\n\u003Ch2 id=\"доля-пройденных-тестов\" class=\"wiki-heading\">Доля пройденных тестов\u003Cbutton type=\"button\" class=\"wiki-heading__anchor\" data-wiki-anchor=\"доля-пройденных-тестов\" aria-label=\"Скопировать ссылку на раздел\" data-copied-label=\"Ссылка на раздел скопирована\">\u003Csvg class=\"wiki-heading__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M117.18,188.74a12,12,0,0,1,0,17l-5.12,5.12A58.26,58.26,0,0,1,70.6,228h0A58.62,58.62,0,0,1,29.14,127.92L63.89,93.17a58.64,58.64,0,0,1,98.56,28.11,12,12,0,1,1-23.37,5.44,34.65,34.65,0,0,0-58.22-16.58L46.11,144.89A34.62,34.62,0,0,0,70.57,204h0a34.41,34.41,0,0,0,24.49-10.14l5.11-5.12A12,12,0,0,1,117.18,188.74ZM226.83,45.17a58.65,58.65,0,0,0-82.93,0l-5.11,5.11a12,12,0,0,0,17,17l5.12-5.12a34.63,34.63,0,1,1,49,49L175.1,145.86A34.39,34.39,0,0,1,150.61,156h0a34.63,34.63,0,0,1-33.69-26.72,12,12,0,0,0-23.38,5.44A58.64,58.64,0,0,0,150.56,180h.05a58.28,58.28,0,0,0,41.47-17.17l34.75-34.75a58.62,58.62,0,0,0,0-82.91Z\"/>\u003C/svg>\u003Csvg class=\"wiki-heading__icon wiki-heading__icon--done\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M232.49,80.49l-128,128a12,12,0,0,1-17,0l-56-56a12,12,0,1,1,17-17L96,183,215.51,63.51a12,12,0,0,1,17,17Z\"/>\u003C/svg>\u003C/button>\u003C/h2>\n\u003Cp>\u003Cstrong>Доля пройденных тестов\u003C/strong> (pass rate) - доля пройденных тест-кейсов. Её вычисляют для тестового прогона, набора прогонов или релиза:\u003C/p>\n\u003Cdiv class=\"wiki-code wiki-code--plain\">\u003Cpre>\u003Ccode>pass rate = passed / denominator x 100%\u003C/code>\u003C/pre>\u003C/div>\n\u003Cp>Значение зависит от знаменателя, и используют три: все запланированные тест-кейсы прогона, выполненные тест-кейсы или тест-кейсы, которые дошли до вердикта (пройден или не пройден). Для прогона из 200 запланированных тест-кейсов, из которых 150 пройдены, 10 не пройдены, 15 заблокированы и 25 ещё не выполнялись:\u003C/p>\n\u003Cdiv class=\"wiki-table wiki-table--cols-3\">\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>Знаменатель\u003C/th>\n\u003Cth>Расчёт\u003C/th>\n\u003Cth>Доля пройденных\u003C/th>\n\u003C/tr>\n\u003C/thead>\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd>Запланированные\u003C/td>\n\u003Ctd>150 / 200\u003C/td>\n\u003Ctd>75 процентов\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Выполненные (пройдены, не пройдены, заблокированы)\u003C/td>\n\u003Ctd>150 / 175\u003C/td>\n\u003Ctd>86 процентов\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>С вердиктом (пройдены, не пройдены)\u003C/td>\n\u003Ctd>150 / 160\u003C/td>\n\u003Ctd>94 процента\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\u003C/div>\n\u003Cp>Один и тот же прогон даёт 75, 86 или 94 процента. Долю пройденных тестов без знаменателя интерпретировать нельзя.\u003C/p>\n\u003Cp>Где доля пройденных тестов вводит в заблуждение:\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>Одинаковый вес.\u003C/strong> Все тест-кейсы считаются одинаково. Прогон, где проходят 199 косметических проверок и не проходит проверка оплаты, даёт 99,5 процента.\u003C/li>\n\u003Cli>\u003Cstrong>Зависимость от числа тестов.\u003C/strong> Добавление множества простых тест-кейсов, которые всегда проходят, поднимает долю без изменения продукта.\u003C/li>\n\u003Cli>\u003Cstrong>Невыполненные тесты.\u003C/strong> Если заблокированные и невыполненные тест-кейсы исключить из знаменателя, прогон, в котором половину тестов не удалось выполнить, всё равно может показать высокую долю.\u003C/li>\n\u003Cli>\u003Cstrong>Повторные выполнения.\u003C/strong> Если автотесты перезапускают, пока они не пройдут, и учитывают только последнюю попытку, доля скрывает \u003Cspan class=\"wiki-term\" tabindex=\"0\" data-wiki-term=\"flaky-test\">нестабильные тесты\u003C/span> и \u003Cspan class=\"wiki-term\" tabindex=\"0\" data-wiki-term=\"intermittent-defect\">плавающие дефекты\u003C/span>.\u003C/li>\n\u003C/ul>\n\u003Cp>Доля пройденных тестов информативна вместе с числом непройденных и заблокированных тест-кейсов и списком непройденных тест-кейсов с высоким приоритетом.\u003C/p>\n\u003Ch2 id=\"плотность-дефектов\" class=\"wiki-heading\">Плотность дефектов\u003Cbutton type=\"button\" class=\"wiki-heading__anchor\" data-wiki-anchor=\"плотность-дефектов\" aria-label=\"Скопировать ссылку на раздел\" data-copied-label=\"Ссылка на раздел скопирована\">\u003Csvg class=\"wiki-heading__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M117.18,188.74a12,12,0,0,1,0,17l-5.12,5.12A58.26,58.26,0,0,1,70.6,228h0A58.62,58.62,0,0,1,29.14,127.92L63.89,93.17a58.64,58.64,0,0,1,98.56,28.11,12,12,0,1,1-23.37,5.44,34.65,34.65,0,0,0-58.22-16.58L46.11,144.89A34.62,34.62,0,0,0,70.57,204h0a34.41,34.41,0,0,0,24.49-10.14l5.11-5.12A12,12,0,0,1,117.18,188.74ZM226.83,45.17a58.65,58.65,0,0,0-82.93,0l-5.11,5.11a12,12,0,0,0,17,17l5.12-5.12a34.63,34.63,0,1,1,49,49L175.1,145.86A34.39,34.39,0,0,1,150.61,156h0a34.63,34.63,0,0,1-33.69-26.72,12,12,0,0,0-23.38,5.44A58.64,58.64,0,0,0,150.56,180h.05a58.28,58.28,0,0,0,41.47-17.17l34.75-34.75a58.62,58.62,0,0,0,0-82.91Z\"/>\u003C/svg>\u003Csvg class=\"wiki-heading__icon wiki-heading__icon--done\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M232.49,80.49l-128,128a12,12,0,0,1-17,0l-56-56a12,12,0,1,1,17-17L96,183,215.51,63.51a12,12,0,0,1,17,17Z\"/>\u003C/svg>\u003C/button>\u003C/h2>\n\u003Cp>\u003Cstrong>Плотность дефектов\u003C/strong> (defect density), в формулировке глоссария ISTQB, - число дефектов на единицу размера рабочего продукта:\u003C/p>\n\u003Cdiv class=\"wiki-code wiki-code--plain\">\u003Cpre>\u003Ccode>defect density = number of defects / size\u003C/code>\u003C/pre>\u003C/div>\n\u003Cp>Размер измеряют в единицах, подходящих рабочему продукту: тысячах строк кода (KLOC), функциональных точках, числе требований, страницах спецификации. Для двух компонентов:\u003C/p>\n\u003Cdiv class=\"wiki-table wiki-table--cols-4\">\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>Компонент\u003C/th>\n\u003Cth>Дефекты\u003C/th>\n\u003Cth>Размер\u003C/th>\n\u003Cth>Плотность\u003C/th>\n\u003C/tr>\n\u003C/thead>\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd>Оплата\u003C/td>\n\u003Ctd>24\u003C/td>\n\u003Ctd>8 KLOC\u003C/td>\n\u003Ctd>3,0 дефекта на KLOC\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Каталог\u003C/td>\n\u003Ctd>18\u003C/td>\n\u003Ctd>12 KLOC\u003C/td>\n\u003Ctd>1,5 дефекта на KLOC\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\u003C/div>\n\u003Cp>У компонента оплаты больше дефектов на единицу размера, и это указывает на него как на кандидата для дополнительного тестирования или рецензирования.\u003C/p>\n\u003Cp>Где плотность дефектов вводит в заблуждение:\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>Она считает найденные дефекты, а не существующие.\u003C/strong> У компонента, который тестировали меньше, найдено меньше дефектов, и плотность ниже. Низкая плотность может означать высокое качество, а может - мало тестирования.\u003C/li>\n\u003Cli>\u003Cstrong>Она зависит от правил подсчёта.\u003C/strong> Учитываются ли отклонённые отчёты, дубликаты и дефекты всех уровней серьёзности - от этого меняется число. Правила фиксируют до сравнения.\u003C/li>\n\u003Cli>\u003Cstrong>Она зависит от меры размера.\u003C/strong> Строки кода различаются между языками и стилями; одна и та же функциональность может занимать 2 KLOC на одном языке и 6 KLOC на другом.\u003C/li>\n\u003Cli>\u003Cstrong>Она не учитывает серьёзность.\u003C/strong> Десять косметических дефектов и десять дефектов с потерей данных дают одинаковую плотность.\u003C/li>\n\u003C/ul>\n\u003Cp>Плотность дефектов используют, чтобы сравнивать компоненты одного продукта, измеренные одинаково, и компонент с самим собой по релизам. Сравнения между продуктами, командами или языками ненадёжны по причинам выше.\u003C/p>\n\u003Ch2 id=\"дефекты-в-эксплуатации\" class=\"wiki-heading\">Дефекты в эксплуатации\u003Cbutton type=\"button\" class=\"wiki-heading__anchor\" data-wiki-anchor=\"дефекты-в-эксплуатации\" aria-label=\"Скопировать ссылку на раздел\" data-copied-label=\"Ссылка на раздел скопирована\">\u003Csvg class=\"wiki-heading__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M117.18,188.74a12,12,0,0,1,0,17l-5.12,5.12A58.26,58.26,0,0,1,70.6,228h0A58.62,58.62,0,0,1,29.14,127.92L63.89,93.17a58.64,58.64,0,0,1,98.56,28.11,12,12,0,1,1-23.37,5.44,34.65,34.65,0,0,0-58.22-16.58L46.11,144.89A34.62,34.62,0,0,0,70.57,204h0a34.41,34.41,0,0,0,24.49-10.14l5.11-5.12A12,12,0,0,1,117.18,188.74ZM226.83,45.17a58.65,58.65,0,0,0-82.93,0l-5.11,5.11a12,12,0,0,0,17,17l5.12-5.12a34.63,34.63,0,1,1,49,49L175.1,145.86A34.39,34.39,0,0,1,150.61,156h0a34.63,34.63,0,0,1-33.69-26.72,12,12,0,0,0-23.38,5.44A58.64,58.64,0,0,0,150.56,180h.05a58.28,58.28,0,0,0,41.47-17.17l34.75-34.75a58.62,58.62,0,0,0,0-82.91Z\"/>\u003C/svg>\u003Csvg class=\"wiki-heading__icon wiki-heading__icon--done\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M232.49,80.49l-128,128a12,12,0,0,1-17,0l-56-56a12,12,0,1,1,17-17L96,183,215.51,63.51a12,12,0,0,1,17,17Z\"/>\u003C/svg>\u003C/button>\u003C/h2>\n\u003Cp>Долю дефектов, которые тестирование не нашло до релиза, измеряет \u003Cstrong>процент обнаружения дефектов\u003C/strong> (defect detection percentage, DDP). Глоссарий ISTQB определяет его как число дефектов, найденных уровнем тестирования, делённое на число дефектов, найденных этим уровнем и любыми другими способами после него:\u003C/p>\n\u003Cdiv class=\"wiki-code wiki-code--plain\">\u003Cpre>\u003Ccode>DDP = defects found by testing / (defects found by testing + defects found later) x 100%\u003C/code>\u003C/pre>\u003C/div>\n\u003Cp>Дополняющее значение - долю дефектов, найденных после релиза, - часто называют утечкой дефектов (defect leakage) или пропущенными дефектами (escaped defects). Для релиза, в котором тестирование нашло 85 дефектов, а пользователи за первые 90 дней сообщили ещё о 15:\u003C/p>\n\u003Cdiv class=\"wiki-code wiki-code--plain\">\u003Cpre>\u003Ccode>DDP = 85 / (85 + 15) x 100% = 85%\ndefects found in production = 15 / 100 x 100% = 15%\u003C/code>\u003C/pre>\u003C/div>\n\u003Cp>Где эта метрика вводит в заблуждение:\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>Значение меняется со временем.\u003C/strong> Дефекты после релиза продолжают приходить месяцами. DDP, посчитанный через неделю после релиза, выше того же DDP через полгода. Окно («первые 90 дней») - часть определения.\u003C/li>\n\u003Cli>\u003Cstrong>Нужно определение «того же» дефекта.\u003C/strong> Сообщение пользователя, которое оказалось известным дефектом, отложенным до релиза, - не пропущенный дефект. Без этого правила осознанные решения считаются провалами тестирования.\u003C/li>\n\u003Cli>\u003Cstrong>Серьёзность важнее числа.\u003C/strong> Пятнадцать косметических дефектов в эксплуатации и один дефект, из-за которого с клиентов списывают деньги дважды, дают совсем разную картину релиза. DDP часто считают отдельно для серьёзных дефектов.\u003C/li>\n\u003Cli>\u003Cstrong>Она зависит от того, как сообщают пользователи.\u003C/strong> Продукт с небольшим числом активных пользователей или без канала для сообщений показывает мало дефектов в эксплуатации независимо от качества.\u003C/li>\n\u003C/ul>\n\u003Cp>DDP измеряет тестирование в целом, а не отдельных тестировщиков. Он зависит и от качества кода, который дошёл до тестирования, и от того, что входило в объём тестирования.\u003C/p>\n\u003Ch2 id=\"время-на-исправление\" class=\"wiki-heading\">Время на исправление\u003Cbutton type=\"button\" class=\"wiki-heading__anchor\" data-wiki-anchor=\"время-на-исправление\" aria-label=\"Скопировать ссылку на раздел\" data-copied-label=\"Ссылка на раздел скопирована\">\u003Csvg class=\"wiki-heading__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M117.18,188.74a12,12,0,0,1,0,17l-5.12,5.12A58.26,58.26,0,0,1,70.6,228h0A58.62,58.62,0,0,1,29.14,127.92L63.89,93.17a58.64,58.64,0,0,1,98.56,28.11,12,12,0,1,1-23.37,5.44,34.65,34.65,0,0,0-58.22-16.58L46.11,144.89A34.62,34.62,0,0,0,70.57,204h0a34.41,34.41,0,0,0,24.49-10.14l5.11-5.12A12,12,0,0,1,117.18,188.74ZM226.83,45.17a58.65,58.65,0,0,0-82.93,0l-5.11,5.11a12,12,0,0,0,17,17l5.12-5.12a34.63,34.63,0,1,1,49,49L175.1,145.86A34.39,34.39,0,0,1,150.61,156h0a34.63,34.63,0,0,1-33.69-26.72,12,12,0,0,0-23.38,5.44A58.64,58.64,0,0,0,150.56,180h.05a58.28,58.28,0,0,0,41.47-17.17l34.75-34.75a58.62,58.62,0,0,0,0-82.91Z\"/>\u003C/svg>\u003Csvg class=\"wiki-heading__icon wiki-heading__icon--done\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M232.49,80.49l-128,128a12,12,0,0,1-17,0l-56-56a12,12,0,1,1,17-17L96,183,215.51,63.51a12,12,0,0,1,17,17Z\"/>\u003C/svg>\u003C/button>\u003C/h2>\n\u003Cp>\u003Cstrong>Время на исправление\u003C/strong> (time to fix) дефекта - время от регистрации дефекта до его устранения. Для набора дефектов его вычисляют как среднее или медиану. Что значит «устранён», определяют явно: исправление влито в код, исправление подтверждено тестированием или отчёт закрыт.\u003C/p>\n\u003Cp>Среднее и медиана расходятся, когда есть выбросы. Для десяти дефектов, исправленных за 1, 1, 2, 2, 2, 3, 3, 4, 5 и 47 дней:\u003C/p>\n\u003Cdiv class=\"wiki-code wiki-code--plain\">\u003Cpre>\u003Ccode>mean   = (1 + 1 + 2 + 2 + 2 + 3 + 3 + 4 + 5 + 47) / 10 = 7 days\nmedian = (2 + 3) / 2 = 2.5 days\u003C/code>\u003C/pre>\u003C/div>\n\u003Cp>Один дефект, который ждал 47 дней, сдвигает среднее примерно с 2,6 дня (для остальных девяти) до 7 дней. Медиана описывает типичный случай, среднее чувствительно к долгим ожиданиям, и оба информативны вместе со списком дефектов, которые заняли больше всего времени.\u003C/p>\n\u003Cp>Где эта метрика вводит в заблуждение:\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>Отложенные и переоткрытые дефекты.\u003C/strong> Дефект, намеренно отложенный до следующего релиза, накапливает время, хотя с ним никто не работает. Переоткрытый дефект можно считать от первой регистрации или от переоткрытия. Правила фиксируют заранее.\u003C/li>\n\u003Cli>\u003Cstrong>Серьёзность.\u003C/strong> Критические дефекты обычно исправляют первыми. Среднее по всем уровням серьёзности смешивает совсем разные очереди. Метрику считают отдельно по серьёзности или приоритету.\u003C/li>\n\u003Cli>\u003Cstrong>Дробление.\u003C/strong> Закрыть отчёт и открыть новый на оставшуюся часть проблемы - значит сократить измеряемое время, не ускорив исправление.\u003C/li>\n\u003C/ul>\n\u003Cp>Время на исправление дефекта, найденного при тестировании, - другая метрика, чем время восстановления после сбоя в эксплуатации. Программа DevOps Research and Assessment (DORA) измеряет последнее как время восстановления после неудачного развёртывания (failed deployment recovery time); с 2023 года это название заменяет прежнее «среднее время восстановления» (mean time to recover).\u003C/p>\n\u003Ch2 id=\"как-метрики-вводят-в-заблуждение\" class=\"wiki-heading\">Как метрики вводят в заблуждение\u003Cbutton type=\"button\" class=\"wiki-heading__anchor\" data-wiki-anchor=\"как-метрики-вводят-в-заблуждение\" aria-label=\"Скопировать ссылку на раздел\" data-copied-label=\"Ссылка на раздел скопирована\">\u003Csvg class=\"wiki-heading__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M117.18,188.74a12,12,0,0,1,0,17l-5.12,5.12A58.26,58.26,0,0,1,70.6,228h0A58.62,58.62,0,0,1,29.14,127.92L63.89,93.17a58.64,58.64,0,0,1,98.56,28.11,12,12,0,1,1-23.37,5.44,34.65,34.65,0,0,0-58.22-16.58L46.11,144.89A34.62,34.62,0,0,0,70.57,204h0a34.41,34.41,0,0,0,24.49-10.14l5.11-5.12A12,12,0,0,1,117.18,188.74ZM226.83,45.17a58.65,58.65,0,0,0-82.93,0l-5.11,5.11a12,12,0,0,0,17,17l5.12-5.12a34.63,34.63,0,1,1,49,49L175.1,145.86A34.39,34.39,0,0,1,150.61,156h0a34.63,34.63,0,0,1-33.69-26.72,12,12,0,0,0-23.38,5.44A58.64,58.64,0,0,0,150.56,180h.05a58.28,58.28,0,0,0,41.47-17.17l34.75-34.75a58.62,58.62,0,0,0,0-82.91Z\"/>\u003C/svg>\u003Csvg class=\"wiki-heading__icon wiki-heading__icon--done\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M232.49,80.49l-128,128a12,12,0,0,1-17,0l-56-56a12,12,0,1,1,17-17L96,183,215.51,63.51a12,12,0,0,1,17,17Z\"/>\u003C/svg>\u003C/button>\u003C/h2>\n\u003Cp>Примеры выше объединяют общие закономерности.\u003C/p>\n\u003Cp>\u003Cstrong>Метрика становится целью.\u003C/strong> Экономист Чарльз Гудхарт в 1975 году описал, как статистический показатель перестаёт быть надёжным, когда его используют как цель управления. Антрополог Мэрилин Стратерн в 1997 году обобщила это наблюдение на меры вообще: мера, которая становится целью, перестаёт быть хорошей мерой. В тестировании цель «доля пройденных тестов выше 95 процентов» подталкивает убирать непроходящие тесты из прогонов, цель «мало дефектов в эксплуатации» - относить дефекты из эксплуатации к запросам на изменение.\u003C/p>\n\u003Cp>\u003Cstrong>Одна метрика без других.\u003C/strong> Каждая метрика описывает одну сторону ситуации. Высокая доля пройденных тестов при многих заблокированных, низкая плотность дефектов при малом объёме тестирования, короткое время на исправление при многих переоткрытых дефектах по отдельности вводят в заблуждение. Метрики читают наборами: ход работ вместе с качеством, количество вместе с серьёзностью.\u003C/p>\n\u003Cp>\u003Cstrong>Сравнение без одинаковых определений.\u003C/strong> Две команды, которые по-разному считают дефекты, тест-кейсы или время, получают несравнимые числа. Перед сравнением определения выравнивают: что считается, в каком окне, с каким знаменателем.\u003C/p>\n\u003Cp>\u003Cstrong>Абсолютные значения вместо динамики.\u003C/strong> Плотность 3 дефекта на KLOC сама по себе говорит мало. Тот же компонент, у которого плотность выросла с 1,5 до 3 между релизами, говорит больше. Многие метрики информативны как ряд по релизам, а не как одно значение.\u003C/p>\n\u003Ch2 id=\"метрики-тестирования-и-метрики-поставки\" class=\"wiki-heading\">Метрики тестирования и метрики поставки\u003Cbutton type=\"button\" class=\"wiki-heading__anchor\" data-wiki-anchor=\"метрики-тестирования-и-метрики-поставки\" aria-label=\"Скопировать ссылку на раздел\" data-copied-label=\"Ссылка на раздел скопирована\">\u003Csvg class=\"wiki-heading__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M117.18,188.74a12,12,0,0,1,0,17l-5.12,5.12A58.26,58.26,0,0,1,70.6,228h0A58.62,58.62,0,0,1,29.14,127.92L63.89,93.17a58.64,58.64,0,0,1,98.56,28.11,12,12,0,1,1-23.37,5.44,34.65,34.65,0,0,0-58.22-16.58L46.11,144.89A34.62,34.62,0,0,0,70.57,204h0a34.41,34.41,0,0,0,24.49-10.14l5.11-5.12A12,12,0,0,1,117.18,188.74ZM226.83,45.17a58.65,58.65,0,0,0-82.93,0l-5.11,5.11a12,12,0,0,0,17,17l5.12-5.12a34.63,34.63,0,1,1,49,49L175.1,145.86A34.39,34.39,0,0,1,150.61,156h0a34.63,34.63,0,0,1-33.69-26.72,12,12,0,0,0-23.38,5.44A58.64,58.64,0,0,0,150.56,180h.05a58.28,58.28,0,0,0,41.47-17.17l34.75-34.75a58.62,58.62,0,0,0,0-82.91Z\"/>\u003C/svg>\u003Csvg class=\"wiki-heading__icon wiki-heading__icon--done\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M232.49,80.49l-128,128a12,12,0,0,1-17,0l-56-56a12,12,0,1,1,17-17L96,183,215.51,63.51a12,12,0,0,1,17,17Z\"/>\u003C/svg>\u003C/button>\u003C/h2>\n\u003Cp>Метрики тестирования описывают тестирование и продукт, каким его увидело тестирование. Метрики поставки описывают, как изменения попадают в эксплуатацию. Программа DORA, которая изучает эффективность поставки программного обеспечения, с 2024 года использует пять таких метрик: время выполнения изменения (change lead time), частоту развёртываний (deployment frequency), время восстановления после неудачного развёртывания (failed deployment recovery time), долю неудачных изменений (change fail rate) и долю развёртываний для исправлений (deployment rework rate).\u003C/p>\n\u003Cdiv class=\"wiki-table wiki-table--cols-3\">\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>\u003C/th>\n\u003Cth>Метрики тестирования\u003C/th>\n\u003Cth>Метрики поставки DORA\u003C/th>\n\u003C/tr>\n\u003C/thead>\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd>Объект\u003C/td>\n\u003Ctd>Тестирование и продукт до релиза\u003C/td>\n\u003Ctd>Процесс доставки изменений в эксплуатацию\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Данные\u003C/td>\n\u003Ctd>Результаты тестов, отчёты о дефектах, связи с требованиями\u003C/td>\n\u003Ctd>Коммиты, развёртывания, инциденты\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Примеры\u003C/td>\n\u003Ctd>Доля пройденных тестов, плотность дефектов, DDP, время на исправление\u003C/td>\n\u003Ctd>Время выполнения изменения, частота развёртываний, доля неудачных изменений\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Типичный вопрос\u003C/td>\n\u003Ctd>Готов ли релиз? Где риски?\u003C/td>\n\u003Ctd>Как быстро и надёжно изменения доходят до пользователей?\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\u003C/div>\n\u003Cp>Два набора дополняют друг друга. Высокая доля неудачных изменений в метриках поставки указывает на дефекты, которые пропустило тестирование, а DDP и список пропущенных дефектов показывают, какие именно. Долгое время выполнения изменения может быть вызвано долгими тестовыми прогонами, и метрики хода тестирования показывают, где уходит время. Как автотесты выполняются в конвейере поставки, описано в статье \u003Ca href=\"/ru/wiki/test-automation/automated-tests-in-ci\" class=\"wiki-link wiki-link--article\">Автотесты в CI\u003C/a>.\u003C/p>\n\u003Ch2 id=\"термины\" class=\"wiki-heading\">Термины\u003Cbutton type=\"button\" class=\"wiki-heading__anchor\" data-wiki-anchor=\"термины\" aria-label=\"Скопировать ссылку на раздел\" data-copied-label=\"Ссылка на раздел скопирована\">\u003Csvg class=\"wiki-heading__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M117.18,188.74a12,12,0,0,1,0,17l-5.12,5.12A58.26,58.26,0,0,1,70.6,228h0A58.62,58.62,0,0,1,29.14,127.92L63.89,93.17a58.64,58.64,0,0,1,98.56,28.11,12,12,0,1,1-23.37,5.44,34.65,34.65,0,0,0-58.22-16.58L46.11,144.89A34.62,34.62,0,0,0,70.57,204h0a34.41,34.41,0,0,0,24.49-10.14l5.11-5.12A12,12,0,0,1,117.18,188.74ZM226.83,45.17a58.65,58.65,0,0,0-82.93,0l-5.11,5.11a12,12,0,0,0,17,17l5.12-5.12a34.63,34.63,0,1,1,49,49L175.1,145.86A34.39,34.39,0,0,1,150.61,156h0a34.63,34.63,0,0,1-33.69-26.72,12,12,0,0,0-23.38,5.44A58.64,58.64,0,0,0,150.56,180h.05a58.28,58.28,0,0,0,41.47-17.17l34.75-34.75a58.62,58.62,0,0,0,0-82.91Z\"/>\u003C/svg>\u003Csvg class=\"wiki-heading__icon wiki-heading__icon--done\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M232.49,80.49l-128,128a12,12,0,0,1-17,0l-56-56a12,12,0,1,1,17-17L96,183,215.51,63.51a12,12,0,0,1,17,17Z\"/>\u003C/svg>\u003C/button>\u003C/h2>\n\u003Cdiv class=\"wiki-table wiki-table--cols-2\">\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>Термин\u003C/th>\n\u003Cth>Значение\u003C/th>\n\u003C/tr>\n\u003C/thead>\n\u003Ctbody>\n\u003Ctr>\n\u003Ctd>Метрика тестирования (test metric)\u003C/td>\n\u003Ctd>Мера, которая количественно описывает свойство тестирования или тестируемого продукта\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Доля пройденных тестов (pass rate)\u003C/td>\n\u003Ctd>Доля пройденных тест-кейсов относительно указанного знаменателя\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Плотность дефектов (defect density)\u003C/td>\n\u003Ctd>Число дефектов на единицу размера рабочего продукта\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Процент обнаружения дефектов (DDP)\u003C/td>\n\u003Ctd>Число дефектов, найденных уровнем тестирования, делённое на число дефектов, найденных этим уровнем и любыми другими способами после него\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Дефекты в эксплуатации\u003C/td>\n\u003Ctd>Доля дефектов, найденных после релиза; дополнение к DDP\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Время на исправление (time to fix)\u003C/td>\n\u003Ctd>Время от регистрации дефекта до его устранения, как среднее или медиана\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>DORA\u003C/td>\n\u003Ctd>DevOps Research and Assessment: исследовательская программа, которая определяет метрики эффективности поставки программного обеспечения\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Закон Гудхарта\u003C/td>\n\u003Ctd>Наблюдение, что мера, используемая как цель, перестаёт быть надёжной мерой\u003C/td>\n\u003C/tr>\n\u003C/tbody>\n\u003C/table>\u003C/div>\n\u003Ch2 id=\"источники\" class=\"wiki-heading\">Источники\u003Cbutton type=\"button\" class=\"wiki-heading__anchor\" data-wiki-anchor=\"источники\" aria-label=\"Скопировать ссылку на раздел\" data-copied-label=\"Ссылка на раздел скопирована\">\u003Csvg class=\"wiki-heading__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M117.18,188.74a12,12,0,0,1,0,17l-5.12,5.12A58.26,58.26,0,0,1,70.6,228h0A58.62,58.62,0,0,1,29.14,127.92L63.89,93.17a58.64,58.64,0,0,1,98.56,28.11,12,12,0,1,1-23.37,5.44,34.65,34.65,0,0,0-58.22-16.58L46.11,144.89A34.62,34.62,0,0,0,70.57,204h0a34.41,34.41,0,0,0,24.49-10.14l5.11-5.12A12,12,0,0,1,117.18,188.74ZM226.83,45.17a58.65,58.65,0,0,0-82.93,0l-5.11,5.11a12,12,0,0,0,17,17l5.12-5.12a34.63,34.63,0,1,1,49,49L175.1,145.86A34.39,34.39,0,0,1,150.61,156h0a34.63,34.63,0,0,1-33.69-26.72,12,12,0,0,0-23.38,5.44A58.64,58.64,0,0,0,150.56,180h.05a58.28,58.28,0,0,0,41.47-17.17l34.75-34.75a58.62,58.62,0,0,0,0-82.91Z\"/>\u003C/svg>\u003Csvg class=\"wiki-heading__icon wiki-heading__icon--done\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M232.49,80.49l-128,128a12,12,0,0,1-17,0l-56-56a12,12,0,1,1,17-17L96,183,215.51,63.51a12,12,0,0,1,17,17Z\"/>\u003C/svg>\u003C/button>\u003C/h2>\n\u003Cul>\n\u003Cli>\u003Ca href=\"https://www.istqb.org/wp-content/uploads/2024/11/ISTQB_CTFL_Syllabus_v4.0.1.pdf\" target=\"_blank\" rel=\"noopener\" class=\"wiki-link wiki-link--external\">ISTQB Certified Tester Foundation Level Syllabus v4.0.1, ISTQB, 2024\u003Csvg class=\"wiki-link__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M228,104a12,12,0,0,1-24,0V69l-59.51,59.51a12,12,0,0,1-17-17L187,52H152a12,12,0,0,1,0-24h64a12,12,0,0,1,12,12Zm-44,24a12,12,0,0,0-12,12v64H52V84h64a12,12,0,0,0,0-24H48A20,20,0,0,0,28,80V208a20,20,0,0,0,20,20H176a20,20,0,0,0,20-20V140A12,12,0,0,0,184,128Z\"/>\u003C/svg>\u003Cspan class=\"wiki-visually-hidden\">(откроется в новой вкладке)\u003C/span>\u003C/a> (на английском)\u003C/li>\n\u003Cli>\u003Ca href=\"https://glossary.istqb.org/\" target=\"_blank\" rel=\"noopener\" class=\"wiki-link wiki-link--external\">Глоссарий ISTQB\u003Csvg class=\"wiki-link__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M228,104a12,12,0,0,1-24,0V69l-59.51,59.51a12,12,0,0,1-17-17L187,52H152a12,12,0,0,1,0-24h64a12,12,0,0,1,12,12Zm-44,24a12,12,0,0,0-12,12v64H52V84h64a12,12,0,0,0,0-24H48A20,20,0,0,0,28,80V208a20,20,0,0,0,20,20H176a20,20,0,0,0,20-20V140A12,12,0,0,0,184,128Z\"/>\u003C/svg>\u003Cspan class=\"wiki-visually-hidden\">(откроется в новой вкладке)\u003C/span>\u003C/a> (на английском)\u003C/li>\n\u003Cli>\u003Ca href=\"https://www.iso.org/standard/79429.html\" target=\"_blank\" rel=\"noopener\" class=\"wiki-link wiki-link--external\">ISO/IEC/IEEE 29119-3:2021, Software testing, Part 3: Test documentation\u003Csvg class=\"wiki-link__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M228,104a12,12,0,0,1-24,0V69l-59.51,59.51a12,12,0,0,1-17-17L187,52H152a12,12,0,0,1,0-24h64a12,12,0,0,1,12,12Zm-44,24a12,12,0,0,0-12,12v64H52V84h64a12,12,0,0,0,0-24H48A20,20,0,0,0,28,80V208a20,20,0,0,0,20,20H176a20,20,0,0,0,20-20V140A12,12,0,0,0,184,128Z\"/>\u003C/svg>\u003Cspan class=\"wiki-visually-hidden\">(откроется в новой вкладке)\u003C/span>\u003C/a> (на английском)\u003C/li>\n\u003Cli>\u003Ca href=\"https://dora.dev/guides/dora-metrics/history/\" target=\"_blank\" rel=\"noopener\" class=\"wiki-link wiki-link--external\">A history of DORA's software delivery metrics, DORA\u003Csvg class=\"wiki-link__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M228,104a12,12,0,0,1-24,0V69l-59.51,59.51a12,12,0,0,1-17-17L187,52H152a12,12,0,0,1,0-24h64a12,12,0,0,1,12,12Zm-44,24a12,12,0,0,0-12,12v64H52V84h64a12,12,0,0,0,0-24H48A20,20,0,0,0,28,80V208a20,20,0,0,0,20,20H176a20,20,0,0,0,20-20V140A12,12,0,0,0,184,128Z\"/>\u003C/svg>\u003Cspan class=\"wiki-visually-hidden\">(откроется в новой вкладке)\u003C/span>\u003C/a> (на английском)\u003C/li>\n\u003Cli>\u003Ca href=\"https://www.cambridge.org/core/journals/european-review/article/improving-ratings-audit-in-the-british-university-system/FC2EE640C0C44E3DB87C29FB666E9AAB\" target=\"_blank\" rel=\"noopener\" class=\"wiki-link wiki-link--external\">«Improving ratings»: audit in the British University system, M. Strathern, European Review, 1997\u003Csvg class=\"wiki-link__icon\" viewBox=\"0 0 256 256\" width=\"16\" height=\"16\" fill=\"currentColor\" aria-hidden=\"true\" focusable=\"false\">\u003Cpath d=\"M228,104a12,12,0,0,1-24,0V69l-59.51,59.51a12,12,0,0,1-17-17L187,52H152a12,12,0,0,1,0-24h64a12,12,0,0,1,12,12Zm-44,24a12,12,0,0,0-12,12v64H52V84h64a12,12,0,0,0,0-24H48A20,20,0,0,0,28,80V208a20,20,0,0,0,20,20H176a20,20,0,0,0,20-20V140A12,12,0,0,0,184,128Z\"/>\u003C/svg>\u003Cspan class=\"wiki-visually-hidden\">(откроется в новой вкладке)\u003C/span>\u003C/a> (на английском)\u003C/li>\n\u003C/ul>\n",[10,14,17,20,23,26,29,32,35,38],{"id":11,"level":12,"text":13},"зачем-нужны-метрики-тестирования",2,"Зачем нужны метрики тестирования",{"id":15,"level":12,"text":16},"категории-метрик","Категории метрик",{"id":18,"level":12,"text":19},"доля-пройденных-тестов","Доля пройденных тестов",{"id":21,"level":12,"text":22},"плотность-дефектов","Плотность дефектов",{"id":24,"level":12,"text":25},"дефекты-в-эксплуатации","Дефекты в эксплуатации",{"id":27,"level":12,"text":28},"время-на-исправление","Время на исправление",{"id":30,"level":12,"text":31},"как-метрики-вводят-в-заблуждение","Как метрики вводят в заблуждение",{"id":33,"level":12,"text":34},"метрики-тестирования-и-метрики-поставки","Метрики тестирования и метрики поставки",{"id":36,"level":12,"text":37},"термины","Термины",{"id":39,"level":12,"text":40},"источники","Источники",1756,1793718892234]