Порожня перевірка - не пройдена

Арифметика, яка бреше

Перевірка «жоден критичний компонент не зламаний» влаштована як список зламаних: порожньо - отже добре. Але порожньо буває з двох причин: або дивились і не знайшли, або не дивились взагалі. Логічне «все» над порожньою множиною - істина; саме ця шкільна арифметика тихо перетворює «не дивились» на «все добре».

Виміряно на власній системі: три перевірки звітували «пройдено» з машини, яка не бачила жодного зі своїх предметів. Три зелені вогники ні про що.

Найсвіжіший спійманий екземпляр: власні ворота перевірки сайту впали всередині, але вийшли з кодом "пройдено" - прибирання наприкінці перезаписувало вердикт. Видала їх не тривога, а відсутність фінального рядка успіху. Тепер правило: зелений код виходу без видимого доказу успіху не є "пройдено".

Вузьке виправлення

Порожня множина предметів - досі «пройдено»: якщо ніхто не обіцяв щоденний запуск, ніхто не може його прострочити, і дивитись для цього не треба.

«Не встановлено» дає лише порожня множина оглянутих: предмети є, жодного не спитали. Розрізнення цих двох порожнеч - половина всієї чесності системи.

Той самий дефект у людей

Паперовий чекліст має ту саму ваду: галочка не вміє застаріти в бік «все ще добре». Чотири закриті пункти нашого релізного чекліста виявились хибними в день перевірки - і далі читались закритими. Тому чекліст більше не гейт: стан релізу рахує машина, щоразу заново, проти цього коміту.