Оценка качества управления

Качество управления показывает, насколько принятые воздействия переводят систему к цели при заданных ограничениях и неопределённости.

Что оцениваю

Группа	Вопрос	Пример показателя
результат	достигнуто ли целевое состояние	доля успешно обработанных задач
быстродействие	как долго длится переход	время восстановления
стоимость	сколько ресурсов потрачено	CPU-часов на операцию
устойчивость	сохраняется ли результат при возмущении	отклонение после скачка нагрузки
риск	насколько тяжёл возможный неуспех	ожидаемый ущерб
обратимость	можно ли безопасно отменить решение	время и потери при rollback

Часть показателей конфликтует: резерв увеличивает стоимость, но снижает риск; глубокая проверка повышает точность, но задерживает решение.

Критерий

В простом случае:

$J=w_{1}Q-w_{2}T-w_{3}C-w_{4}R$

$Q$ — качество результата, $T$ — время, $C$ — стоимость, $R$ — риск. Коэффициенты отражают приоритеты, поэтому их нельзя выбирать после получения результата.

Вместо свёртки можно задать ограничения: минимизировать стоимость при доступности не ниже целевой и времени восстановления не больше допустимого.

Как оценивать решение

1. Зафиксировать исходное состояние и критерии до изменения.
2. Записать допущения и прогноз.
3. Провести ограниченный эксперимент либо сравнить сценарии.
4. Измерить итог тем же способом.
5. Проверить побочные эффекты и устойчивость во времени.

Хороший исход ещё не доказывает хорошее решение: могло повезти. И наоборот, корректно принятое при известных данных решение иногда заканчивается плохо. Поэтому оцениваю и результат, и качество процесса: полноту данных, допустимость риска, своевременность.

Для роли данных в выборе см. Критерии ценности информации и минимума эвристик.

Самопроверка

• Почему метрику и её вес нужно выбирать заранее?
• Как различить качество решения и удачный исход?
• Когда ограничения понятнее взвешенной суммы?