Ловушки метрик. Почему показатель растёт, а результата нет
Это доклад с ProductSense, прочитанный 10 сентября 2026 года, развёрнутый в текст. Слайды здесь те же, что были на экране. Объяснений больше, чем влезает в двадцать минут. Со сцены я называл двух авторов, здесь их пятеро. И к каждой ловушке добавлен разбор, который в слот не помещался. Предмета можно не знать, всё объясняется с нуля.
Начну не с себя, а с таблицы
Передо мной план продуктовой группы на квартал. Крупный розничный банк, мобильное приложение, внутри несколько команд. Слева написано, что делать. Дальше кто попросил. Дальше оценка в неделях работы всей команды. И последняя колонка, к ней я вернусь.
Плана в этой таблице примерно вдвое больше, чем влезает в квартал.
Это не аврал и не плохое планирование. Так почти везде, куда я прихожу. Спроса на работу всегда больше, чем людей, и в этом нет ничего ненормального. Ненормальное начинается дальше, когда из этой таблицы надо что-то выбрать.
Откуда я на это смотрю
Я лидер трансформации, работаю с крупными компаниями: банки, ритейл, телеком. Прихожу обычно тогда, когда наверху уже спросили, почему всё зелёное, а денег нет.
Смотрю я без отрыва от процесса. И это дальше пригодится. Метрики живут внутри процесса, там же собираются данные, и по ним же процесс меняется. То есть круг должен замкнуться. Но есть три места, где он рвётся.
И вот что я вижу всё чаще. Работа продуктового руководителя незаметно смещается. Меньше «придумать и проверить», больше «провести через организацию». Он по-прежнему называется владельцем продукта, ходит на те же встречи, отвечает на те же письма. Но если посмотреть, чем заняты его двенадцать недель, окажется, что почти всё время ушло на согласования, статусы и объяснения, почему задача ещё не в проде.
Дело не в плохих людях и не в плохих компаниях. Дальше я разберу, как это происходит. И почему на каждом шаге всё выглядит правильно.
Проверка, которую я делаю в залах
Прошу поднять руку тех, кто может прямо сейчас сказать, какой измеримый результат должна была дать последняя выпущенная ими фича. И дала ли.
Рук поднимается мало. Обычно две-три на сто человек.
Дело не в том, что в зале слабые специалисты. Это нормальная картина, я вижу её почти везде. И причина не в лени и не в том, что кто-то не умеет считать. Причина в устройстве квартала, через который эта доработка проехала.
Маршрут одного квартала
Дальше я пройду один квартал целиком, глазами человека, который за продукт отвечает. История собрана из нескольких компаний. Детали разные, маршрут один.
Одна оговорка, без неё картинка обманывает. Цель сама в приоритеты не превращается. Это делают люди, и как раз в местах превращения всё и происходит.
По дороге будет три ловушки. На каждой я остановлюсь и покажу, как она возникает, как заметить её у себя и что с ней можно сделать. А в конце мы поднимемся над всем маршрутом, и там будет неприятный сюрприз.
Ловушка первая. У него забирают выбор
Первый участок, между целью и планом.
Вниз приезжает не цель
Наверху есть нормальная цель. Столько-то дохода от канала. Всё измеримо, всё про бизнес, спорить не с чем.
Но правление обсуждает не только, сколько канал должен принести. Оно обсуждает ещё и что конкретно для этого сделать. Люди наверху не сидят молча, у них есть опыт, чутьё и своя картина рынка. Они называют инициативы.
И вниз приезжает не цель. Вниз приезжает список задач.
Владелец продукта видит, что надо сделать, и не понимает, почему выбрали именно это. Рассуждение осталось наверху. Его не передали, потому что никому не пришло в голову, что его надо передавать. Наверху обсуждали часами, а вниз ушёл результат обсуждения.
Выбирают по последней колонке
Плана вдвое больше, чем влезает, значит, выбирать придётся. Вопрос только, по какому критерию.
Выбирают по последней колонке. Она называется вес. Шкала от нуля до трёх, ноль самый высокий.
Ноль здесь означает обязательное. Две регуляторные задачи и правда обязательны, спорить с ними не о чем. Но тот же ноль получили переводы по номеру телефона, которые попросило правление. Обязательными они не были, их просто принесли сверху. В таблице обе группы выглядят одинаково, а откуда взялся каждый ноль, из неё уже не видно.
Дальше остаётся хвост. И вот в хвосте происходит самое интересное.
В хвосте две задачи с одинаковым весом
- Сезонный продукт к осеннему окну, пять недель.
- Напоминания о брошенной заявке на кредит, две недели.
Вес у обеих одинаковый. Свободного времени в квартале мало. Пять недель туда не помещаются, две помещаются.
Берут напоминания.
Остановимся здесь. Вес у задач одинаковый, значит решение принял не вес. Решение приняла длительность.
Никто этого не решал вслух. Никто не говорил «давайте возьмём то, что короче». Просто при равных весах длительность оказалась единственным признаком, по которому задачи отличались, и она сработала как критерий.
Что такое вес без основания
Теперь про саму колонку.
Колонка заполнена. Приоритет формально расставлен. Отчётность в порядке. И претензия не к самой идее веса, вес бывает полезен. Всё ломается там, где по этому числу уже не восстановить, почему одна задача выше другой. Тогда вес перестаёт быть оценкой и становится незнанием, оформленным как число.
Иногда это даже хуже пустой клетки. Пустая честно говорит: мы не знаем. Заполненная создаёт ощущение, что всё посчитано, и спорить с ней невозможно. Ноль — это сколько денег? Насколько единица важнее двойки? Ответа нет, а цифра стоит.
Почему ещё одна методика приоритизации это не лечит
Первое, что предлагают в такой ситуации, — это взять нормальный метод. RICE, WSJF, ICE, их много, и они не пустые. Только на выходе у всех получается одно и то же, число в последней колонке. Если рассуждение, из которого это число получилось, никуда не записано, через месяц мы окажемся там же, где были, только шкала станет красивее.
Разница не в точности метода, а в том, остаётся ли после него след.
У Дона Райнертсена в «The Principles of Product Development Flow» (2009) есть наблюдение, которое меня в своё время успокоило. Если посадить несколько человек в одной комнате и попросить оценить стоимость задержки по одной и той же задаче, их интуитивные оценки разойдутся в пятьдесят раз. То есть точности здесь взять неоткуда. Гнаться за ней бессмысленно.
Зато у оценки есть автор, единица измерения и разложение, которое через квартал можно разобрать и увидеть, где промахнулись. У веса разбирать нечего. Он не бывает ошибочным, и это его главный дефект.
Как заметить это у себя
Возьмите любую задачу из своего плана и спросите, что изменится, если она выйдет, и что будет, если она не выйдет в этом квартале.
Если в ответ звучит только «это важно для клиента» и «давно просили», вы уже здесь.
Ответ не обязан быть числом. Он обязан быть таким, чтобы через квартал можно было вернуться и проверить, сбылось или нет.
Что вместо веса
Вопрос один. Что случится, если это не выйдет в этом квартале?
Не «сколько стоит сделать», а что мы теряем, если не сделаем. Отвечать на него нужно не числом, а словами, которые потом можно проверить. Что именно изменится, к какому сроку и что мы теряем, если не успеем. Чтобы обнаружить, что основания нет вообще, аналитика не нужна, это слышно в первом же ответе.
И сразу оговорка. Я не говорю, что владелец продукта решает сам. В крупной компании есть регулятор, архитектура, риски и портфель, и последнее слово часто не за ним. Но у него появляется основание, с которым можно идти наверх и спорить.
Одинаковый вес прячет разную форму потери
Зададим этот вопрос обеим нашим задачам.
Напоминания. Не выйдут сейчас, выйдут в следующем квартале, и тот же эффект мы получим позже. Потеря ровная.
Сезонный продукт. Не выйдет сейчас, окно закроется, следующая попытка только через год. Потеря с обрывом.
Обе задачи стоят под одним весом, а потери у них разной природы. Одну можно отложить, вторую нельзя. Я не говорю, что сезонный продукт важнее, мы не посчитали ни рубля. Я говорю, что одинаковый вес спрятал различие, которое обязано попасть в решение.
Точного расчёта у нас так и нет. Зато появилось основание для выбора, и теперь есть о чём спорить. Это не аналитический проект на полгода, такой разговор занимает минуты.
Что забрать с собой. Если вы ставите цель, отправляйте вниз не число, а основание под ним. Если цель приходит к вам, спросите, какое решение будут принимать по этому числу и кто именно. Вопрос неконфликтный, а работает сразу.
Если захочется пойти дальше
Со сцены я про это не говорил, времени не было. Четыре вещи, которые продолжают эту мысль и читаются за вечер.
Джон Катлер, «12 признаков фабрики фич» (текст). Проверочный лист на десять минут, годится прямо на планёрке. Если узнаёте у себя больше половины признаков, дальше можно не читать, диагноз понятен.
Гойко Аджич, «Impact Mapping» (сайт книги). Про то, как построить мост от цели к задачам явно, а не в голове у одного человека. Ровно тот обрыв контекста, с которого начинается первая ловушка.
Джошуа Арнольд, стоимость задержки (метод, опыт Maersk Line). Самое близкое к тому, что я называю основанием под приоритетом, и там же видно, чего это стоит в реальной компании.
Приоритизация через юнит-экономику, опыт Kuper, на русском (Хабр). Воронка, конверсии, проверка эффекта по A/B в конце квартала. Ближе всего к нашей практике.
Потеря первая
Если бы нашего героя спросили в конце той встречи, что он сделал, он ответил бы честно. Я не выбирал, что делать. Я выбрал то, что влезло.
Он потерял выбор. Не потому, что выбирать запретили, а потому что выбирать было не из чего. За весами нет оснований, и спорить не с чем.
Ловушка вторая. Ему дают чужую метрику
Сдвигаемся по маршруту вправо, к разработке и релизу.
Работайте быстрее
План не помещается в квартал, и сверху приходит понятное требование. Работайте быстрее.
Требование разумное. Ни одна из трёх ловушек не начинается с глупости, иначе никто бы в них не попадал.
Появляется показатель
Но как понять, стали мы быстрее или нет? Появляется показатель. Он считает время от момента, когда задачу взяли в работу, до момента, когда ею начал пользоваться клиент.
Показатель хороший. Его придумали, чтобы команда видела, где всё застревает. Здесь неделя ушла на согласование, здесь две недели ждали тестовый стенд. Это инструмент диагностики, и он для самой команды.
А потом его ставят в цель
Показатель ставят в квартальную цель и начинают спрашивать на каждом статусе.
И вот здесь происходит следующий сдвиг роли. С героя начинают спрашивать за движение работы, а эффект уходит из разговора до конца квартала.
С этого момента правила игры другие. Число видит начальник, по нему оценивают команду, при этом значительную часть задержек команда не контролирует. Согласования, чужие очереди, ожидание стенда. Сам показатель при этом не поменялся ни на йоту. Поменялось то, за что по нему спрашивают.
Среднее улучшилось, работа замедлилась
Через месяц число действительно становится лучше.
Было десять задач в квартал по тридцать дней. Стало сорок записей. Те же десять больших идут уже по тридцать пять дней. И к ним добавилось тридцать мелких по пять. Среднее падает вдвое.
По отчёту мы ускорились. По факту большие задачи стали идти дольше.
Здесь можно возразить, что дробить работу вообще-то полезно. Да, полезно. Проблема не в дроблении, а в том, что большие задачи пошли дольше, а результат не изменился. И смотреть, конечно, надо не на среднее, медиана или перцентиль честнее. Но ловушка останется. Когда показатель становится целью, появляется стимул подбирать под него ту часть работы, которую команда может выбирать.
И никто ничего не подделывал. Задачи настоящие, релизы настоящие, расчёт правильный. Просто среднее больше не отвечает на вопрос, стали мы быстрее или нет.
Это давно описано, и не мной
Про это писали независимо друг от друга и в разных областях.
Элияху Голдратт, автор теории ограничений, сказал коротко: скажите, как вы будете меня измерять, и я скажу, как я буду себя вести («Синдром стога сена», 1990). Эту фразу многие знают наизусть.
А за четырнадцать лет до него социолог Дональд Кэмпбелл сформулировал жёстче. Чем шире количественный социальный показатель используется для принятия решений, тем сильнее давление, которое его искажает. И тем выше вероятность, что он исказит процессы, которые должен отражать («Оценка воздействия планируемых социальных изменений», 1976). Он писал про школьные рейтинги и статистику преступности, но механизм тот же.
Обратите внимание на осторожность формулировки. Не обязательно сломается. Но вероятность выше.
Кто на самом деле сказал про меру и цель
Тут стоит остановиться, потому что дальше обычно звучит закон Гудхарта, и звучит он неправильно. Я сам его так цитировал.
Фраза «когда мера становится целью, она перестаёт быть хорошей мерой» Чарльзу Гудхарту не принадлежит. Гудхарт в 1975 году писал про денежные агрегаты и совсем другими словами («Problems of Monetary Management: The U.K. Experience»). Знакомую всем формулировку дала антрополог Мэрилин Стратерн через двадцать два года, разбирая аудит британских университетов («Improving ratings: audit in the British University system», European Review, 1997).
Но самый недооценённый текст здесь другой. В. Ф. Риджуэй, «Dysfunctional Consequences of Performance Measurements» (Administrative Science Quarterly, 1956), семь страниц, написаны за двадцать лет до Кэмпбелла. И там уже всё разложено по случаям. Что ломается, когда показатель один. Что ломается, когда их набор. И что ломается, когда из них собрали сводный индекс. Семьдесят лет назад, ещё до всякой продуктовой разработки.
Я это к тому, что мы имеем дело не с болезнью нашей отрасли и не с чьей-то управленческой глупостью. Это свойство самой конструкции. Показатель, по которому оценивают, начинает меняться сам.
Человек перестаёт различать цель и её измеритель
У этого есть отдельное имя. Майкл Харрис и Билл Тейлор называют это суррогацией («Don't Let Metrics Undermine Your Business», HBR, 2019). Механика простая. Стратегию трудно держать в голове. Метрика конкретна. И человек незаметно начинает считать целью уже её.
Они называют три условия, при которых это почти неизбежно: стратегия сформулирована абстрактно, метрика при этом конкретна, и сотрудник её принимает. Сложите три галочки, и дальше можно не объяснять людям, что «цифра — это не цель». Оттуда же самый известный пример. Wells Fargo и три с половиной миллиона счетов, открытых без ведома клиентов. Внутренняя метрика считала число проданных продуктов на одного клиента, и её выполнили.
Это, замечу, не история про жуликов. Это история про то, что метрика оказалась единственным конкретным предметом в разговоре.
Играют не цифрой, а границами измерения
И ещё одна вещь, которую в продуктовых разборах почти не встретишь.
В британской NHS был норматив. Пациент в приёмном покое не ждёт дольше четырёх часов. Норматив разумный. Но дальше выяснилось, что играть можно не цифрой, а самим измерением. Таймер останавливается, если пациента перевести в соседнюю палату, оформить как поступившего или подержать в машине скорой (разбор практик обхода). Ни одна минута не подрисована. Просто передвинули границу, внутри которой идёт счёт.
В нашем мире это выглядит скромнее. Задачу закрывают и заводят заново. Или не заводят вообще, пока не станет понятно, что она пойдёт быстро. Или дробят на куски, каждый из которых честно проходит за пять дней.
Отсюда правило, которое я теперь проверяю первым. Если по показателю оценивают, смотреть надо не на его значение. Смотреть надо на то, кто и как определяет момент начала и момент конца.
Хвост вместо крысы
Лучший пример этого механизма я знаю не из нашей отрасли, и он старше нас всех.
Ханой, 1902 год. Французская колониальная администрация построила городу канализацию, гордость инженерной мысли и символ той самой цивилизаторской миссии. Выяснилось, что подземная сеть идеально подходит для размножения крыс. По ней же крысы добрались до европейского квартала, до самых дорогих адресов. А после открытия Йерсеном роли крыс в переносе чумы стало не до иронии.
Администрация наняла ловцов и стала платить за убитую крысу. Числа впечатляют до сих пор. За первую неделю, с 26 апреля по 1 мая, сдали 7985 крыс. К середине мая дневной счёт перевалил за четыре тысячи, 30 мая сдали 15 041, а 12 июня 20 114 за один день. Ловцы быстро поняли свою силу и добились повышения. Один сантим за крысу превратился в два, а к 1904 году в четыре.
Крыс меньше не становилось, и тогда администрация открыла премию для всех желающих. Сантим за крысиный хвост. Хвост, а не тушку, потому что возиться с тушками санитарной службе было некогда.
Дальше происходит то, ради чего я эту историю и рассказываю. Сначала в мэрию понесли тысячи хвостов, и по отчётам всё шло прекрасно. Потом кто-то из полевых чиновников заметил на улицах города бесхвостых крыс, живых и вполне довольных жизнью. Крысу ловили, отрезали хвост и отпускали, потому что живая крыса принесёт ещё хвосты. А ещё через некоторое время санитарные инспекторы нашли в пригородах Ханоя фермы, где крыс разводили специально.
Премию отменили. Чума пришла в Ханой в 1903 году.
Историю эту я взял не из пересказов, а у историка Майкла Ванна. Он работал с колониальными архивами («Of Rats, Rice, and Race: The Great Hanoi Rat Massacre», French Colonial History, 2003).
Посмотрите, как здесь всё устроено. Цель была настоящая, крыс правда надо было извести. Метрика была разумной, число мёртвых крыс. Дальше её ради удобства учёта заменили на хвост, и вот в этот момент, а не раньше, всё и сломалось. Хвост перестал означать мёртвую крысу. Он стал означать предъявленный хвост.
Мы делаем ровно это, только без крови. Закрытая задача вместо работающей доработки. Выданная карта вместо карты, которой пользуются. Проведённая встреча вместо принятого решения. Каждый раз заместитель удобнее оригинала, потому что его легче посчитать.
Как это выглядит в масштабе страны
Разрыв между «выдано» и «этим пользуются» виден не только внутри одной команды.
Карт в стране выпущено больше пятисот сорока миллионов, это больше трёх с половиной на каждого жителя. Больше двухсот двадцати миллионов дебетовых используют реже пяти раз в месяц, то есть активными их можно назвать только условно. Тридцать процентов кредитных не активируют в первые три месяца.
Почему так получилось, из этих цифр не видно, причин тут много. Зато видно другое. «Выдано» и «этим пользуются» — это две очень разные метрики, и разрыв между ними заметен в масштабе целой страны.
Как заметить это у себя
Здесь я бы просто послушал, как команда говорит про эту метрику.
Если люди отдельно называют «сделать работу» и «сделать цифру», метрика уже живёт своей жизнью. А дальше у неё часто появляется и своё прозвище. В одной команде эту метрику называли «вынести мусор».
Слушать надо не название метрики в отчёте, а разговор команды.
Как ошибся я
Здесь я расскажу про себя, потому что я как раз тот человек, который такие метрики и ставит.
Крупная компания, сорок продуктовых команд. Правление попросило выстроить решения на данных: я не понимаю, команда хорошо поработала или плохо. Мы собрали пять метрик потока. Метрики хорошие, я за них и сейчас готов отвечать.
Дальше они поехали наверх. Директор увидел числа и начал спрашивать своих, почему медленно и почему у этих хуже. Те спустили те же вопросы вниз. А мы собирали эти числа не для такого решения. Там число — это сигнал, по которому команда сама ищет причину, а не отклонение, за которое отвечают.
Через месяц данные наверх стали приходить неполными. Команды не подрисовывали, они прятали. Не заводили задачи, вели работу мимо системы.
Что я сделал. Остановил сбор для руководства. У команд измерение осталось, они считали эти метрики для себя и дальше.
Это купило время, но конструкцию не поменяло. Пока наверху управляют по отклонениям, любое доехавшее туда число снова станет поводом спросить, почему у вас плохо.
Три предохранителя
Лучшее решение простое. Оставить диагностику диагностикой и не делать её целью. Но организационно это часто невозможно, цель уже спущена.
Тогда у показателя должно быть три вещи сразу.
- Срок. До конца квартала, дальше он снова становится диагностикой.
- Ограничитель. Показатель, который при этом нельзя ухудшить.
- Зона влияния. Заранее ясно, какую часть числа команда может изменить.
Написать рядом «не оценивайте по нему людей» недостаточно, это не работает.
И если он всё-таки едет наверх, там должно быть заранее понятно, для какого решения его смотрят и для какого не используют. Если такой показатель ставите вы, поставьте к нему ограничитель сами. Если ставят вам, попросите ограничитель и срок. Это не конфликт, а уточнение.
Разложить свои метрики на четыре кучки
Ход, который я подсмотрел у Дэвида Андерсона и с тех пор делаю на первой же встрече (Kanban University). Он делит метрики на четыре кучки. Критерии пригодности, то есть то, по чему заказчик решает, годимся мы или нет. Индикаторы здоровья, за которыми следят, чтобы вовремя заметить. Драйверы улучшения, их берут в работу на время и потом отпускают. И метрики тщеславия, которые показывают, но по ним ничего не решают.
Возьмите свой набор и разложите. Обычно выясняются две вещи. Во-первых, драйверов улучшения оказывается многовато, и половина из них живёт в целях уже третий год. Это и есть диагностика, которую забыли отпустить. Во-вторых, критериев пригодности не оказывается вовсе, потому что их никто не спрашивал.
Потеря вторая
Наш герой в этот момент отвечает всё так же честно. Мне сказали работать быстрее. Я стал работать быстрее.
Он потерял предмет ответственности. Показатель, за который с него теперь спрашивают, про конвейер. Про конверсию и удержание его не спросят до конца квартала.
Ловушка третья. За результат перестают спрашивать
Правый край маршрута. Стадия эффекта на картинке нарисована, а в тех компаниях, куда меня зовут, на ней часто никого нет.
Квартал зелёный, доход не вырос
Квартал закончился. Выпустили четыре задачи за двенадцать недель, показатель скорости зелёный, все командные цели выполнены.
А доход канала не вырос.
На разборе результатов спрашивают, где обещанный рост. И ответить нечего. В колонке веса стояли единицы и двойки, а они не переводятся ни в рубли, ни в проценты.
Но самое дорогое дальше
Никто не вернулся посмотреть, что получилось.
Ни по одной из четырёх задач заранее не назначили дату проверки. До старта не сняли базовые показатели, поэтому теперь даже сравнивать не с чем.
И это не потому, что кто-то ленивый. Возврат просто не был встроен в работу. После релиза процесс заканчивался.
Почему это дорого
Видно по чужой статистике.
Ронни Кохави строил платформу экспериментов в Microsoft, потом работал в Airbnb. По его данным, целевую метрику улучшает примерно треть экспериментов. Ещё треть не меняет ничего, оставшаяся треть делает хуже. В Airbnb из двухсот пятидесяти идей заметный эффект дали двадцать. Подробный разбор он выкладывал докладом на KDD (PDF).
Это не ошибки, это нормальная цена проверки. Даже те, кто проверяет постоянно, заранее не знают, что сработает.
А мы обычно не проверяем вообще и при этом уверены, что выпустили то, что нужно.
Идеальные данные и неверный вывод
Возражение, которое я здесь чаще всего слышу, звучит так. У нас есть аналитика, мы всё видим. Но видеть ещё не значит проверять. Вот лучшая иллюстрация, которую я знаю.
eBay много лет покупал поисковую рекламу по собственному бренду. Данные показывали отличную отдачу. Человек кликнул по объявлению, пришёл, купил. Потом компания выключила эту рекламу в шестидесяти восьми регионах и сравнила с остальными. Выяснилось, что почти ничего не изменилось. Те же люди приходили сами, просто теперь бесплатно (свод трёх случаев, с Uber и Airbnb).
Данные были идеальные. Вывод был неверный, потому что никто не задал вопрос: а что случилось бы в любом случае?
Мне этот вопрос кажется самым дешёвым инструментом из всех, что здесь перечислены. Он ничего не стоит и задаётся до начала работы.
Как заметить это у себя
Третью ловушку можно проверить вообще без отчётов.
Я бы проверил это через календарь. Есть ли там заранее назначенная точка проверки после релиза? Встреча, разбор, запись в системе экспериментов, что угодно.
Чаще всего её там нет.
Четыре поля, которые заполняются до старта
Здесь мы ничего нового не придумали.
В Spotify инициативу оформляют как ставку, схема называется DIBB. Это четыре английских слова. Data, данные, что мы видим в цифрах. Insight, что из них следует. Belief, во что мы после этого поверили. Bet, ставка, которую на этом делаем. У Strategyzer есть карточка теста: во что верим, чем проверим, по какому числу поймём и кто отвечает.
Логика везде одна. Если заранее не сказал, чего ждёшь, потом из любого исхода можно сделать удобный вывод.
Нам столько полей не нужно, достаточно четырёх.
- База. Что было до старта. В нашем случае конверсия из карточки в заявку, четыре и одна десятая процента.
- Ожидание. Что изменится и насколько. Вырастет до пяти процентов за первые четыре недели окна.
- Дата. Когда возвращаемся. Пятнадцатое ноября, и сразу в календарь, а не в намерение.
- Имя. Кто конкретно придёт разбираться, что произошло с работой и с клиентом.
Ключевое слово здесь «до». После старта те же четыре поля превращаются в объяснение результата, а это совсем другой жанр.
Когда задачу ставите вы, ожидание лучше записать самому. Не оставлять это тому, кто будет делать. Когда задачу ставят вам, первый вопрос тот же. Когда и кто придёт смотреть результат? И конца квартала ждать не обязательно. Через неделю можно проверить, работает ли механика, а эффект смотреть позже.
Возврат по расписанию, а не когда вспомнили
Четыре поля решают вопрос по одной задаче. Дальше возникает вопрос, как сделать возврат привычкой, а не подвигом.
Самый известный ответ здесь у Amazon. У них есть недельный разбор бизнеса. Числа приходят туда по расписанию, а не когда о них вспомнили. И разбирают там управляемые входные метрики, а не выручку (разбор на Commoncog). Логика простая. Выручку подвинуть напрямую нельзя, а выбор, цену и скорость доставки можно.
Рядом стоит текст, который я советую читать целиком, он на две страницы. Письмо Джеффа Безоса акционерам за 2016 год, раздел «Resist Proxies» (PDF). Он описывает ровно нашу болезнь. Процесс становится заместителем результата, метрика заместителем клиента, и компания начинает обслуживать заместителя. Хорошая проверка для себя, потому что заместитель всегда удобнее оригинала.
Потеря третья
Наш герой отвечает в третий раз. Меня никто не спросил, что из этого получилось.
Он потерял возможность учиться. Следующий квартал он будет планировать ровно так же, как этот, потому что узнать, что сработало, было неоткуда.
Это не три поломки, это один круг
Теперь посмотрим на весь квартал целиком.
Приоритизация получает искажённый вход с двух сторон. Сверху приходят задачи без оснований. Снизу приходят метрики, ставшие целью. Проверки на выходе нет, поэтому ошибка не всплывает и заходит на второй круг.
Каждая ловушка по отдельности выглядит как отдельная неприятность, которую можно починить отдельно. Но чинить их по одной бесполезно. Круг замкнут, и любая починенная часть снова получает искажённый вход от соседней.
Что случилось с человеком
Показать я хочу не круг, а то, что случилось с человеком.
В начале квартала у владельца продукта на руках было три числа. Конверсия. Удержание. Доход канала. Он про продукт, и метрики у него продуктовые.
Вот те же три плитки в конце квартала. Время до клиента. Число задач за квартал. Выполнение командных целей. Все три появились по дороге, каждая на своей станции.
Оба набора честные, и оба считаются правильно. Никто не подменял метрики специально.
А единственным продуктовым выбором в этой истории оказалось взять то, что влезает.
Три месяца назад он управлял продуктом
Сегодня он управляет процессом.
Должность ему никто не менял и разговора с ним не проводил. Просто на каждой станции у него забирали часть продуктовой роли и давали взамен разумную процессную обязанность. И каждый раз это выглядело правильно.
То есть он теряет управляемость продуктом, и происходит это не одним решением, а по частям.
Попадает не показатель
Ловушек было три. Но попадает в них не показатель. Попадаете в них вы.
И это незаметно именно потому, что собирается из мелких разумных шагов, ни один из которых не выглядит ошибкой.
Отсюда простой вопрос. На что отвечают ваши показатели? Если только на «как быстро мы сделали», вы управляете уже не продуктом, а производственным потоком. Это нужная работа, её кто-то должен делать. Вопрос в том, ваша ли она.
Три вещи, которые не отдавать
Раз круг замкнут, чинить его надо во всех трёх местах сразу. Иначе починенная часть снова получит искажённый вход от соседней. Отсюда и три вещи, и каждая закрывает свой разрыв: основание чинит вход сверху, метрика результата чинит вход снизу, проверка замыкает выход обратно на вход.
Отдавать можно многое. Не отдавайте три вещи.
Первое. Основание под приоритетом. Не вес, а ответ на вопрос, что мы теряем, если задача не выйдет в этом квартале. С этим можно прийти наверх и спорить.
Второе. Метрику результата продукта. Для потребительского продукта это про пользователя, для платформы или B2B она своя, но она измеряет результат, а не движение работы. А если процессную всё-таки сделали целью, то со сроком, ограничителем и зоной влияния. И если она едет наверх, заранее договоритесь, для какого решения её там смотрят.
Третье. Дату и имя проверки, записанные до старта.
Тот же квартал заново
Посмотрим, как выглядел бы тот же квартал, если бы эти три вещи были на месте.
Владелец продукта приходит к правлению с теми самыми переводами по номеру телефона. Пять недель, высший приоритет, и попали они туда только потому, что задачу принесло само правление. Тот самый ноль из таблицы.
И задаёт им тот же вопрос. Что случится, если переводы не выйдут в этом квартале? Выйдут в следующем, тот же эффект получим позже. Потеря ровная. А у сезонного продукта окно закрывается на год, второй попытки не будет. Давайте сравним не веса, а это.
И вот здесь у правления впервые появляется основание пересмотреть свой ноль. Переводы перестают быть автоматически неприкасаемыми, а сезонный продукт возвращается в настоящий выбор. Допустим, сравнив последствия, правление выбирает сезонный продукт.
Обратите внимание, что почти ничего не изменилось. Та же команда, те же недели, та же загрузка. Никто не стал работать быстрее и никто не сделал больше. Одна задача вытеснила другую.
Скорость при этом не улучшилась, и это правильно. Метрика осталась диагностической.
Счастливого финала вроде «и заработали сотни миллионов» здесь не будет. Изменилось другое. По каждой задаче заранее записано, чего ждём, до какой даты и кто пойдёт смотреть.
Новый квартал не обязательно успешнее. Он управляемее. И к его концу владелец продукта остался владельцем продукта.
Три вопроса к любой вашей метрике
Ранние признаки я давал по ходу, они рассчитаны на симптомы. Если нужен тест поглубже, возьмите любую метрику, по которой с вас спрашивают, и задайте ей три вопроса.
Первый. Какое решение принимают, глядя на эту метрику, и кто именно его принимает? Не «мы следим за конверсией», а конкретнее. Число выросло или упало. Что после этого поменяется в работе? Чья под этим будет подпись? Не получается назвать ни решение, ни человека, значит, на метрику смотрят по привычке.
Второй. На какую часть этой метрики влияет тот, кого по ней оценивают? Возьмите время до клиента и посмотрите, сколько в нём собственно работы команды. А сколько согласований и ожидания чужих очередей. Чем меньше человек влияет на то, за что его оценивают, тем сильнее соблазн влиять не на результат, а на способ измерения.
Третий. Когда и по какому числу вы вернётесь проверить, что решение сработало? Нужны три вещи сразу. Дата в календаре. База, снятая до старта. И имя того, кто придёт. Если нет хотя бы одной, возврата не будет.
Десять минут на метрику. И заодно станет понятно, чем вы сегодня управляете.
А если цель ставите вы
Весь текст написан глазами того, кому цель приезжает сверху. Но половина читателей сидит на другом конце этой трубы. Им ловушки обходятся дороже, потому что ошибка размножается на всех, кто внизу.
Три вещи, которые делает тот, кто ставит.
Отправляет вниз основание, а не только число. Если вместе с целью едет список задач, скажите, на какую метрику он должен повлиять и за счёт чего. Это одна фраза, а обрыв контекста она закрывает.
Называет решение, которое будет принимать по показателю. Не «хочу видеть время до клиента», а «смотрю на него, чтобы понять, куда ставить людей в следующем квартале». Тогда внизу понятно, что именно вы увидите, и прятать становится незачем.
Сам приходит на проверку. Не спрашивать статус, а прийти пятнадцатого ноября и посмотреть, что случилось с конверсией. Один такой приход меняет поведение сильнее, чем десять писем про культуру данных.
Что мне обычно возражают
После доклада всегда есть пять-десять минут вопросов, и вопросы там повторяются из зала в зал. Отвечаю на самые частые, потому что в тексте это уместнее, чем на сцене.
«Почему основанием должно быть число? У меня регуляторика, безопасность, инфраструктура». Число не критерий, а след рассуждения. Основание может быть качественным, если его можно проверить: что мы ждём, к какому сроку и чем поймём, что не сбылось. А регуляторные задачи по эффекту вообще не приоритизируются, это ограничение, а не выбор. Спор идёт про остальное.
«Цену задержки можно нарисовать под уже принятое решение». Можно, и рисуют. Но нам важна не точность оценки, а видимость допущений. У суммы есть автор, единица и разложение, которое через квартал можно разобрать и понять, где промахнулись. У веса разбирать нечего. То есть метод защищается не объективностью, а тем, что оставляет след.
«Почему потоковые метрики нельзя показывать руководству? Без них не видно узких мест». Можно и нужно. Проблема не в видимости, а в неоговорённом использовании. Ломается всё в тот момент, когда отклонение читается как чья-то вина. Тогда цифру начинают прятать, и наверху перестаёт быть видно вообще что-либо.
«Продакт не контролирует ни приоритеты, ни зависимости, ни комплаенс. Вы предлагаете отвечать за то, на что он не влияет?» Речь не про контроль. Три вещи остаются при нём почти в любой конфигурации. Основание, которое он приносит в разговор. Метрика результата, которую он не отдаёт. Проверка, которую он назначает сам. Ни одна из трёх не требует мандата на прибыль и убытки. Требуется только не соглашаться работать без них молча.
«А если продукт — это платформа, antifraud или комплаенс? Где там результат продукта?» Самый неудобный вопрос, и в докладе на него была только декларация. Здесь отвечу по типам.
- Внутренняя платформа. Время и стоимость подключения потребляющей команды. И доля команд, которые сервис реально используют, а не подключены формально.
- Antifraud. Предотвращённый ущерб при заданном уровне ложных срабатываний. Обе половины обязательны, без второй метрика ломается в любую сторону.
- Комплаенс. По эффекту не приоритизируется вовсе, это ограничение. Продуктовый вопрос там другой, сколько стоит соответствие и можно ли добиться его дешевле.
Общий признак простой. Метрика результата отвечает, что изменилось у того, ради кого это делали. Метрика процесса отвечает, сколько мы сделали.
«У нас зрелая культура экспериментов, мы всё проверяем». Отлично. Тогда простая проверка: сколько задач вы закрыли в прошлом квартале и к скольким из них кто-то вернулся с вопросом об эффекте, а не о статусе.
Что почитать дальше
Список, который я раздавал в зале. Здесь он в сокращении, полностью со всеми двадцатью двумя позициями лежит отдельным файлом.
Про то, откуда это всё пошло: Риджуэй (1956), Кэмпбелл (1976), Стратерн (1997). Три текста, между первым и последним сорок один год, а описывают они одно и то же.
Если читать только два текста, я бы взял эти. Дон Райнертсен, «The Principles of Product Development Flow» (2009), про экономику разработки, очереди и стоимость задержки. И восемнадцать минут Триши Ван на TED, «The human insights missing from big data», про Nokia и предвзятость к измеримому.
Если ловушка у вас первая: Катлер, Аджич, Арнольд, разбор Kuper на Хабре. Ссылки стоят выше, в разделе про основание под приоритетом.
Если вторая, тут список длиннее. Харрис и Тейлор про суррогацию. Джерри Мюллер, «The Tyranny of Metrics» (2018), где школы, полиция и кардиохирурги разобраны историком за полвека, а если книгу читать некогда, есть разговор на EconTalk. Doc Norton, «Escape Velocity», про то, почему скорость команды не годится ни для прогноза, ни для диагностики. И разбор Яндекса о хороших и плохих метриках на примере Браузера (Хабр).
Если третья: Кохави, история eBay, письмо Безоса, недельный разбор Amazon и шкала уверенности Итамара Гилада (текст) про то, как соединить суждение и данные, не выбирая между ними.
Не чините метрику, чините передачу
Вернусь к тому, с чего начал.
Метрике можно доверять, если вы понимаете, какое ожидание она проверяет, и возвращаетесь посмотреть, сбылось ли оно. Всё остальное — это арифметика, а она у всех в порядке.
Здесь же проходит граница между продуктовой работой и процессной. Пока вы возвращаетесь к эффекту, продукт остаётся вашим.
Если из всего текста захочется сделать что-то завтра, возьмите одну метрику, по которой с вас спрашивают, и задайте ей три вопроса из раздела «Три вопроса к любой вашей метрике». Десять минут.