модель машинного обучения, которая предсказывает судейство решений по раунду в UFC: MMA
Все про Блоггинг

модель машинного обучения, которая предсказывает судейство решений по раунду в UFC: MMA

TL; DR Я создал модель машинного обучения, которая предсказывает, как судьи будут оценивать бои UFC по раундам. Модель далека от совершенства, но во многих боях вполне точна. Эта модель — совершенно новый инструмент, который позволяет нам количественно оценивать схватки гораздо глубже, чем просто сказать, что бой был раздельным или единогласным решением. Вот Ветка Twitter который описывает основы — этот пост более подробный и технический.

Сразу скажу, что эта модель не идеальна. Я не утверждаю, что эта модель лучше нынешних судей, и не предлагаю, чтобы эта модель заменила человеческих судей. Вместо этого я утверждаю, что эта модель — новый инструмент, который предоставляет ценную информацию для оценки боев, которая намного богаче, чем текущие показатели, используемые при обсуждении боев, которые заканчиваются принятием решения: раздельное и единогласное решение.

Эта модель использует статистику данного раунда, чтобы предсказать, как судьи оценит тот же раунд. Я взял статистику на уровне раундов и объединил их с оценками официальных судей и прогнозами моей модели, чтобы получить приведенную ниже цифру для главного события UFC 252, Стипе Миочич против Даниэля Кормье. Давайте подробнее разберем этот рисунок ниже.

r / MMA - Представляем новый инструмент оценки боя: модель машинного обучения, которая прогнозирует судейские решения по раунду в UFC

Раунды UFC оцениваются 3 судьями, которые присуждают 10 очков победителю и 9 или меньше очков проигравшему. Если бой доходит до конца финального раунда без остановки, победитель поединка определяется путем суммирования очков каждого судьи по раундам. Боец, набравший больше очков на большинстве карточек, становится победителем. При подсчете очков судьи принимают во внимание эффективные удары и борьбу, контроль восьмиугольника, агрессивность и защиту. В значительной степени они могут быть измерены или проксированы для использования общедоступных данных. Однако статистика, очевидно, не дает полной картины раунда. В то время как статистика может рассказать хорошую историю большую часть времени, будут отдельные бои, где статистика вводит в заблуждение (например, статистика не показывает напрямую нанесенный урон), и в результате модель может с трудом набрать очки в этих раундах. должным образом.

Используя записанную статистику для данного раунда, я обучил модель машинного обучения предсказывать, как судьи оценит этот раунд. В модель включены следующие характеристики: общее количество нанесенных / выполненных ударов, нанесенных / выполненных значительных ударов (всего, в голову / тело / ноги и на расстоянии / в клинче / на земле), нокдауны, приземленные / попытки тейкдауна попытки отправки, передачи и отмены. По результатам примерно 5000 раундов, охватывающих 1600 боев UFC с 2010 года, модель правильно предсказывает, как большинство судей оценивает каждый раунд с точностью около 80%. Иными словами, во многих боях модель соглашается как минимум с 2 из 3 судей примерно в 4 из каждых 5 раундов.

Потерпите меня, если вас не интересуют технические детали (или просто переходите к следующему абзацу). Помимо оценки для каждого раунда, модель предсказывает вероятность каждой возможной оценки (среди возможных оценок 10-8, 10-9, 9-10 и 8-10). Например, модель может набрать 10-9 раундов, но вероятности каждой оценки могут быть: 2% 10-8, 65% 10-9, 33% 9-10, 0% 8-10. Хотя точность оценок модели важна, также важно, чтобы эти вероятности были хорошо откалиброваны. То есть для, скажем, 100 раундов, где модель дает красный угол 67% шансов на победу, мы надеемся, что большинство судей оценит около 67 из этих раундов как победу в красном углу. Это показано на рисунке ниже. Каждая точка объединяет большое количество раундов с аналогичными прогнозируемыми вероятностями победы в раунде «Красный угол» и сравнивает, сколько раз действительно выигрывает красный угол, с тем, как часто модель ожидает победы в «красном углу». Поскольку точки охватывают белую линию под углом 45 градусов, это означает, что для большого количества боев предсказанные вероятности модели хорошо откалиброваны.

r / MMA - Представляем новый инструмент оценки боя: модель машинного обучения, которая прогнозирует судейские решения по раунду в UFC

Возвращаясь к главному событию UFC 252, мы видим на рисунке ниже, что 2 судьи в первом раунде оценили 9-10 в пользу Кормье, а третий судья и модель оценили его в 10-9 баллов Миочич. Мы также можем видеть, что модель дает 64% вероятность того, что раунд получит 10–9 баллов, и 35% шанс получить результат 9–10. Поскольку модель не согласилась с большинством судей, модель приняла этот раунд «неправильно» — по крайней мере, ссылаясь на 80% точность ранее. Однако вероятности модели все еще хорошо откалиброваны — раунды с такой статистикой получают 9-10 баллов только в 35% случаев.

r / MMA - Представляем новый инструмент оценки боя: модель машинного обучения, которая прогнозирует судейские решения по раунду в UFC

Переходя к раунду 2 на рисунке ниже, мы видим, что все 3 судьи и модель получили в этом раунде 10–9 баллов. Однако, несмотря на то, что все 3 судьи согласились с оценкой, вероятности модели показывают, что этот раунд был трудным, даже с нокдауном. Следовательно, согласие судей не означает, что в раунде доминировал один боец.

r / MMA - Представляем новый инструмент оценки боя: модель машинного обучения, которая прогнозирует судейские решения по раунду в UFC

Возвращаясь к цифрам для раундов 1 и 2, мы видим, что 2 судьи имеют оценку 19-19 после 2 раундов, а 1 судья и модель — 20-18. Хотя оценка модели не согласуется с большинством судей, вероятности модели говорят о другом, и именно это делает эту модель такой ценной — она ​​дает больше, чем просто дискретную оценку для каждого раунда. Обратите внимание, что результат 20-18 означает, что Миочич выиграл оба раунда, и модель говорит, что это произойдет с вероятностью 0,64 x 0,58 = 37%. С другой стороны, результат 19-19 означает, что Миочич выиграл раунд 1 и проиграл раунд 2, или он проиграл раунд 1 и выиграл раунд 2 — это произойдет с вероятностью (0,64 x 0,4) + (0,35 x. 58) = 46%. Следовательно, даже несмотря на то, что модель имеет оценку 20-18, она фактически дает более высокую вероятность того, что оценка будет 19-19. Это проблема, когда мы рассматриваем только отдельные оценки судей — все же возникают менее вероятные результаты, которые могут привести к неоднозначным оценкам.

Если вы не можете осмыслить последний абзац, я надеюсь, что простой пример проиллюстрирует, что здесь происходит. Рассмотрим игру, в которой вы должны поставить деньги на несправедливую монету, которая выпадает орлом с вероятностью 51% и решкой с вероятностью 49%. Если вы сделаете ставку на 1 флип, вы поставите свои деньги на орел. Независимо от того, выиграете вы или проиграете в первом броске, если вы сделаете ставку во втором, вы снова сделаете ставку на решку. Однако, если вы вместо этого сделаете ставку на количество орлов после 2-х флипов подряд, вы сделаете ставку на 1 орел, а не на 2. Обратите внимание, что в первой ситуации, когда вы дважды ставите на один бросок, судьи подсчитывают раунды, и если бы вам пришлось делать такую ​​ставку, вы бы дважды сделали ставку на орел, хотя ожидается, что орел выпадет только один раз при двух бросках.

Это, на мой взгляд, одна из причин, по которой судейские решения могут быть столь противоречивыми. Как зритель, мы можем наблюдать первые 2 раунда этого боя и думать, что они оба были близки, поэтому счет должен быть 19-19. Однако судья должен оценивать раунды независимо и последовательно, поэтому, если Миочич вылетает из первых двух раундов (как полагает модель), оценка действительно должна быть 20-18. Но, учитывая неопределенность судейских решений, модель показывает, что более вероятно, что судьи отдадут 1 из первых 2 раундов Кормье, что дает наиболее вероятную оценку 19-19. Какой результат на самом деле правильный? Эта модель не скажет нам об этом с уверенностью, но она помогает нам вероятностно думать о том, какими будут баллы.

Подходя к концу боя, мы видим на рисунке ниже, что модель обеспечивает распределение вероятностей для очков по раундам. Многократная выборка из этих распределений на уровне раундов позволяет нам оценить распределение всех возможных окончательных оценок, а затем сравнить их с фактическими итоговыми оценочными таблицами.

r / MMA - Представляем новый инструмент оценки боя: модель машинного обучения, которая прогнозирует судейские решения по раунду в UFC

На рисунке ниже показаны окончательные оценочные карты и прогнозируемая моделью вероятность каждого возможного итогового результата. Сложив оценки модели на уровне раунда, мы видим, что модель набрала 49-46 баллов, что совпадает с оценками 2 из 3 судей. Однако, аналогично тому, что мы видели раньше, из-за того, что некоторые из этих раундов были связаны с степенью неопределенности в том, как судьи оценивают раунды, модель фактически имела наиболее вероятную окончательную оценку как 48-47, что соответствует окончательной таблице оценок 3-й судья.

r / MMA - Представляем новый инструмент оценки боя: модель машинного обучения, которая прогнозирует судейские решения по раунду в UFC

Возвращаясь к исходному рисунку, снова показанному ниже, теперь мы видим, что эта модель служит новым инструментом для оценки боев, предоставляя гораздо более подробную информацию, чем просто отдельные оценки за раунд. Модель помогает нам мыслить вероятностно о том, как оценивается каждый раунд и как эта неопределенность на уровне раунда распространяется по раундам, чтобы прийти к распределению возможных окончательных оценок. Используя эту модель, мы можем сказать, насколько вероятно, что боец ​​выиграет каждый раунд и выиграет окончательное решение с учетом его / ее результатов, что может быть более ценным, чем просто сказать, что боец ​​выиграл раздельным или единогласным решением судей.

r / MMA - Представляем новый инструмент оценки боя: модель машинного обучения, которая прогнозирует судейские решения по раунду в UFC

Для тех, кто добрался до конца, в разработке более формальное описание методологии в виде сообщения в блоге. Эту модель можно использовать для оценки любого предыдущего боя UFC, поэтому я могу опубликовать основную фигуру для дополнительных боев, если будет интерес — просто дайте мне знать. Наконец, не стесняйтесь обращаться с комментариями / вопросами, любые отзывы приветствуются!

Вам также может понравиться...

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *