HLTV vs. Thorin: чей рейтинг круче

Алексей «lopanja» Борисов

В CS:GO в списках лучших часто оказываются команды, казалось бы, не заслуживающие этого. Проблема кроется в несовершенных метриках, которые используют аналитики. CyberSport.ru сравнил подходы HLTV.org и Данкана «Thorin» Шилдса и выяснил, как составляются два самых известных рейтинга, какой лучше и как все это связано с методами гуманитарных научных исследований.



6 марта портал HLTV.org и аналитик  Данкан «Thorin» Шилдс обновили рейтинги команд CS:GO. Топ-10 в этот раз отличается лишь в одном: в десятку лучших по версии HLTV.org попали  Ninjas in Pyjamas, а Thorin выбрал  OpTic Gaming. Однако места распределились по-разному: в половине случаев рейтинги разошлись. В этом нет ничего удивительного, ведь Шилдс и статистики HLTV составляют списки по-разному. Но почему они используют разные метрики? Какая из них точнее отражает состояние сцены? Любой рейтинг претендует на объективность, а объективность – одно из главных научных притязаний. А подходы Торина и HLTV как раз напоминают основные методы гуманитарных наук – количественные и качественные.



Когда проиграл все, что мог, но остался в десятке лучших HLTV

Количественные и качественные методы

В количественных методах используется строгий и формальный подход. Выводы делаются на основании выверенных математических расчетов, поэтому в таких методах очень важна модель или формула. Часто именно количественные методы могут точнее ответить на исследовательский вопрос. Однако они не универсальны. Иногда недостаточно собрать показатели и обработать их. Порой ситуации требуют более детального и внимательного изучения. В таких случаях используют качественные методы. Они помогают понять контекст ситуации и глубже погрузиться в изучаемый объект. Отметим, что оба подхода не противоречат друг другу, просто они опираются на разные предпосылки, а их использование зависит от конкретного случая. Порой их вообще надо комбинировать. Но как это относится к Thorin и HLTV?



Рейтинг HLTV.org

HLTV славится подробной статистической базой, которую использует при составлении рейтинга. Занимается этим совладелец сайта, эксперт по статистике CS:GO  Петар «Tgwri1s» Миланович. Раньше в HLTV работал математик Жюльен «topeiko» Хоттиас. В блогах topeiko неоднократно намекал, что для расчета рейтинга HLTV.org использует сложную формулу, которая учитывает много параметров. Однако портал ее не раскрывает, поэтому оценить правдивость слов topeiko невозможно. Но конфиденциальность оправдана, ведь статистика — их хлеб!



Никто не будет критиковать твою метрику, если ее не раскрывать

Рейтинг Thorin

Данкан Шилдс в своих рейтингах отталкивается не только от результатов игр и итогов турниров, но и от неигровых нюансов. Что, если сильная команда проиграла турнир из-за болезни капитана? Или это внутренние конфликты в коллективе повлияли на результат встречи? Это стоит учитывать. Мы не знаем, на что Thorin обращает внимание, а на что нет. Забудем про слова Tgwri1s о том, что сам Thorin разбирается в статистике очень посредственно. Это неважно.  Вопрос вообще в другом: какой из подходов лучше описывает соревновательный CS:GO? Формально-математический или описательно-журналистский? Или же есть третий путь?


Почему статистика обманчива

В одном из недавних видео Thorin затронул тему статистики в игре. По его мнению, аналитики постоянно апеллируют к статистике, но при этом совершенно в нее не вникают. Шилдс заявляет, что на сцене нет людей, которые одновременно хорошо разбираются в цифрах и самой игре. При этом Thorin оговаривается, что и сама статистика может вводить в заблуждение. В пример он приводит одну из игр  Андреаса «Xyp9x» Хойслета, где игрок  Astralis был очень полезным, выигрывал важнейшие клатчи, но итоговая статистика игры от HLTV это не отразила. Другой гипотетический пример:  Natus Vincere G2A успешно играют Train против большинства команд, и их соперники начинают постоянно банить эту карту. А условная  SK Gaming не боится ее играть и дважды обыгрывает Na’Vi. Статистика скажет, что последние игры на Train Na’Vi проиграли, но ведь это не значит, что они стали играть карту хуже! Выходит, что одной статистикой нельзя вывести достоверное и авторитетное знание об игре.



Почему мы доверяем HLTV.org

Репутация портала и упор на строгую статистику играют на руку HLTV.org. Из-за этого их рейтинг кажется более правдивым. Однако за последний год сцена сильно изменилась, команды постоянно сменяют друг друга на пьедесталах. Осталось не так много коллективов, показывающих стабильно высокие результаты в долгосрочной перспективе. А рейтинг HLTV.org отталкивается именно от достижений команд за несколько месяцев. Поэтому Ninjas in Pyjamas до сих пор остаются в топе, хотя их текущая игра говорит об обратном. Формула HLTV несовершенна.

Рейтинг Торина удостоился высокой оценки от topeiko — 7 из 10. Но очевидно: подход Шилдса тоже далеко не идеален. Британец игнорирует выступления команд в онлайне, ограничивается составлением топ-10 и почти не опирается на статистику. Неизвестно, что аналитик учитывает кроме результатов. Итог: слабая обоснованность.

Рейтинги команд составляют не только Торин и HLTV, но и GosuGamers, и ESL, и сайт 99damage. У каждого подхода свои сильные и слабые стороны, каждый рейтинг в чем-то хорош. Торин прав в одном: игру нельзя описать одними лишь цифрами. Идеальный вариант — комбинация методов, которая будет покрывать недостатки какого-то одного подхода. Но разработать новую методику  — потратить много времени и сил. Никто не готов отказываться от привычных метрик. Так что в комментариях еще не раз помянут добрым словом неадекватность их всех.

К списку новостей

Комментарии

  • Mista , знающий
    Ох уж эти мемасы....
     
  • Marvelous , новичок
    К HLTV иногда бывают вопросы по поводу той или иной команды, но к Торину эти вопросы всегда.
     
  • luckerok , профи
    Ну чет не понимаю торина, говорит что он затащил несколько больше клатчей значит должен быть выше в рейтинге чем тиммейты, то есть если ты вообще не кого не убиваешь, а только делаешь клатчи значит ты лучше всех? та нет убийство в клатче дает больше к рейтингу чем кил в середине раунда, но без убийст тиммейтов ты бы вообще не дошел до клатч ситуации 1в1, 1в2, все чет забывают что каждый кил важен, к примеру девайс убил 3-х, позволил выйти на ситуацию 1в1, хур9к тащит этот раунд сделал всего 1 кил и кто больше пользы принес девайс или хур9к????
     
    • Vizvezdenec , godlike
      luckerok, Да лол, торин просто аутист, который рейтинги высасывает из пальца в каждом первом случае, причём палец этот - часть организма фанбоя экзистнса и шокса.
       
      • ChernovVVV , бывалый
        Vizvezdenec, Предоставь нам свой топ,юный злой мальчик критикующий профессиональных аналитиков.
         
        • Vizvezdenec , godlike
          Отредактировано 15.03.2017 15:05:15
          ChernovVVV, Нип 5 место, дальше разберёшься. Профессиональные фанбои профессионального аналитика торина как всегда доставляют. Особенно забавно, что они кого-то старше их на 6 лет называют "юными" :D
           
          • rezote bang , бывалый
            Vizvezdenec, прошло два года, взв1 все еще фанбой нипов и пытается впихнуть их в топ20, где им уже больше 2х лет не место.
             
          • ChernovVVV , бывалый
            Vizvezdenec, Критику воспринимают только тогда ,когда она конструктивна.Что сделал ты: пропищал что "Торин аутист"и всё..Я часто такое вижу от детей не старше 16 лет.Если бы ты смог объяснить свою точку зрения нормально,и объяснил в чём не прав Торин- то это другой разговор.Так что среди Торина и тебя я выбираю аутистом тебя.
             
            • Vizvezdenec , godlike
              ChernovVVV, У Торина справка есть о том, что у него синдром аспергера. Аргументы? Пожалуйста (топ от 9 февраля обсуждаем, я нечасто чекаю топы торина, что нашёл-то нашёл). Оптик - топ-3 команда мира, нипы - топ-5 (и поднимаются в рейтинге!). При этом первые обошли СК. Последний турнир оптик - 12-14 место на мажоре, ск (с заменой в виде старичка фокса) топ 3-4, до этого результаты одинаковы и лишь где-то в отдалении виднеется один лан, где оптик выступили лучше ск (за год примерно 1 и набрался), и то там ск были 3-4. Нипы - топ-5. Эпик. Чуваки имеют в онлайне лузстрик 8 игр, чуваки не вышли на мажор, просто с треском проиграв вега сквадрон, у них и ланов-то не набралось за послдение полгода больше 2, т.к. они квалы не проходят, но... Топ-5. Прекрасно. Ниже них располагаются, например, фейз, которые топ 5-8 или 3-4 были на всех ланах, где они побывали, при этом катаются они на каждый первый лан, т.к. в онлайне вообще всех дерут и проходят все квалы-но соре, они ниже нипов, которые скоро скатятся до уровня стака барбара. Гамбит выше нави-это интересный тоже прикол. Да, нави не в той форме, которая бы устраивала их фанатов (хотя 2 года назад подобная же форма всех на 100% устраивала), но гамбит точно ничем не лучше, они занимают на ланах такие же места (из тех, где есть тир-1 тимы), при этом в плейофф отлетают в мясище от, наверное, самых лёгких противников (аля фнатик перед решафлом и т.д.), а нави проигрывают на той же стадии, да, но будущим победителям турнира. Опять же норс -3 позиции, пропуская вперёд нипов, ниже оптик, хотя ребята стабильно ездят на ланы и стабильно там выступают, а нипы никуда не выходят. Ну как-то так. Больше всего меня тригернуло, что команды, которые абсолютно провалили главный турнир этой части сезона, не упали (оптик) или вообще поднялись в рейтинге (нип). И не то чтобы у них это прям как-то из общей канвы сильно выпадало. Разумеется, на других турнирах они выступают лучше, но блин, они там 5-8 или 3-4 максимум места берут. Это вообще за гранью человеческой логики. А если говорить про текущий топ-топ хлтв сейчас очень даже норм (возможно, по той причине, что он таки делается на основе каких-то объективных вещей), ну мб хероик высоковаты, как и нипы, но не более того. Он начинает сильно сбоить, когда начинается чехарда из кучи ланов подряд, но в спокойной относительно ситуации он действительно хорош и достаточно хорошо отображает реальное положение дел.
               
            • poloten4 , Its Over 9000!!!
              ChernovVVV,  1. Его называли идиотом профессиональные игроки еще когда половина этого сайта о контре не знала. 2. Сейчас его называют идиотом сотрудники крупного сайта, занимающегося статистикой. 3. Его называют идиотом все ставочники, потому что проиграли все деньги на его предикшенах4. Торина выиграла в предсказаниях собака.5. У торина один из видов аутизма.Всё кроме третьего пункта - сухие факты. Тебе этого мало?
               
    • ChernovVVV , бывалый
      luckerok, Торин имел ввиду совсем другое.Например Χyp9k сделал за 10 раундов всего лишь 2 килла,а девайс делает в каждом раунде по убийству.и в каком то из раундов тот же xyp9x тащит клатч 1vs4 и тем самым спасая команду.У противников нет экономики,дальше эко и т.д.В итоге он может и быть самым последним по статистике,но он взял самый важный раунд для победы (это чисто пример)
       
      • poloten4 , Its Over 9000!!!
        Отредактировано 15.03.2017 17:06:20
        ChernovVVV,  Хлтв учитывает клатчи, кек
         
      • poloten4 , Its Over 9000!!!
        ChernovVVV,  А еще этот пример являет собой дичайший бред сивой кобылы, потому что статистику приводят карту/матч/чемпионат/сезон, но гений статистики Торин считает бредовым, что чел, внесший большой импакт в одном раунде, а в остальных 29 имел 0 пользы, должен быть выше по итогу, чем люди, которые внесли меньше условного хур9х'а за тот раунд, зато в разбросе на всю карту сделали раз в 10 больше. Ну то есть делает вывод по одному раунду из всего матча. Торину после такого примера стоит сходить попробовать закончить школу.
         
      • luckerok , профи
        ChernovVVV,  1 раунд делает победу?? ты же понимаешь что нужно выиграть 16 раундов? не 1(2-3 с учетом эко) К примеру идет играл счет 15-14 не в пользу астралис счет у девайса 35-12, а у хур9к 3-23, хур9к делает клатч 1в4 что переводит игру в допы и он имеет счет 7-23, то по твоему он должен быть в рейтинге лучше девайса?? та нет если бы он тащил на протяжении всего матча не было бы такой ситуации и легко бы выиграли матч. На хлтв считают не просто кда, а важность каждого кила, к примеру очень важен опен фраг за него дают нормально рейтинг, за фраг против эко дают очень мало, за фраг в середине раунда дают средне, за фраги во время клатча дают много, за смерть против эко отнимают много, за киллы когда у тебя эко дают больше рейтинга и т.д
         
  • Strayer , профи
    Комментарий скрыт
     
  • Ursusuk , знающий
    я походу дозанулся вашими мемасами, вызывайте скорую
     
  • firefly , профи
    Такое чувство что Торин купил контрольный пакет акций cybersport.ru и теперь его упоминают в каждой третьей новости по сиэсго
     
  • Vizvezdenec , godlike
    Выбор эскобара.
     
  • @cat , профи
    Куда мы без Торина, в эту обычную среду.
     
  • Airin , бывалый
    Интересно, что было бы, если бы все турнирные матчи оценивались по рейтингу мм? Можно ли было бы назвать лучшей ту команду, у которой суммарный рейтинг участников был бы максимальным на данный момент? Если, конечно, брать те числа, которые внутри системы рангов сидят. Возможно, такой рейтинг мог бы стать эталонным для кс го)
     
  • gavnoman2 , знающий
    eeeeee Thotin
     
  • miami_jazz , новичок
    Это всё очень субъективно, ведь бывает сложная сетка, бывает, что не выдался день у одного игрока, а он, например, главный снайпер и т.д, и т.п. Так что, думаю, не стоит оценивать команды исключительно по результатам. Ведь что такое команда – это 5 игроков (тренера и аналитика здесь не будем учитывать). Так не лучше ли учитывать силу команды по сумме результатов каждого из игроков? Ведь если команда будет проигрывать, то это и так отразится на статистике каждого, в итоге и конечный показатель команды будет низкий. Суть в том, что на сегодняшний день система оценки каждого из игроков, по моему мнению, не отражает реальной картины. Тогда давайте сперва определимся с тем, как нужно считать КПД каждого из игроков. Как по мне, то нужно учитывать не ADR, и не соотношение киллсов и смертей (KD), а выработать систему, в которой учитывалось бы численное соотношение игроков в обеих командах на момент килла или смерти. Разумеется, отдельно нужно поощрять энтри фраги и клатчи. Ведь нужно понимать, что фраг, сделанный, когда ваша команда в меньшинстве, гораздо важнее фрага, когда у вашей команды уже есть численное преимущество. Соответственно и начислять баллы по примерно такой системе. Если игрок сделал минус при численном равенстве, то плюс 5 баллов, если умер в такой же ситуации – минус 5 баллов. Если игрок делает минус в ситуация 4 в 5, т.е. разница в 1 игрока, то 5+1=6 баллов, если умер в этой ситуации, то 5-1=4 балла, т.к. тащить когда вас меньше - сложнее. Т.е. если игрок остался 1 в 5 и его убили, то он теряет 5-4=1 балл. А вот если бы соперник сделал минус, в то время, когда у них преимущество в 1 игрока, то 5-1=4 балла. В то же время если тот же самый соперник умер, когда у его команды преимущество в одного игрока, то вычиталось бы 5+1=6 баллов, т.к. он лишил команду численного перевеса. Таким образом всё это считались бы по такой схеме: За каждый фраг добавлять 5 + Ч.Р., где Ч.Р. - численная разность (кол. игроков соперника – кол. игроков в его команде) , которая может быть как положительной, если команда игрока была в меньшинстве, так и отрицательной – если в большинстве; За каждую смерть отнимать 5 + Ч.Р. - численная разность (кол. игроков в его команде – кол. игроков в команде соперника), которая может быть как положительной, если команда игрока была в большинстве, так и отрицательной – если в меньшинстве; За энтри фраг давать не 5 баллов, а 10; За взятые клатчи к баллам за фраги добавлять 5*(Ч.Р.+1), т.е. за взятие клатча 1 в 1 = 10 баллов, за клатч 1 в 2 = 16 баллов, 1 в 3 = 22 балла, 1 в 4 = 28, 1 в 5 = 34 балла. Остаётся момент с ассистами. Важный аспект, но, если внимательно разобраться – не столь принципиальный, т.к. он может немного влиять на статистику конкретного игрока, но не команды в целом, т.к. в итоге фраг с ассистом или нет – это всего лишь 1 фраг.
     
    • luckerok , профи
      miami_jazz,  в рейтинге и так считают важность килов(опен фраги, клатчи, фраги против эко, фраги во время эко, смерти против эко, еще АДР очень важен), но идея с численным большинством слишком геморная, так как к примеру когда ситуация 1в5 игрок идет сейвить и за ним все бегут сломя голову, он делает -4, по твоему это стоит 30 баллов? такие ситуации отследить тяжелее и все это подсчитывать будет сложно
       
  • poloten4 , Its Over 9000!!!
    Отредактировано 15.03.2017 17:04:59
    Рейтинги Торина гораздо важнее для психиатрии, чем для социологии. > А условная SK Gaming не боится ее играть и дважды обыгрывает Na’Vi. Статистика скажет, что последние игры на Train Na’Vi проиграли, но ведь это не значит, что они стали играть карту хуже! Это значит, что нави играют трейн хуже ск, и то что автор поста симпатизирует торину с такой логикой. Да и вся статья - это отличный наброс. В расчетах хлтв не учитываются такие мелочи, которые в худшем случае будут влиять на 1 позицию 1-2 раза в год. Проблема больше в сингл элиминейшенах на мажоре, которые любые подобные подсчеты на нет сводят.
     
  • SSbest , профи
    Есть 2 стула...
     
  • Крыса , знающий
    HLTV опирается на свои формулы, Торин - на свои представления, и тот и другой подход устарел. Нужно не формулы писать учитывающие все на свете, а использовать программное самообучение - программа должна постоянно улучшать свою формулу, а человек - регулировать этот процесс, но не более. В идеале такая программа будет учитывать все в плоть до новостей о том что у того или иного игрока насморк во время игры был.
     
  • McLooog , новичок
    можно составить специальную рейтинговую систему, например за каждый выигранный раунд, за каждое мвп раунда, за каждое МВП ТУРНИРА, игроку будут начисляться очки, все эйсы, тимплеи и т.д. к концу года будут подсчитывать очки и смогут определить топ 20 игроков. ВСЕ ОЧЕНЬ ПРОСТО! Это же так сложно придумать, фоллену, который тащил всего лишь полгода дали топ2, а скрим, который уже не торт, хоть как бы я его не уважал, он получил топ 9, но за что? Я думаю меня поймут.
     
Внимание!
Только зарегистрированные пользователи могут оставлять комментарии.