Так ли важен Metacritic: почему числовые оценки постепенно уходят в прошлое

Сайт Glixelразобралсяв том, насколько на самом деле влиятелен Metacritic, известнейший агрегатор рецензий, в условиях постоянно меняющейся игровой индустрии.

Марк Дойл (Mark Doyle) собирался отдохнуть на выходных в Санта-Барбаре с парочкой старых университетских друзей, когда узнал, что критику из Washington Post не понравилась игра Uncharted 4: A Thief's End. Критик посчитал, что графика была кричащей, геймплей — «вымученным», а игра в целом произвела впечатление «незавершённого месива». Дойл сразу же понял, что никуда он не поедет. Отзыв критика точно повлияет на оценку игры на Metacritic.

Дойл — сооснователь и главный редактор агрегатора рецензий Metacritic, принадлежащего CBS Interactive, при этом он лично курирует игровой раздел сайта. Марк отбирает игровые издания, отслеживаемые Metacritic, сопоставляет их рецензии, трансформирует их оценки в показатели по шкале от 0 до 100, после чего на их основе вычисляет единую оценку Metacritic для каждой игры.

The Washington Post в своих рецензиях не ставит числовые оценки. Но издание считает Metacritic настолько важным, что его авторы передают свои оценки напрямую Дойлу (другие крупные издания вроде The New York Times делают так же). Критик из The Washington Post присудил последней части Uncharted 40 баллов.

Едва я это увидел, то понял, что произойдет, и как отреагирует аудитория.

Марк Дойл, сооснователь Metacritic

Судя по Metacritic, 111 различных изданий позитивно оценили Uncharted 4. Общий балл проекта на сайте был 94 из 100, лучшего результата не показала ни одна игра за 2016 год. Но одной негативной рецензии от The Washington Post хватило, чтобы опустить оценку с 94 из 100 до 93.

В целом, один балл это не так уж много. Но фанаты игры пришли в ярость, даже те, кто ни разу не играл в Uncharted 4. Дело в том, что эта игра — эксклюзив для PlayStation 4. А многие из тех, кто выбрали сторону Sony в непрекращающейся войне консолей, расценивают успех флагманской игры как победу своей команды, шанс ткнуть этим в лицо своим друзьям, выбравшим вражеский Xbox One. Для них Uncharted 4, потерявшая один балл, это все равно, что любимая команда по американскому футболу, опустившаяся в рейтинге плей-офф.

Дойл все выходные наблюдал за возмущениями с телефона и рассылал электронные письма, упуская шанс повидаться с друзьями. Он знал, что аудитория отреагирует эмоционально — игровой раздел Metacritic генерирует куда больше трафика, чем разделы про кино, сериалы или музыку. Но жалобы приходили не только от некоторых обозленных, но единичных пользователей сети. На Change.Org появилась петиция с требованием убрать оценку рецензента The Washington Post из общего балла Uncharted 4. Её подписало почти десять тысяч человек.

Дойл сразу дал понять, что балл Metacritic не изменится.

Ребята из The Washington Post извинялись за то, что вызвали столько проблем, а я такой «Да ладно вам!» Это же наша работа.

Марк Дойл, сооснователь и главный редактор Metacritic

Вся эта шумиха хорошо иллюстрирует тот факт, что оценки на Metacritic важны для большого количества людей. И не только фанатов — зачастую разработчики получают от издателей премии за высокий балл игры на Metacritic, и те же самые издатели вкладывают много сил и времени в попытки предсказать итоговую оценку, поскольку она может повлиять на всё, от покупок в рознице до количества возвратов.

Но игровая индустрия меняется, как и сами игры. Срез реакции критиков на момент выхода игры во многом не отражает всю суть. Важен ли Metacritic в этих новых условиях?

Балл на миллион долларов

Metacritic был создан в 1999 году тремя одногруппниками из Университета Южной Каролины. Джейсон Дейтц (Jason Deitz) подал идею, а Марк Дойл с сестрой Джулией Дойл Робертс (Julie Doyle Roberts) помогли ему создать сайт, отобрать издания и разработать систему оценки. Миссия их проекта была проста.

Metacritic пытается помочь потребителю наиболее эффективно расходовать его время и деньги.

Марк Дойл, сооснователь и главный редактор Metacritic

Если критик не включает в свою рецензию числовую оценку, сотрудник Metacritic попытается ее угадать, основываясь на тоне и содержании материала, а также на информации о предпочтениях рецензента. Для фильмов и музыкальных альбомов такой метод, в целом, подходит, хотя иногда и даёт сбой.

Джо Моргенштерн из Wall Street Journal однажды сказал нам: «Вы написали, что я поставил „Перл-Харбору“ 40 из 100, хотя на самом деле там должно быть скорее 10 из 100».

Марк Дойл, сооснователь и главный редактор Metacritic

Такие прикидки работали с фильмами и музыкой, но оценки игр сотрудники Metacritic формируют иначе. Обычно рецензии на игры содержат числовую оценку, в том или ином виде. Судя по всему, геймеров интересуют точные данные.

И это можно понять. Игра это одновременно и произведение искусства, и программа. Вам не нужно скачивать патч, чтобы получить доступ к последней версии мастеринга диска с музыкой. Не нужно искать руководство того, как пройти сложную часть середины фильма, вы не потеряете весь свой прогресс просмотра сериала из-за плохо прописанной системы сохранений.

Всё дело в том, что игры недёшевы и требуют серьёзных временных вложений.

Марк Дойл, сооснователь и главный редактор Metacritic

Часто бывает, что человек покупает игру за 60 долларов, чтобы поиграть в неё пару часов и забросить, потому что она неинтересная или попросту неиграбельная. Поэтому логично, что рецензенты стараются осторожно оценить общие впечатления, которые можно получить от проекта.

Люди такие: «Хм, покупать ли мне эту игру по The Walking Dead?» Ну, если речь о The Walking Dead: A Telltale Game Series, то у неё на Metacritic 90 с лишним баллов. А если о The Walking Dead: Survival Instinct, то её оценка стремится к 30.

Марк Дойл, сооснователь и главный редактор Metacritic

Помимо сведения сотен мнений критиков к единой оценке, Metacritic пользуется системой цветовых маркировок. Зелёным помечаются игры с оценкой 75 или больше. Жёлтым — те, что с баллом от 50 до 74. А красным всё, что оценили ниже 50. (Цветовые оценки для фильмов и сериалов отличаются: их помечают зелёным, если они получают 60 или более баллов, а если больше 40, то жёлтым.) Сайт, который позволяет быстро оценить мнение критиков, безусловно, полезен. Но на Metacritic всё чаще смотрят как на абсолютное мерило качества. И не только геймеры.

Аналитики игровой индустрии обычно указывают оценки на Metacritic в своих финансовых отчётах, а кое-кто даже считает, что они могут повлиять на курсы акций компаний вроде Activision и Take Two. А ведь ещё есть премии, которые издатели выплачивают разработчикам.

Крис Авеллон из Obsidian Entertainment заявлял, что его команда не получила премию (по слухам, миллион долларов) за Fallout: New Vegas, игру 2010 года, потому что она не достигла определенного уровня оценок на Metacritic. По его словам, им не хватило всего одного балла.

Это всё весьма серьёзно, такое происходит постоянно. Вы получаете премии за продажи игры и за баллы на Metacritic. Исполнительный продюсер может получить примерно 100 тысяч долларов, а обычный программист — 15 тысяч. Вполне хватит на автомобиль.

Я знаю людей, которые работают на игровые компании, и они рассказывали, как сильно оценки на Metacritic влияют на их жизни и работу. По идее это значит, что издателей волнует качество продукта, а не только продажи, и это вроде как неплохо. Но я не имею ни малейшего понятия о том, как они применяют эти данные. Я с этим процессом совершенно не знаком.

Премии, основанные на количестве продаж, я понимаю. Но мне всегда было непонятно, откуда берутся те премии, что зависят от оценок на Metacritic. Люди в индустрии заходят на Metacritic со страхом, ведь эти баллы самым прямым образом влияют на их доход. Всё настолько просто.

Кевин Дэнт (Kevin Dent), гендиректор компании Tiswaz Entertainment, занимающейся игровым консалтингом в сфере видеоигр

Секрет Metacritic

Дойл не считает, что принадлежит к игровой индустрии, хоть и постоянно следит за тем, что в ней происходит.

Я подписан на 30 журналов из США, Великобритании и других стран. Я постоянно слежу примерно за 140-150 изданиями.

Марк Дойл, сооснователь и главный редактор Metacritic

Некоторые из них сложно назвать известными.

Я в индустрии уже давно, и все равно о некоторых из них не слышал. Как-то я искал рецензии на Overwatch и мне пришлось дополнительно искать информацию об изданиях, которые я просматривал.

Марк Дойл, сооснователь и главный редактор Metacritic

Если взглянуть на 62 рецензии на ПК-версию Overwatch, собранные на Metacritic, можно заметить, что там много известных общеигровых изданий, хотя некоторые пишут только о ПК. Но ещё там есть греческий сайт Ragequit.gr, шведская версия IGN, Eurogamer Poland, чешский журнал Level и российский «Навигатор игрового мира».

Дойл не считает, что у американских изданий или изданий на английском языке есть монополия на умные рецензии. Каждый год, во время затишья после праздничных релизов, он ищет новые издания, которые можно было бы включить в систему оценок. По его словам, он досконально изучает тех, кто хочет, чтобы их мнение учитывалось на Metacritic: Дойл расспрашивает их о системе работы, опыте редакторов, составе штата, статистике рецензий, шкале и философии оценок. Он просит перевести их рецензии с других языков и консультируется с собственной сетью международных критиков, чтобы они оценили репутацию каждого издания.

Я ищу тех, кто может похвастаться репутацией объективного и независимого издания, равно как и проработанностью системы оценок.

Марк Дойл, сооснователь и главный редактор Metacritic

Объективность и репутация — секретные ингредиенты формулы Metacritic, запатентованной системы, которая не дает ресурсу скатиться до оценок, выставленных по принципу среднего арифметического. Помимо отбора изданий, Дойл с коллегами определяет, какое из них более достойно доверия: 70 баллов от особо доверенного источника влияют на общую оценку сильнее, чем те же 70 баллов от другого. Компания с радостью рассказывает обо всех аспектах своей системы оценок, кроме этого.

Весомость оценки — единственный элемент, который мы держим в тайне. Это наш секрет.

Марк Дойл, сооснователь и главный редактор Metacritic

Дойл преуменьшает то, как придание разного веса оценкам влияет на общий балл. Он отмечает, что баллы на Metacritic и родственном ему сайте Game Rankings зачастую очень похожи, хотя на последнем оценки выставляются на основе среднего арифметического оценок из рецензий изданий на английском языке. «Это особенно верно, когда речь идет о крупных играх — на них пишут больше рецензий, поэтому среднее арифметическое вычисляется на основе большего количества оценок», — уточняет он.

И всё же издателей оценки Metacritic очень волнуют. Они отчаянно пытаются определить, какие издания сильнее всего влияют на оценки агрегатора. По слухам, кое-кому даже удалось разобраться в том, как работает система.

Волей случая мне стало известно, что у наших оценок серьёзный вес, и это на нас сильно давило. Eurogamer часто ставил играм более низкие оценки, по сравнению с другими изданиями, и из-за того, что нашим оценкам придавался больший вес, общий балл игры на Metacritic мог упасть на одно-два очка.

Оли Уэлш (Oli Welsh), редактор Eurogamer

Он говорит в прошедшем времени из-за того, что в конце 2014 года редакция Eurogamer решила отказаться от оценок. При этом Eurogamer Poland, Eurogamer Spain и Eurogamer Italy, редакции которых действуют автономно, всё ещё появляются на Metacritic.

По словам Уэлша, от оценок они отказались отчасти именно из-за того, какое влияние те оказывали на общие баллы игр на Metacritic.

В Metacritic работают хорошие ребята, которые стараются сделать их сайт полезным для людей. Но их оценки негативно влияют на индустрию, издателей и игроков. Не думаю, что это вина Metacritic, но ничего не поделаешь.

Оли Уэлш, редактор Eurogamer

Другие издания тоже постепенно отказываются от оценок.

Какое-то время мы пользовались системой Да/Нет, но в прошлом году избавились и от неё. Я понимаю, почему оценки столь привлекательны, цифры ведь переварить гораздо легче. И этот факт говорит всё, что нужно знать о пагубном влиянии числовых оценок на качественную критику.

Патриция Эрнандез, заместитель главного редактора Kotaku

Обманчивый консенсус

По словам Уэлша, преувеличенное влияние Metacritic было лишь одним из многих факторов.

Мы почувствовали, что игры стали слишком сложными, слишком изменчивыми. Раньше обзором была одна статья, но теперь он растягивается на несколько материалов, выходящих на протяжении нескольких недель.

Оли Уэлш, редактор Eurogamer

Другая функция Metacritic, помимо агрегации рецензий — показать какое-то единое мнение прессы на момент выхода игры, когда игрокам нужно принять решение о покупке. Но некоторые крупные игровые компании больше не рассылают коды для рецензентов заранее. Поскольку на прохождение игр нужно потратить какое-то время, обзоры появляются через несколько дней или даже недель после релиза.

Также, поскольку в играх всё большее место занимают онлайн-элементы, оценивать игры до релиза становится всё сложнее.

Возьмём Destiny. Рецензент ничего о ней не поймет, пока в неё не будет играть множество игроков. Многие издания неправильно оценили проект из-за того, что смотрели на него как на новый FPS от создателей Halo. В итоге оценки оказались низкими из-за слабого сюжета. Но ведь Destiny по-настоящему раскрывается только когда вы играете по сети.

Индустрия перестала быть статичной. Раньше было как: вот ваша игра, приходите за сиквелом. А теперь: вот ваша игра, мы будем поддерживать её вечно. Раньше, если ты хотел выпустить патч для своего проекта, нужно было заплатить 85 тысяч долларов Sony или Microsoft. А сейчас вспомните Minecraft. Или Overwatch. Их же постоянно обновляют. Или взгляните на H1Z1 — это всё еще чертовски глючный прототип, но он уже очень хорош, вокруг него растет сообщество игроков, и с каждым месяцем он всё ближе к завершению.

Оли Уэлш, редактор Eurogamer

По словам Уэлша, он обсуждал отказ Eurogamer от оценок с Дойлом, и тот попытался оставить издание в системе Metacritic.

Он предложил интерпретировать наши рецензии и самостоятельно определять нашу оценку. Но нам показалось, что это слишком сложный процесс. Мы хорошо поговорили, и меня очень поразило то, насколько серьёзно он относится к своей работе. Но я со всем уважением попросил его убрать нас из их системы.

Оли Уэлш, редактор Eurogamer

Ютуберы

Возможно, само значение рецензий на игры тоже уменьшается, ведь во многих изданиях они стали более субъективными и эссеистичными. Уэлш вспоминает, как работал в известном британском игровом издании Edge. Журнал был настолько влиятельным, что оценка 10/10 в конце рецензии могла вызвать фурор во всей индустрии. «Как бы мне ни нравилось быть причастным к этой традиции в Edge, я всё-таки предпочитаю критиков с собственными симпатиями и антипатиями. Обычные текстовые рецензии, возможно, уже не являются таким же влиятельными, как раньше, но это совсем не обязательно ведёт к негативным последствиям».

Читателям всё более интересно мнение конкретных людей

К тому же зачастую законодателями моды в игровом мире становятся стримеры, которые выдают свои критические комментарии поверх видеоряда с прохождением игры. Metacritic сложно включать такие обзоры в свою систему оценки, равно как и соревноваться с ними.

Ютуберы и стримеры теперь гораздо более влиятельны. Мой сын не читает обзоры, он их смотрит на каналах Total Biscuit или Boogie.

Как-то я разговаривал с высокопоставленным лицом из одной крупной игровой компании, и он сказал, что ему наплевать на то, что пишут в рецензиях. По его словам, 10 или 20 самых популярных ютуберов или стримеров гораздо более эффективно освещают его игры, чем все рецензенты.

Сейчас рецензии для воротил индустрии интересны только в качестве источников красивых фразочек, которые потом идут в маркетинговые материалы и на обложки GotY-изданий их игр.

Кевин Дент, гендиректор компании Tiswaz Entertainment

Внутренние рецензии

Хотя важность традиционных рецензий на игры, возможно, идёт на спад, они всё еще влияют на индустрию на фундаментальном — и зачастую невидимом — уровне. Большинство крупных издателей буквально обозревают собственные игры. Пока новая игра еще разрабатывается, они нанимают консультантов со стороны, чтобы те посмотрели на неё и прикинули, какие оценки она могла бы получить в её текущем состоянии. При этом многие из таких консультантов раньше сами писали рецензии.

Помните, когда во время «Геймергейта» все думали, что издатели покупают голоса рецензентов? Каждый пиарщик, которого я об этом спрашивал, говорил: «Чёрт, да я бы с удовольствием». Хотя они и правда их покупают, но по-особенному: платят журналистам в два или три раза больше их окладов за то, чтобы те писали как-бы-рецензии для внутреннего использования. Публично они эти своё мнение выразить не смогут из-за договора о неразглашении, но зато выплатят какие-нибудь студенческие займы.

Кевин Дент, гендиректор компании Tiswaz Entertainment

Некоторые источники, решившие остаться анонимными, сообщили мне, что для индустрии это обычная практика. Многие AAA-игры обозреваются несколько раз за цикл разработки — консультанты оценивают их на разных стадиях готовности. Один источник рассказал о том, что иногда компания может отменить игру, в которую уже вложены десятки миллионов долларов, если консультанты посчитают, что её плохо оценят. Так издателям не приходится тратиться на маркетинг и доставку до магазинов.

Это совершенно обычное дело. Огромное количество игр отменяют из-за таких «как-бы-рецензий».

Кевин Дент, гендиректор компании Tiswaz Entertainment

Войны фанатов

Но если значение оценок угасает, почему же критики всё еще способны вызвать бурю среди фанатов, как в том случае с низкой оценкой Uncharted 4? Дойл сам не знает.

Музыкальных фанатов обычно рецензии так не заботят. Кто-то поставил Purple Rain низкую оценку? Ну и что. Геймеры же вкладывают в это гораздо больше эмоций. Будто они все владеют частью акций издателя, игру которого громят критики.

Марк Дойл, сооснователь и главный редактор Metacritic

Пожалуй, в том, насколько серьёзно игроки относятся к обзорам, нет ничего удивительного. Игры и оборудование для них — вещи недешёвые. Каждому, кто покупал машину или какой-нибудь другой дорогой предмет, знаком этот небольшой выброс дофамина, который происходит, когда твой выбор оказывается правильным, а приверженность бренду — вознаграждённой. Но из-за жизни, проведенной в сравнении продуктов, игроки эмоционально связаны с оценками, рейтингами и иерархиями достижений.

Отслеживание оценок на Metacritic само по себе для многих стало игрой, и не только в смысле составления бесконечных списков из лучших игр всех времён. Для многих игроков Metacritic стал своего рода мета-игрой, наложенной поверх обычных игровых впечатлений. Это что-то вроде выдуманной футбольной лиги, где можно болеть за близкие тебе команды и против команд, выбранных твоими друзьями.

Такое отношение к Metacritic просматривается в пользовательских рецензиях, которые демонстрируются рядом с рецензиями критиков, но не влияют на общую оценку на агрегаторе. Фанаты стараются поднять средние пользовательские оценки игр, которые им нравятся, и уничтожают оценки игр-конкурентов.

Войны фанбоев стали настолько серьёзной проблемой, что спустя четыре или пять лет существования нашего проекта нам пришлось ограничить голосование пользователей. Теперь они могут выставлять оценки только тогда, когда игра уже вышла. Раньше оценки эксклюзивов вроде Little Big Planet для PlayStation уничтожались фанатами конкурирующих консолей, которые ставили низкие баллы ещё до того, как игра вышла. Очевидно, что поиграть в неё они никак не могли.

Марк Дойл, сооснователь и главный редактор Metacritic

Дойл всецело за то, чтобы люди менее серьёзно относились к рецензиям и к его сайту. Он считает Metacritic способом информирования потребителей, но приходит в недоумение от самой идеи того, что люди могут руководствоваться им при каждой покупке.

Посмотрел бы я «Лунный свет», если бы его оценили на 70 баллов? А если бы на 50? Может и нет. Но с другой стороны, мне нравятся все фильмы с Поли Шором, а «Био-Дом» — одна из моих любимых картин. (На Metacritic это целлулоидное убожество оценили в 1 из 100).

Когда я вижу, что глупой комедии поставили низкий балл, для меня это совершенно неважно. Я всё равно её посмотрю, отлично посмеюсь и получу удовольствие.

Марк Дойл, сооснователь и главный редактор Metacritic
Нравится6
Комментарии (12)
  • 9
    Все покупается и продается - все игровые агрегаты живут за счет рекламы и продажи обзоров - если даже вам не предложат деньги напрямую, то за "правильную" рецензию и оценку подкинут рекламный контракт, а то и пригласят на прессконференцию...

    Поэтому Роберт Котик и написал что колда в оценках не нуждается - ведь люди на них не обращают внимания, а так как большинство (все) игровые аггрегаторы себя дискредитировали своими "11 из 10", нет смысла кого-то подкупать. Пусть люди сами решают, ориентируюсь на свои потребности и качество игры.
  • 2
    Все так как и должно быть.
  • 2
    Если критик не включает в свою рецензию числовую оценку, сотрудник Metacritic попытается ее угадать

    А, ну понятно. Ванги хреновы.
  • 0
    rambling
    гадать будут как нострадамус
  • 1
    Напомнило:
    "Вот все говорят - фильм для дураков, фильм для дураков, а мне понравился..."
  • 1
    Суть поста проста - нехрен трогать эксклюзивы сони!)
  • 6
    Метакритик неплохо отражает оценки игр, но, к сожалению, есть обычный хейт. Например, игра отличная, но плохо оптимизированная и всякие "Варпы", у которых вечно всё "тормозит", ставят из-за этого низкую оценку прекрасной игре. Это несправедливо.
  • 1
    Burglar2k
    игра отличная, но плохо оптимизированная. ставят из-за этого низкую оценку прекрасной игре. Это несправедливо.
    Мое мнение, что это логично. Если игра плохо оптимизирована, то даже гениальная игра не стоит нервов на микростаттеринге, просадках или лагах. Это не кинцо, а игра. Не говорю о тех, кто играет в 20 фпс, а потом ещё кинцо смотрят с подергиваниями и ts, cam-rip`ах.

    Неотъемлимая часть игры - динамичный геймплей, где меткость и скилл зависят от плавности. А от меткости и скилла зависит удовольствие непосредственно от игры, а не от кат-сцен. Так что это, как раз, справедливо. Для самой лучшей игры, которая плохо оптимизирована - оценка "0", как неиграбельно, логичный вывод.

    PS причем, я о тех случаях, когда именно на заявленных, системных требованиях игра не выдает комфортный геймплей. Когда происходит прямой обман покупателя.
  • 0
    Сяхоу Дунь написал:
    Пусть люди сами решают, ориентируюсь на свои потребности и качество игры.

    Все равно будут люди, которые слепо верят всяким оценкам, трендам и прочему.
  • 0
    -1000 этой записи
  • 0
    Risko
    ну значит их жизнь научит - в конце концов лучше один раз купить плохую игру и понять что тебя обманули, чем отдать 450к на курсы личностного роста или семинар как зарабатывать миллион в месяц)
  • 1
    Внутренние рецензии.
    Именно то, о чем я всегда говорил, а меня всякие дибилы минусилы, мол "теории за-аговора". Я сохраню копию этого блога и буду постоянно тыкать носом ушлепанов, которые думают, что у системселлеры Сони (особенно те, которых хотят сделать лицом сосноли) не куплены оценки.
B
i
u
Спойлер