Когда я летел в Анапу, чтобы попасть на Саммит виноделов России, я читал книгу о применении теории вероятностей, или, точнее, о философии вероятностного мышления. Книга называлась «Одураченные случайностью». Эту свою раннюю и не слишком известную работу Нассим Николя Талеб написал до «Черного лебедя», своего opus magnum. Тогда у него еще не было ни медийной известности, ни большого финансового успеха.

«Одураченные случайностью» — это трейдеры, склонные видеть сообщение там, где есть только шум. Это совершенно естественно и даже полезно: принять шелест листьев за тигра в кустах куда безопаснее, чем совершить обратную ошибку. Но иногда такие заблуждения бывают фатальны для компаний, экономик и отраслей. Увидеть тренд-мираж, рискнуть, поставив на него критическую часть активов и усилий, и проиграть.

Как и год назад, мне захотелось сравнить рейтинги жюри Кубка СВВР с некоторыми авторитетными для меня источниками. Логичным тогда показалось дополнить итоговую таблицу рейтингами WineSpectator и WineEnthusiast для иностранных вин. (Кстати, на лицо была явная положительную корреляция между оценками WE и ценой образца, после чего стал весьма скептически относиться к WE. Впрочем, не настолько, чтобы полностью отказываться от их рейтингов в собственной коммерческой практике).

В этом году я добавил к итогам две колонки — рейтинги американского журнала WineSpectator и рейтинги из гида «Российские вина 2015» Артура Саркисяна. Мне нравятся рейтинги Саркисяна по двум причинам: они довольно точно совпадают с моими собственными ощущениями, и они консервативно строги. Так, пожалуй, ставили на Западе пятнадцать лет назад: 80 баллов у Саркисяна — это действительно добротное, часто весьма элегантное вино на «каждый день», а не нечто едва-едва вытягивающее выше порога дефектности, как у WineEnthusiast.

И вот что получилось в этот раз. Если вы почувствовали неуют, от которого пытаешься отделаться навязчивыми движениями — поздравляю, вы в большинстве. 

Красные вина

Победитель — Раевское Ренессанс 2012

Белые вина

Победитель — Шато Тамань Шардоне Резерв 2013

Внимательный читатель заметил, что победителей в таблицах нет. Вина-победители вынесены из итогов, и их рейтинг не опубликован. Это не ошибка, а следствие определенной внутренней логики.

Рейтинги вин в таблице — это среднее арифметическое оценок, выставленных каждым из шести судей на слепой дегустации без какого-либо обсуждения образцов. Для выставления оценок использовалась электронная система — организаторы раздали членам жюри планшеты. Можно было выставить как четыре отдельные оценки («глаз», «нос», «рот», «баланс»), которые суммировались, — так и сразу одну, интегральную. По слухам, большинство жюри оценивало вина интегральной оценкой, как делает сейчас большинство винных критиков. На пресс-конференции Тим Аткин назовет предложенную систему «модифицированной шкалой OIV».  

Совпадают ли выставленные вами оценки с рейтингами, которые бы вы поставили винам, пробуя их у себя дома, вне этого конкурса? По некоторой запутанности, но безусловной интеллектуальной честности комментариев складывалось впечатление, что члены жюри сами не имеют четкого ответа на этот вопрос. Это понятно и объяснимо — почти всегда эксперты рейтингуют вина одного и того же жанра. Сравнивать 89- и 90-балльное бордо существенно проще, чем 89-балльное бордо и 90-балльную тоскану. 

Затем проводился второй этап конкурса. По среднему арифметическому оценок было отобрано пять лучших вин, и жюри предложили их попробовать снова. В этот раз — без выставления оценок, а просто распределив по места от первого до пятого. Таким образом, даже по первоначальной задумке организаторов цифры в таблице не имели большого значения сами по себе.

Средняя оценка победителя была исключена из таблицы по очевидным соображениям такта. В этом читается явное сообщение организаторов — числовые рейтинги не были конечной целью всего конкурса.

На минуту представьте себе, что некое вино получило от одного из жюри одновременно 79 баллов, 83 балла, 89 баллов, 90 балл, 94 и 94 балла. Среднее арифметическое будет 88,17, медиана 89,5. Как это толковать? Здравый смысл нам подсказывает, что это вино на 91-94 балла. И, скорее всего, это яркий, необычный образец. Возможно, не достигшая пика заготовка, в которой не все увидели потенциал — а у нас тут, чай, не en primeur. Кто-то из жюри, похоже, вообще не понял этот образец. Несколько других стараются судить максимально консервативно, потому что ошибиться на слепой дегустации вин периферийной для отрасли страны всегда безопаснее в меньшую, а не в большую сторону. (Про это выразительно написал на своей странице в Facebook Денис Руденко). Особенно, если даже намек на лояльность к этой стране может привести к неприятным социальным последствиям дома.

Или таких разбросов у профессионалов вообще быть не может? Ха, вспомните, например, скандал с Chateau Pavie 2003. Дженсис Робинсон поставила этому престижному бордо из Сен-Эмильона 12/20 (если переводить по таблице “Декантера”, то 73/100), Роберт Паркер дал ему 98/100; Wine Spectator — 96/100. Среднее арифметическое — 89, зато медиана — 96.

Вино не может одновременно быть и 73, и 98-балльным. Это не кот Шредингера, который может быть одновременно жив и мертв. Дженсис Робинсон поставила низкую оценку, потому что это образец не совпал с ее ожиданиями. «Портвейново-сладкое; портвейн должен быть из Дору, но не из Сен-Эмильона», написала она в дегзаметке.

А на Кубке СВВР-2015 ожидания у судей могли быть самыми разными, но вряд ли кто мог уверенно узнать характерные ноты российских автохтонов, которые мы еще сами знаем не до конца. А теперь представьте, что на слепой дегустации вы впервые столкнулсь с гевюрцтраминером, ничего не зная про этот сорт. Личи и розы обрушиваются лавиной на ваши рецепторы, и вы, в первый раз столкнувшись с этим сортом, пытаетесь осознать, может ли такая тяжесть быть хоть как-то выносимой.

В жюри Кубка СВВР-2015 входили Тим Аткин MW, Роберт Джозеф, Даррел Джозеф, Сара Эббот MW, Хосе Пеньин и Анатолий Корнеев

Почти всегда на слепых дегустациях винный критик знает, вино какого региона и/или какого хотя бы приблизительно сортового состава он пробует. Здесь же у жюри не было возможности настроить себя на какой-то определенный стиль. И было много «неготовых» образцов, еще не успевших реализовать свой потенциал бутылочного развития. Тот же WE рекомендует пить Lafite 2011 не раньше 2019 года. Ошибиться было очень легко.

И вообще, винный эксперт может ошибаться, будь он хоть трижды «эм-даблью». Именно поэтому винные рейтинги всегда авторские — даже в журналах WS и WE всегда указаны инициалы конкретных людей, поставивших оценку. В конце гида «Российские вина 2015» Артур Саркисян открыто указывает свои личные контактные данные. Если вы чувствуете острый дискомфорт пониже спины, вы можете обсудить с автором свое несогласие по телефону или отправить по электронной почте картель.

В авторских рейтингах обычно есть и дегустационная заметка, часто позволяющая понять, что именно в вине понравилось или не понравилось. На это, кстати, на пресс-конференции обратил внимание Аткин. Вообще, panel tasting — хрупкая система, в которой ложка дегтя способна уничтожить ложку меда. Если мы ставим своей целью получение максимально релевантных рейтингов, ошибку важно отбросить, а не включить в итоговые результаты на правах полноправного мнения.

Есть простой и относительно эффективный способ уменьшить эту ошибку: OIV рекомендует отбрасывать самую низкую и самую высокую оценки — если только нет модератора, которому жюри объясняют логику своих оценок. В нашем вымышленном примере это не слишком изменит итог, но в других случаях может существенно повысить релевантность рейтингов. 

Гипотезу по поводу разброса оценок несложно проверить. Сгенерируем на компьютере шесть «дегустаторов», используя два параметра — «сигму» («ошибку», на самом деле стандартное отклонение) и «показатель консервативности» — то, на сколько баллов оценка дегустатора будет смещена вниз от эталона (адекватным мне кажется выбор 0 до 3). За «эталонные значения» возьмем рейтинги WS и Саркисяна (это допущение сугубо для эксперимента). Для каждого вина и каждого дегустатора сгенерируем оценку, используя распределение Гаусса с центром в «эталоне», смещенном вниз на «консервативность», и сгенерированным стандартным отклонением. Мне привычно использовать язык программирования PHP — в нем есть функция stats_rand_gen_normal(), позволяющая генерировать случайные числа по гауссиане с заданной «сигмой».

Такую численную симуляцию называют «методом Монте-Карло» — по месту расположения европейской столицы азартных игр, где случайность измерена и приручена.

Через несколько запусков (если у одного из членов жюри будет достаточно большая «сигма») мы получим картину, очень похожую на итоги Кубка СВВР-2015. Наибольшие расхождения останутся для так называемых “неготовых вин”, не вышедших на пик своего развития — тех самых Lafite 2011, Sassicaia 2010, Ornellaia 2011. Можно будет отбросить две крайние оценки и посмотреть, как итоги тут же станут точнее.

При проведении Кубка СВВР-2015 не отбрасывались максимальные и минимальные оценки. (Это факт уточнялся). Не было и модератора, который обсуждал оценки с членами жюри. Дегустация вообще проходила без обсуждения оценок. 

Такой протокол был выбран вполне осознанно. Организаторы, как мне кажется, и не искали консолидированного рейтинга российских вин. Напротив, их интересовало именно множество точек зрения, даже если они окажутся противоречивыми. Чем больше мнений от людей, с российским вином прежде не знакомых — тем шире понимание того, как эти вина будут восприниматься рынком. И была, полагаю, еще одна причина выбора такой процедуры — немного авантюрное любопытство экспериментатора. 

Однако, организаторы вряд ли думали, что у кого-то из жюри «сигма» окажется настолько широкой. Такой, что не пощадит даже великий Lafite. 

Совершенно неправильно, с моей точки зрения, пытаться увидеть в итоговой таблице какой-то консолидированный мессадж от западных экспертов. Не дайте случайности себя одурачить.

Какие вина оказались в итоге вверху списка? Вина, которые нравятся всем, и гарантированно понравятся покупателю без особых усилий. Понятные, сбалансированные, отвечающие представлениям образованного большинства и готовые к употреблению уже сейчас. «Раевское Ренессанс 2012» — именно такое вино. Это и отражают полученные медали.

Мы должны воспринимать как значимую информацию именно медали, а не средние оценки. Рейтинги кубка СВВР-2015 — не более чем справочная информация, приложение к итогам. Для определения медалей процедура была, вероятно, идеальной. Выбрав такой протокол оценки, организаторы поступили и смело, а исключив из итоговых таблиц победителей — еще и мудро. Но цифры в итоговой таблице — это не вполне то, что мы называем винными рейтингами.

Витовт Аристов

P.S. Итоги конкурса СВВР-2015 для крепленых (только зерновой ректификат), игристых классических, игристых акратофорных вин и бренди.

Крепленые вина

Победитель — Дербентский коньячный комбинат Самур 2000

Игристые классические

(оценки WS выбраны самые последние)

Победитель — Абрау-Дюрсо Империал Ар-Нуво 2010

Игристые акратофорные 

Победитель — Абрау-Дюрсо брют

Коньяки (бренди)

Победитель — Кизлярский коньячный завод Лезгинка Возраст более 7 лет