In der vorigen Folge ging es um die Wiederholbarkeit der Kosturteile, d.h. wie genau die Weine von den Jurymitgliedern bepunktet werden, wenn sie mehrmals in der Kost gereicht werden. Heute geht es um die Konstanz der eigenen Urteile in der Zeit. Die berühmte Kost in Paris, welche den Anlass für die Betrachtung geliefert hat, fand an einem Tag statt, wie viele, aber nicht alle Vergleichsverkostungen. Besonders die großen internationalen Wettbewerbe dauern ob der großen Weinanzahl auch mehrere Tage. Um das Thema der Beurteilungskonstanz zu vervollständigen, ist es sicherlich interessant, sich die Urteile anzuschauen, welche die Bewerter anlässlich eines Kostwettbewerbs abgegeben haben, bei dem am zweiten Tag von allen Kostern eine Auswahl der besten des ersten Tages noch einmal beurteilt wurden.
Nella puntata precedente ho parlato della riproducibilità dei giudizi, cioè con quale precisione vengono valutati i vini dai degustatori se vengono presentati più volte nel corso di una degustazione. Oggi invece si tratta di studiare la costanza nel tempo. La degustazione famosa di Parigi che ha dato lo spunto a questa serie di post si è svolta nell’arco di una giornata come tanti confronti, ma non tutti. Infatti soprattutto i grandi concorsi internazionali durano, a causa dei tanti vini, anche più giornate. Per completare l’argomento sulla regolarità delle valutazioni è utile guardare i giudizi che i giudici hanno dato nel corso di un concorso enologico, dove la seconda giornata venivano riassaggiati i vini migliori della prima sessione.
Wie man an Hand der vier als Beispiele verwendeten Koster sieht, nutzen diese die Punkteskalen individuell recht verschieden aus. Dies bestätigt die Beobachtungen des vorigen Beitrages. Koster 3 und 22 sind in der Zeit relativ konstant in ihren Bewertungen geblieben, wenn auch einige Weine von ihnen am darauffolgenden Tag um 15 Punkte besser bzw. schlechter beurteilt wurden. Unterschiede von 5 Punkten von Tag zu Tag sind hingegen als normal zu bezeichnen. Kosterverhalten wie jene des Jurors 12 und noch mehr jene der Nummer 10 sind etwas seltener, aber durchaus auch vorzufinden. Unterschiede von 30 und mehr Punkten beim gleichen Wein, je nachdem, an welchem Tag der Wein gekostet wurde, stimmen hingegen nachdenklich.
Come si vede con l’ausilio dei quattro degustatori riportati, l’utilizzo della scala di valutazione è abbastanza individuale. Ciò conferma le osservazioni fatte nel post precedente. I giudici 3 e 22 sono rimasti abbastanza costanti attraverso il tempo anche se qualcuno dei campioni il secondo giorno viene valutato con 15 punti in più o in meno. Scostamenti di 5 punti sono invece da considerare normali. Comportamenti come quelli dei degustatori 12 e ancora di più quelli dell’assaggiatore 10 sono meno frequenti ma tuttavia esistenti. Differenze tra gli stessi vini di 30 e più punti, a seconda di quando il vino è stato degustato, fanno riflettere.
In der letzen Grafik ist der Verlauf der gemittelten Werte dargestellt, d.h. der Durchschnitt aller Koster, welche die Finalweine auch am ersten Tag bewertet haben. Die dramatisch wirkenden oben abgebildeten Einzelergebnisse haben aber keinen solchen Effekt bezüglich des Endergebnises. Wie so oft bei Verkostungen, heben sich durch die Mittelwertbildung die individuell festgestellten Unterschiede ziemlich auf, die Punktezahlen der Weine werden ähnlicher. Tendenziell wurden die Weine im Finale strenger beurteilt als am ersten Tag. Einige Weine erhielten am zweiten Tag so schlechte Benotungen, dass sie – hätten sie die gleichen Punkte am ersten Tag erhalten – sich nicht für das Finale qualifiziert hätten.
Nell’ultimo grafico sono raffigurati i valori medi di tutti i degustatori che avevano i vini fianlisti anche il promo giorno tra i loro campioni. I grafici individuali riportati sopra non hanno però esplicato l’effetto drammatico temuto. Come spesso accade nelle degustazioni, calcolando le medie si neutralizzano in gran parte le valutazioni molto individuali, i punteggi dei diversi vini si avvicinano tra di loro. Tendenzialmente i vini vengono giudicati in modo più severo in finale. Alcuni vini hanno ricevuto il secondo giorno punteggi così bassi che, dati anche il primo giorno, avrebbero impedito a questi campioni la partecipazione al finale.
„The results of any wine tasting will be solemnly reported, with a winner and a loser being declared, without any concern for whether the results would be replicated the next day (they usually aren’t)…“ (Orley Ashenfelter, Richard E. Quandt)
Die fünfte und letzte Folge wird den Schlussfolgerungen gewidmet sein.
La quinta ed ultima puntata sarà dedicata alle conclusioni.