miércoles, 23 de abril de 2014

Analysis of the NBA coach of the year award

On april 22nd Greg Popovich was named as NBA coach of the year, San Antonio Spurs’ head coach. San Antonio Spurs has been the team with the highest number of victories in the NBA season. It is well known that this kind of prizes used to reward the head coach of one of the strongest teams as it can be seen in either in the list of NBA coach of the year or in the list of  World Soccer coach of the year. However, this kind of prizes should not be to one of the head coach of the best teams but to coach that has obtained the most given its rooster.

A few days ago it was published a post in this blog analyzing the differences between a coach rank published by the ESPN and the ranking derived using a methodology derived by me. In such a post there were already played 74 matches, while in the next table it is shown the results once the season was completed.
 The most important result comparing both rankings is that Steve Clifford appeared in the very first position in the odds efficiency ranking whereas it was named the fourth best coach by the NBA. The results from odds efficiency suggest that it was more difficult to obtain 43 victories with the Charlotte Bobcats than to obtain both 62 victories with San Antonio Spurs and 48 victories with Phoenix Suns. In the “popularity” contest which is the NBA coach of the year Steve Clifford only got 127 points while Popovich got 380 and Hornacek 339 points.
Hence, the distance seems too big. A plausible explanation is that Clifford neither coach a big team nor was pro player as Hornacek. It is obvious that these prizes should only analyze the performance of the coach within the last year. The methodology developed by me is far from perfect but at minimum it provides an objective ranking that seems quite sensible. Therefore, I suggest that in these prizes the votations will be replaced by an objective measurement such as the proposed by me.

Follow me @jdelcorraltm 

Análisis del entrenador del año en la NBA

El martes 22 de abril se dio a conocer que el título de entrenador del año en la NBA iba para Gregg Popovich, entrenador de los San Antonio Spurs. Se da la circunstancia que los San Antonio Spurs han sido los campeones de la NBA en su fase regular. Es bien conocido que en este tipo de premios se acostumbra en exceso a premiar a entrenadores de los mejores equipos,  como puede verse en el listado de entrenadores del año en la NBA o en el listado del World Soccer entrenador del año. Estos premios sin embargo no deberían otorgarse al entrenador del equipo campeón sino al entrenador que más partido haya sacado a su plantilla.

Hace unos días publicaba un post  analizando las diferencias  entre un ranking de entrenadores de la NBA que había sido publicado en la ESPN y el ranking de los entrenadores que se establece una metodología que he creado. En aquel post se habían disputado 74 partidos mientras que en la siguiente tabla muestro los resultados finales. Dado que sólo quedaban 8 partidos hay pocos cambios significativos.

Los resultados más destacados de comparar ambos rankings son los siguientes:
  •         De los 9 primeros entrenadores en el TE ranking sólo está ausente del ranking de la NBA el entrenador de los Memphis Grizzlies. Puede deberse que usando las cuotas se tiene en cuenta las lesiones de los jugadores y los Grizzlies han conseguido meterse en playoffs jugando muchos partidos sin uno de sus baluartes (Marc Gasol)
  •          Steve Clifford aparece en primera posición del ranking TE con cierta holgura pero sólo ocupa la cuarta posición en las votaciones de la NBA.  Parece que obtener 43 victorias con un equipo como los Charlotte Bobcats tiene más mérito que ganar la liga con los San Antonio Spurs. Sin embargo, en el concurso de “popularidad” que supone el premio de entrenador del año de la NBA no sale todo lo bien que debería. Steve Clifford obtiene 127 puntos por los 380 del entrenador de los San Antonio Spurs o los 339 de Jeff Hornacek.
La distancia parece excesiva y puede que el no entrenar a un equipo potente o no haber sido jugador profesional  como Jeff Hornacek hagan que obtenga menos votos. Esto desde luego no debería ser así. La metodología que yo empleo obviamente no es perfecta, pero si proporciona un ranking objetivo y por lo que se ve bastante sensato. Por lo que yo propongo que para los premios de mejor entrenador se dejen de usar votaciones y se empiecen a usar métodos objetivos donde el que yo propongo sería uno de ellos.

martes, 15 de abril de 2014

It does exist an objective alternative to the NBA coaches’ ranking provided by the ESPN.

Coauthored with Fernando Herencia

The ESPN web has recently published an article where it was provided a ranking for the NBA coaches of this season. In doing so, they asked a panel of experts to “rate each team's coach in terms of their performance in guiding the franchise to overall on-court success, both in the short and long term”. In the explanation of the methodology by the ESPN it is said that “there's still virtually no objective measure to rate the guys who draw up the plays and manage the egos apart from titles and rings”. It is true that there is not an objective measure to evaluate the performance in the long term since they are based on expectations, however it is not true that there is no objective measures to analyze the coaches’ performance. The most popular is that based in frontier methods, in which for each coach is attributed in some way the quality of his rooster and subsequently it is evaluated the difference between the actual results and the best results possible for his squad. The lower the difference between them the better the coach performance is. This methodology was used to evaluate NBA coaches´ performance in this paper from Dave Berri.

Other alternative to evaluate objectively the coaches’ performance is to compare the actual results with those expected from betting odds. The probability of the two possible outcomes in a game (i.e., local victory and away victory) is embedded in betting odds so that it is enabled to calculate the probability of getting each of the possible number of victories.


Next graph shows the density function of victories for Miami Heat and Charlotte Bobcats within this season till their matchday 74. It can be seen that the probability of obtaining less than 40 victories for the Miami Heat is almost zero. The opposite is true for Charlotte Bobcats. The reason is straightforward: Miami Heat has a much better rooster than Charlotte Bobcats.
In order to obtain an objective coach performance measure it can be calculated the probability of obtain more victories than the actual. Next table shows the probability of obtain each of the possible number of victories greater than 36 for the Charlotte Bobcats.
As it can be seen, the probability of obtaining more victories than the actual (36 out of 74) is 2.71%. Then, to calculate an objective measure of the performance of the team it has to be calculated the inverse of 2.71%, that is 97.3% or 9.73 out of 10.

Next table shows the coaches’ performance using the methodology described above in the 74 first matches for each team such as the ratings provided by the ESPN.
As it can be easily observed several differences arise between both ratings. Particularly, the coefficient of linear correlation is 63 whereas the coefficient of Spearman rank correlation is 68%.

The best five coaches according to ESPN are Gregg Popovich, Tom Thibodeau, Doc Rivers, Erik Spoelstra y Rick Carlisle. They won five out of the last seven NBA Finals and it is straightforward that they were important in doing so. However, the performance of their teams is not as brilliant as expected, especially Indiana Pacers and Miami Heat.


On the other hand, Steve Clifford (Charlotte Bobcats) and Jeff Hornacek (Phoenix Suns) are situated in the top of the ranking from our methodology but both are not situated so high in the ESPN rank. Both teams have been two of the positive surprises in the NBA. Charlotte Bobcats was the second worst team in the NBA last season (2012-2013) while Phoenix Suns was the second worst team in the Western Conference. Subsequently, their expectations were rather low. However, both teams are in play-off positions 8 matches to go. Therefore, it is sensible that both coaches are leading the ranking.

The ESPN ratings seem to show some favoritism to big teams such as Miami Heat and Indiana Pacers. Both teams have very good roosters and it is expected a very good performance from them. For instance 9 and 10 matches for Miami Heat and Indiana Pacers respectively have a probability of victory higher than 87% while playing at home. Thus, even though both teams are leading the East Conference the number of victories from them is lower than a number to be considered as a great performance.

Boston Celtics is other example of sharp difference. Brad Stevens was ranked 11th by the ESPN but 27th from ours, but 23 victories seems very few for them. The opposite is true for Mike D’Antoni. Even though Lakers has a very good rooster injuries have decreased a lot the Laker potential. As an example in the first game versus LA Clippers the embedded probability of Laker victory was only 20% playing as local. Hence, even though the Laker season is being awful it is not due to a bad coach performance but to bad luck for injuries.

In summary, so far the best coaches have been Jeff Hornacek (Phoenix Suns) and Steve Clifford (Charlotte Bobcats) with a very remarkable 9,73 out of 10 rating followed by Gregg Popovich (San Antonio Spurs). On the other hand the worst coaches have been Larry Drew (Milwaukee Bucks) and John Loyer (Detroit Pistons).
Hence, we should carry out this analysis for more seasons in order to get an accurate ranking of coaches. We are working on it!

Follow me on twitter: @jdelcorraltm

Si, existe una alternativa objetiva al ranking de entrenadores de la NBA publicado en la web de ESPN

Coautor: Fernando Herencia Quintanar

Recientemente se ha publicado en la página web de ESPN un artículo donde han construido un ranking de los entrenadores de la NBA de esta temporada mediante votación de un panel de expertos donde se les pidió que evaluasen el desempeño de los entrenadores para conseguir éxitos deportivos tanto a corto como a largo plazo. En la explicación de la metodología seguida por el famoso portal se dice que “no hay virtualmente ninguna medida objetiva para evaluar a los tipos que planean las jugadas y tratan los egos de los jugadores que no sea títulos y anillos”. Es cierto que no hay una medida objetiva para evaluar el rendimiento a largo plazo dado que se basa en expectativas del futuro, pero si hay varias metodologías para evaluar de forma objetiva la actuación de los entrenadores. La más usada son los métodos frontera, en donde a cada entrenador se le asigna o calcula una medida de la calidad de sus jugadores y se evalúa la diferencia entre lo que se espera que pueda obtener como máximo dada la calidad de su plantilla y los resultados que realmente obtuvo. Cuanto menor sea esta diferencia mejor lo habrá hecho el entrenador y cuánto mayor sea esta diferencia peor lo habrá hecho el entrenador. Esta fue la metodología seguida en este trabajo de Dave Berri para la NBA.

Otra alternativa para evaluar de forma objetiva el rendimiento de un entrenador es comparar los resultados obtenidos y los resultados esperados para un equipo a partir de las cuotas de apuestas deportivas. A partir de las cuotas de apuestas para un determinado partido se puede obtener la probabilidad de que suceda cualquiera de los dos resultados posibles (i.e., victoria del equipo local o victoria del equipo visitante) y a partir de las cuotas de todos los partidos de una temporada se puede calcular la probabilidad de obtener cada uno de los posibles número de victorias.


El siguiente gráfico muestra la función de densidad de victorias para Miami Heat y Charlotte Bobcats en esta temporada hasta sus partidos 74. Para Miami Heat puede verse como la probabilidad es prácticamente nula de obtener una cantidad menor de 40 victorias. Esto se debe a que para muchos partidos los Miami Heat las casas de apuestas consideraban que la probabilidad de victoria de los Miami Heat se situaba por encima del 90%. La situación es la opuesta para Charlotte Bobcats donde se considera un milagro obtener más de 40 victorias. El motivo es evidente los Miami Heat tienen una plantilla mucho mejor que los Charlotte Bobcats. 
Para obtener una medida objetiva de la actuación de los entrenadores puede calcularse la probabilidad de haber obtenido más victorias que las realmente obtenidas. La siguiente tabla muestra la probabilidad de obtener cada uno de los posibles números de victorias a partir de 36 para los Charlotte Bobcats.


Como puede verse la probabilidad de haber obtenido un número mayor de victorias que las realmente obtenidas (36 hasta la jornada 74) es 2,71%. Entonces para calcular una medida objetiva del rendimiento del equipo lo único que hay que hacer es calcular el inverso de ese 2,71% y su inverso da un rendimiento del 97,3%, o en términos de 0 a 10 un 9,73.

La siguiente tabla muestra el rendimiento de los entrenadores con la metodología descrita anteriormente en las primeras 74 jornadas de esta presente campaña así como las notas puestas por el panel de la ESPN.

Como se puede observar en la tabla, los resultados difieren de manera considerable. En concreto, el coeficiente de correlación lineal entre nuestras puntuaciones y las de ESPN es del 63%, mientras que el coeficiente de correlación de rangos es del 68%.[1] Luego, la relación entre ambas puntuaciones es positiva pero no todo lo grande que debería ser.

Las primeras cinco posiciones del ranking de la ESPN son Gregg Popovich, Tom Thibodeau, Doc Rivers, Erik Spoelstra y Rick Carlisle. Entre los cinco suman cinco de los últimos siete títulos de la NBA (faltan los de Phil Jackson en Lakers) y todos han tenido una influencia positiva en sus equipos en el pasado. Sin embargo la actuación de sus equipos en esta temporada no está siendo todo lo bueno que se esparaba especialmente los Pacers y los Heat.

Por otra parte, nuestras dos primeras posiciones difieren bastante con lo que el panel de expertos de la ESPN propuso. Estos dos equipos han sido las grandes sorpresas positivas de esta temporada, equipos con plantillas que a priori no parecían muy resolutivas han logrado tener una posición muy digna para lo que las cuotas esperaban. Charlotte Bobcats en la temporada 2012-2013 acabaron como el segundo peor equipo de la liga mientras que Phoenix Suns fue el peor equipo de la conferencia Oeste. Esto en las primeras jornadas hizo que las cuotas no estuvieran muy esperanzadas en sus victorias y sin embargo a falta de 8 jornadas para el término de la temporada ambas franquicias están en puestos de play-off, lo que indica que el entrenador ha tenido gran influencia positiva en el resultado. Así que parecen más sensatos que estos dos entrenadores se sitúen en lo alto de clasificación y no en la parte media-alta como en la ESPN.

Las notas de la ESPN parecen mostrar cierto favoritismo hacia alguno de los grandes equipos, como por ejemplo Miami Heats e Indiana Pacers. Estos dos equipos tienen una plantilla muy completa y se espera que obtengan muy buenos resultados (mejores incluso que los actuales, siendo estos equipos los que ocupan las dos primeras posiciones de la conferencia Este), pero es que una mala temporada de Miami o Indiana se esperan que obtengan una buena clasificación de todos modos, ya que su plantilla tiene un valor muy elevado. Por ejemplo en 9 y 10 respectivamente partidos en casa las cuotas para ganador local eran menores a 1,10 lo que significa que se daba casi por segura la victoria. Una vez más parece más sensato la nota proporcionada por nuestra metodología que la nota puesta por el panel de la NBA, al menos en lo que a rendimiento objetivo del equipo hasta el momento en esta temporada.

Otro equipo en el que las diferencias son muy pronunciadas son los Boston Celtics. Boston Celtics tiene una votación muy alta para los resultados que llevan esta campaña. Este año no tienen opciones de play-off y tienen más de 50 derrotas por lo que es una temporada perdida para la franquicia y más debido a que el año pasado si llegó a la ronda final del campeonato, lo que quiere decir que al principio de temporada las cuotas estuvieran un poco esperanzadas con que el equipo cumpliera objetivos y se volviera a meter en play-off. Lo contrario ocurre con Los Ángeles Lakers. Tras la venta de Dwight Howard a Houston se esperaba que Nash, Kobe, Pau, etc. Pudieran volver a llevar a la franquicia de California donde se le espera, pero sin embargo las cuotas ya del principio de temporada predecían una mala campaña posiblemente por la plaga de lesiones que ha ido padeciendo. Por ejemplo las cuotas del primer partido de la temporada contra Los Ángeles Clippers concedía una probabilidad del 20% de victoria Laker. Así, aunque la temporada esté siendo desastrosa para el conjunto angelino no es atribuible a la mala gestión del entrenador, sino a una mala gestión de la plantilla o sencillamente a la mala suerte que han tenido con las lesiones de sus hombres más importantes.

En conclusión, los análisis de eficiencia nos muestran que si comparamos la calidad de la plantilla con el resultado actual hay equipos modestos con grandes entrenadores. Jeff Hornacek (Phoenix Suns) y Steve Clifford (Charlotte Bobcats) tienen el mejor resultado para esta temporada seguido del gran Gregg Popovich (San Antonio Spurs) que ocupa la tercera posición debido a que tiene una gran plantilla pero con unos resultados acordes a lo que se espera. Habrá que aumentar el número de años de nuestro análisis para establecer un ranking más preciso de los entrenadores. Estamos en ello!

Sígueme en twitter: @jdelcorraltm



[1] Ambos coeficientes oscilan entre -100% (máxima correlación negativa entre dos variables) y 100% (máxima correlación positiva entre dos variables)