Capítulo 18 Clusterización jerárquica
A diferencia del método k-medias, la clústerización jerárquica no requiere de una previa especificación del número de clústers a encontrar ni de la configuración inicial de ellos.
Como el nombre lo dice, estos clusterización producen representaciones jerárquicas en las cuales los clústers de cada nivel jerárquico son creados a través de la unión de clústers en el nivel inmediato siguiente.
Existen dos paradigmas dentro de la clusterización jerárquica: el aglomerativo (bottom-up) y el divisivo (top-down); en adelante nos centraremos en el paradigma aglomerativo.
18.1 Paradígma aglomerativo
En este paradigma la construcción de la clusterización empieza en el nivel más bajo y en cada nivel se unen pares de clústers para formar uno nuevo; es decir, en el nivel más bajo todos los elementos del conjunto forman un clúster cada uno; en el nivel más alto todos los elementos forman un único clúster.
La elección del par de clústers que serán unidos en uno nuevo se hace considerando la disimilaridad más pequeña entre los distintos clústers.
Cada nivel de la jerarquía representa una agrupación particular de los datos y depende del analista decidir qué nivel corresponde a una agrupación natural.
18.2 Representación gráfica
Esta clusterización binaria puede ser fácilmente representada por un árbol binario donde los nodos del árbol representan los distintos grupos.
El nodo raíz representa todo el conjunto de datos, los \(N\) nodos terminales representan cada observación individual y cada nodo no terminal tiene dos nodos hijos que representan los clústers que fueron unidos.
El paradigma aglomertivo poseé una propiedad monótona sobre la disimilaridad: la disimilaridad entre clústers es monótona creciente en cada nivel.
Esto permite que el árbol resultante pueda graficarse de forma que la altura de cada nodo sea proporcional al valor de la disimilaridad entre sus nodos hijos.
A esta representación gráfica se le conoce como dendrograma.
Los dendrogramas proveen una excelente representación interpretativa de los resultados y es en gran parte una de las razones que han hecho popular a este método de agrupación.
18.3 El algorítmo aglomerativo de clusterización
Naturalmente, para construir la clusterización necesitamos usar una medida de disimilaridad para las observaciones, sin embargo, una vez que las observaciones están agrupadas es necesario extender la defición de medidas de disimilaridad a grupos de observaciones.
Esta extensión se define como linkage.
Los cuatro tipos de linkage más comunes son:
Complete (máxima disimilaridad intraclúster): Se calculan todas las disimilaridades entre pares de observaciones entre dos clústers y conservamos la mayor de ellas.
Single (mínima disimilaridad intraclúster): Se calculan todas las disimilaridades entre pares de observaciones entre dos clústers y conservamos la menos de ellas.
Average (disimilaridad intraclúster promedio): Se calculan todas las disimilaridades entre pares de observaciones entre dos clústers y conservamos el promedio de ellas.
Centroid: Se calcula la disimilaridad entre el centroide de cada clúster.
Aún con la definición de linkage es necesario elegir una medida de disimilaridad particular y de hecho esta elección tiene una efecto muy importante en los resultados de la clusterización.
Como siempre no existe respuesta única a la mejor elección de la medida de disimilaridad pues esta depende de la naturaleza de los datos y de la pregunta que se busca responder.
18.4 Clusterización jerárquica en R
Usaremos nuevamente los datos de personajes de marvel para aplicarles clusterización jerárquica.
Ejercicios
Considera que la clusterización jerárquica realizada es buena, ¿cuántos grupos considera adecuados?.
¿Haría alguna modificación a los datos o al algorítmo de clústerización?
Analize algunos personajes de su interés para identificar con qué otros personajes son cercanos.
Realice la clusterización con otros métodos o con transformaciones a los datos y compare.
Compare los resultados con la clusterización kmedias usando el mismo número de grupos y discuta al respecto.