在(著名的)鸢尾花数据集上应用图聚类算法

Posted

技术标签:

【中文标题】在(著名的)鸢尾花数据集上应用图聚类算法【英文标题】:Applying Graph Clustering Algorithms on the (famous) Iris data set 【发布时间】:2020-12-13 18:06:16 【问题描述】:

我的问题涉及图聚类算法的应用。大多数时候,我看到图表是通过使用数据中的节点和边来制作的。例如,假设我们有社交媒体数据:数据中的每个人都可以表示为一个节点,个人之间的关系可以表示为边。使用这些信息,我们可以构建一个图,然后在该图上执行图聚类算法(例如 Louvain Clustering)。

有时,也可以使用点之间的距离来制作图表。点之间的距离可以被认为是边缘。例如,在 Spectral Clustering 算法中,将数据制成 KNN(k 最近邻)图,然后在该图上执行 K-Means 聚类算法。

我的问题是:假设我们采用著名的鸢尾花数据并删除响应变量(“物种”)。创建这个鸢尾花数据的图表是否有意义,其中每个节点对应于一朵花,边对应于每个点之间的成对欧几里得距离?假设这是一种合乎逻辑且正确的方法,那么是否可以在此 Iris 图上执行图聚类算法?

下面,我尝试首先使用成对的欧几里德距离(在 R 中)创建 Iris 数据图。然后我在结果图上执行了 Louvain Clustering 和 Infomap Clustering。之后,我尝试创建 Iris 数据的 KNN 图并在此 KNN 图上执行 MST(最小生成树)聚类,以及执行 Louvain 聚类。

有人可以就我所做的事情发表意见吗?这是否直观,是否具有数学意义?作为一种“作弊”的方式——鸢尾花数据只有3种。因此,如果给定的聚类算法返回的聚类明显多于 3 个,我们就知道图和/或聚类算法可能不是最佳选择。但是,在实际应用中,我们无法知道数据中存在多少“真实”类。

 library(igraph)
    library(network)
    library(reshape2)
    library(mstknnclust)
    library(visNetwork)
    library(cluster)
    
    
    /****louvain clustering done on a distance based graph - maybe this is correct****/
    x <- iris[,1:4]
    
    
    dist <- daisy(x,
                       
                        metric = "euclidean"
                       
                        )
    
    d_mat <- as.matrix(dist)
    
     d_long <- melt(d_mat)
    colnames(d_long) <- c("from", "to", "correlation")
    d_mat_long <- d_long[which(d_long$correlation > .5),]
    graph <- graph_from_data_frame(d_mat_long, directed = FALSE)
    
    
     nodes <- as_data_frame(graph, what = "vertices")
    
     colnames(nodes) <- "id"
    nodes$label <- nodes$id
     links <- as_data_frame(graph, what = "edges")
    
    visNetwork(nodes, links) %>%   visIgraphLayout(layout = "layout_with_fr")
     cluster <- cluster_louvain(graph)
    
    nodes$cluster <- cluster$membership
    
    nodes$color <- ifelse(nodes$cluster == 1, "red", "blue")
    
     visNetwork(nodes, links) %>%   visIgraphLayout(layout = "layout_with_fr") %>%   visOptions(selectedBy = "cluster") %>%   visNodes(color = "color")
    
    
    
    
    /***infomap and louvain clustering done a distance based graph but with a different algorithm: I think this is wrong***/
    
    imc <- cluster_infomap(graph)
    membership(imc)
    communities(imc)
    plot(imc, graph)
    
    lc <- cluster_louvain(graph, weights = NULL)
    membership(lc)
    communities(lc)
    plot(lc, graph)
    
    /****mst spanning algorithm on the knn graph : based on the number of clusters I think this is wrong****/
    
    cg <- generate.complete.graph(1:nrow(x),d_mat)
    
    ##Generates kNN graph
    knn <- generate.knn(cg)
    
    plot(knn$knn.graph,
    main=paste("kNN \n k=", knn$k, sep=""))
    
    results <- mst.knn(d_mat)
    
    igraph::V(results$network)$label.cex <- seq(0.6,0.6,length.out=2)
    
    plot(results$network, vertex.size=8,
         vertex.color=igraph::clusters(results$network)$membership,
         layout=igraph::layout.fruchterman.reingold(results$network, niter=10000),
         main=paste("MST-kNN \n Clustering solution \n Number of clusters=",results$cnumber,sep="" ))
    
    /*****louvain clustering and infomap done on the knn graph - maybe this is correct****/
    
    #louvain
    lc <- cluster_louvain(knn$knn.graph, weights = NULL)
    membership(lc)
    communities(lc)
    plot(lc, knn$knn.graph)
    
    imc <- cluster_infomap(knn$knn.graph)
    membership(imc)
    communities(imc)
    plot(imc, knn$knn.graph)

【问题讨论】:

【参考方案1】:

“在基于距离的图上完成的 louvain 聚类 - 也许这是正确的”

并非如此,在绘制中间中心性等图形时会使用距离。如果您的兴趣是相似性,则将距离转换为相似性。

【讨论】:

以上是关于在(著名的)鸢尾花数据集上应用图聚类算法的主要内容,如果未能解决你的问题,请参考以下文章

第二节:谱聚类算法之切图聚类算法流程及其实现

16、toy数据集上不同聚类算法的比较

马尔科夫聚类算法

图聚类算法SCAN: A Structural Clustering Algorithm for Networks

数字数据集上的K-均值聚类

图聚类算法打开深度神经网络黑箱:解密权重结构