python用treeview获取数据不断刷新时会重复怎么办?

Posted 2023-05-17

参考技术A 在数据的处理过程中,一般都需要进行数据清洗工作,如数据集是否存在重复,是否存在缺失,数据是否具有完整性和一致性,数据中是否存在异常值等.发现诸如此类的问题都需要针对性地处理,下面我们一起学习常用的数据清洗方法.

重复观测处理

重复观测:指观测行存在重复的现象,重复观测的存在会影响数据分析和挖掘结果的准确性,所以在数据分析和建模之前需要进行观测的重复性检验,如果存在重复观测,

还需要进行重复项的删除

在数据的收集过程中,可能会存在重复观测的出现,例如通过网络爬虫,就比较容易产生重复数据.如下表,是通过爬虫获得某APP市场中电商类APP的下载量数据(部分)

通过观测可以看出唯品会和当当出现了三次.如果收集上来的不是10行,而是10万行,甚至更多是,就无法通过肉眼的方式检测数据是否存在重复项了.

下面我们看用python怎么来处理重复项的检查,以及如何删除数据项中的重复项

代码:

import pandas as pd

df = pd.read_excel(r'D:\data_test04.xlsx')

print('数据集是否存在重复观测: \n',any(df.duplicated()))

out:

数据集是否存在重复观测:

True

代码就是简单的两行就处理好了

可以看出检测数据集的记录是否存在重复,使用duplicated (英文单词的意思就是重复,复制的意思)方法,但是该方法返回的是数据集每一行的检验结果,为了能够得到最直接的结果,可以使用any函数,该函数表示的是在多个条件判断中,只有一个条件为True,则any函数的结果就为True.正如结果所示,any函数的运用返回True值,说明

该数据集是存在重复观测的.

删除数据集中的重复观测:

df.drop_duplicates(inplace = True)

df

得出的结果如上图所示,原先的10行在派出重复项后得到7行,被删除的行号为:3,8和9.该方法中又有inplace参数,设置为True就表示直接在原始数据集上做操作

以上就是本次介绍的全部知识点，感谢大家对脚本之家的支持。

Jfreechart - 根据不断变化的数据刷新图表

【中文标题】Jfreechart - 根据不断变化的数据刷新图表

【英文标题】：Jfreechart - Refresh a chart according to changing data

【发布时间】：2011-09-06 04:04:08

【问题描述】：

如果我们想“实时”更改某些数据，我想知道如何刷新图表。我的意思是，例如，我有一个包含 3 年出现的 TaskSeries 的图表，我想将 3 年改为 5 年。我希望图表立即更改。

是否有某种更新图表或类似的东西？

我知道您可以说“获取您的 TaskSeries，进行更改，它将自动刷新”，但我的 TaskSeries 已生成，我无法轻易更改这些。这就是为什么我想找到一种方法来重新计算和重建整个图表。

【参考方案1】：

我还没有找到一种简单的方法来“实时”更新 JFreeChart，因为 jfreechart 的数据结构与我的数据结构非常不兼容。所以我建立了一个我自己的 redraw() 方法，它从我的 dataModel 中收集数据，建立一个 JFreeChart dataModel 并将图表设置为新的。

这给人一种“实时”更新的感觉，也很丑。

【讨论】：

我发现 JFreeChart 的方法与 Swing 的 separable model architecture 非常兼容。

【参考方案2】：

TaskSeries 的 add() 方法自动向所有注册的侦听器发送 SeriesChangeEvent，例如CategoryPlot。在这个example 中，DynamicTimeSeriesCollection 实现了SeriesChangeEvent。在这种情况下，图表的XYPlot 是一个注册的监听器。

【讨论】：

XYPlot注册为监听器，当JFreeChart由ChartFactory创建时，默认监听SeriesChangeEvent（也就是说，我不需要注册一个我）？你的回答在两天内帮助了我两次。谢谢！

间接：AbstractSeriesDataset forwards 系列更改情节，它（自动）监听Dataset 更改。

【参考方案3】：

我遇到了这个问题；我是这样做的：

private void refreshChart() 
    jPanel_GraphicsTop.removeAll();
    jPanel_GraphicsTop.revalidate(); // This removes the old chart 
    aChart = createChart(); 
    aChart.removeLegend(); 
    ChartPanel chartPanel = new ChartPanel(aChart); 
    jPanel_GraphicsTop.setLayout(new BorderLayout()); 
    jPanel_GraphicsTop.add(chartPanel); 
    jPanel_GraphicsTop.repaint(); // This method makes the new chart appear

【讨论】：

你有任何错误，但是是一个很好的解决方案 1.-refreshChart( 2.-aChart 初始化

【参考方案4】：

我在 XYPlot 上也遇到了这个问题。我通过重置数据集找到了解决方法：

chart.getXYPlot().setDataset(chart.getXYPlot().getDataset());

这很疯狂，但它确实有效......

注意：chart.setNotify(true) 似乎什么都不做。

【参考方案5】：

// create a chart
ChartFrame mychartframe = new ChartFrame("my charts", chart);

// some other stuff ...

// somewhere else in a code far far away
mychartframe.getChartPanel().getChart().fireChartChanged();

【参考方案6】：

对我有用的是：

//reset with new dataset
chart().setDataset(dataset);
repaint the ChartPanel that contains the JFreeChart
chartPanel.repaint();