带有 qTableview 的 Pandas 模型的慢 PyQt5 QAbstractTableModel

Posted 2023-03-30

【中文标题】带有 qTableview 的 Pandas 模型的慢 PyQt5 QAbstractTableModel

【英文标题】：Slow PyQt5 QAbstractTableModel for Pandas Model with qTableview

【发布时间】：2021-05-16 15:03:56

【问题描述】：

我正在使用 PandasModel(QAbstractTableModel) 在 qtableView 中显示数据。它在数据较少的情况下运行良好。但是每当我尝试使用大数据时，它就会变得很慢。对于 5000 行数据，它几乎需要 20-25 秒。在 mssql mgmt studio 中运行查询只需要几秒钟。我没有找到我的代码做错的地方。

class PandasModel(QtCore.QAbstractTableModel): 
    def __init__(self, df = pd.DataFrame(), parent=None): 
        QtCore.QAbstractTableModel.__init__(self, parent=parent)
        self._df = df

    def headerData(self, section, orientation, role=QtCore.Qt.DisplayRole):

        if role != QtCore.Qt.DisplayRole:
            return QtCore.QVariant()

        if orientation == QtCore.Qt.Horizontal:
            try:
                return self._df.columns.tolist()[section]
            except (IndexError, ):
                return QtCore.QVariant()
        elif orientation == QtCore.Qt.Vertical:
            try:
                return self._df.index.tolist()[section]+1
            except (IndexError, ):
                return QtCore.QVariant()

    def data(self, index, role=QtCore.Qt.DisplayRole):

        if role != QtCore.Qt.DisplayRole:
            return QtCore.QVariant()

        if not index.isValid():
            return QtCore.QVariant()

        return QtCore.QVariant(str(self._df.iloc[index.row(), index.column()]))
        

    def setData(self, index, value, role):
        if not index.isValid():
            return False
        if role != QtCore.Qt.EditRole:
            return False
        row = index.row()
        if row < 0 or row >= len(self._data.values):
            return False
        column = index.column()
        if column < 0 or column >= self._data.columns.size:
            return False
        self._data.values[row][column] = value
        self.dataChanged.emit(index, index)
        return True
    
    def rowCount(self, parent=QtCore.QModelIndex()): 
        return len(self._df.index)

    def columnCount(self, parent=QtCore.QModelIndex()): 
        return len(self._df.columns)

    def sort(self, column, order):
        colname = self._df.columns.tolist()[column]
        self.layoutAboutToBeChanged.emit()
        self._df.sort_values(colname, ascending= order == QtCore.Qt.AscendingOrder, inplace=True)
        self._df.reset_index(inplace=True, drop=True)
        self.layoutChanged.emit()

我尝试了许多方法，例如 st the chunksize ，但没​​有奏效。请帮帮我

sql_conn = pyodbc.connect('DRIVER=ODBC Driver 17 for SQL Server;SERVER=' +
                          server+';DATABASE='+database+';UID='+username+';PWD=' + password)
cursor = sql_conn.cursor()

def loadTranForACC(AccountID):
    query_string="Select * from  user.dbo.Transaction(nolock) where accID =" + AccountID
    data=pd.read_sql_query(query_string, sql_conn)
    return data

【参考方案1】：

由于您正在使用数据库中的数据，我想指出 PyQt 具有 QSqlTableModel 和 QSqlQueryModel 处理数据库中的数据。

看看你的模型，对我来说，模型看起来不错，试着看看你的程序的哪一部分正在消耗时间。

您可以查看这些主题以了解有关这些主题的更多信息和详细信息：

qtablewidget becomes slow for large tables

pyqt qtablewidget extremely slow

虽然最终的解决方案是使用 分页，但一次只显示 500,1000 行，它将在几分之一秒内运行。

您可以访问这些线程来实现分页：QT Forum | Pagination in QTableWidget 或Paginated Display of Table Data in PyQt

【讨论】：

感谢您的评论，但我认为问题出在我的模型上。因为从 'data=pd.read_sql_query(query_string, sql_conn)' 我很快就得到了数据。每当模型试图在“tableView”中显示数据时，它就会变慢。而且我不想在我的应用中使用分页。