如何优化我的查询以更快地获得结果?

Posted

技术标签:

【中文标题】如何优化我的查询以更快地获得结果?【英文标题】:How to optimize my query to get result faster? 【发布时间】:2014-06-26 19:42:22 【问题描述】:

我正在扫描许多网页上的单词,然后将它们存储在 mysql db 中。

我有三张桌子:

单词:(wordidword页面:(pageidpage地图:(wordidpageidfreq

freq 字段用于保存页面中单词的出现次数。

然后使用 phpExcel,我正在创建一个包含单词、页面和频率值的工作表。

sheet的基本方案如下:

|   A   |   B   |   C   | ....
|       |page1  |page2  | ....
|word1  |     10|      7| ....
|word2  |      2|      1| ....
...
...

所以我有以下代码来获取该 Excel 工作表,但所需的工作时间太长,浏览器停止工作,表示服务器响应太晚。所以我的工作没有完成。我也试过添加

ini_set('max_execution_time', 0);
set_time_limit(36000); 

但是添加上面的代码前后没有变化。

所以我认为现在优化查询可能会更快。

function write2excel($config)

    include 'PHPExcel_1.8.0_doc/Classes/PHPExcel.php';
    include 'PHPExcel_1.8.0_doc/Classes/PHPExcel/Writer/Excel2007.php';

    $objPHPExcel = new PHPExcel();

     //retrieve page names from DB in a associative array
     $pages = getPages($config);

     //retrieve word names from DB in a associative array
     $words = getWords($config); 

    $r = 1;
    $c = 0;

     //Write each word into the first column in each row.
    foreach ($words as $w)
    
        $objPHPExcel->setActiveSheetIndex(0)
                ->setCellValueByColumnAndRow(1, $r, $w['word']);
        $r++;
    
     //Write page names into the first rows of each column
    foreach ($pages as $p)
    
        $objPHPExcel->setActiveSheetIndex(0)
                ->setCellValueByColumnAndRow($c, 2, $p['page']);
        $c++;
    

     $c = 1;
    foreach ($words as $w)
    
        $r = 2;
        foreach ($pages as $p)
        
            $freq = getFrequency($p['page'], $w['word'], $config);
            $objPHPExcel->setActiveSheetIndex(0)
                    ->setCellValueByColumnAndRow($c, $r, $freq);

             $r++;
        
        $c++;
    

    $objPHPExcel->getActiveSheet()->setTitle('mySheet');

    $objWriter = new PHPExcel_Writer_Excel2007($objPHPExcel);

    $objWriter->save('mySheet.xlsx');
 

function getWords($config)

    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT word FROM words');

    $query->execute();

    return $query->FetchAll(PDO::FETCH_ASSOC);


function getPages($config)

    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT page FROM pages');

    $query->execute();

    return $query->FetchAll(PDO::FETCH_ASSOC);


function getFrequency($page, $word, $config)

    require_once $config . '.php';

    $conn = new Connection();

    //find frequency value of the given word for the given page
    $query = $conn->db->prepare('SELECT freq FROM map WHERE pageid IN '
            . '(SELECT pageid FROM pages WHERE page = :page) '
            . 'AND wordid IN (SELECT wordid FROM words WHERE word = :word) LIMIT 1');

    $query->bindValue(':page', $page, PDO::PARAM_STR);
    $query->bindValue(':word', $word, PDO::PARAM_STR);

    $query->execute();

    $row = $query->FetchAll(PDO::FETCH_ASSOC);
    if ($query->rowCount() > 0)
    
        $freq = $row[0]['freq'];
    
    else
    
        $freq = 0;
    
    return $freq;

words表中有10000多行,pages表有1000多行

编辑

如果我想为所有页面运行 100×100 行的脚本,该怎么做?我的意思是前 100 个单词将被提取,然后是 101-200、201-300,......直到最后。

【问题讨论】:

【参考方案1】:

您应该检查确切的问题出在哪里,但您已经可以改进一些事情:

只使用一个连接并传递它,这样您就不会在每次调用其中一个函数时打开一个新的数据库连接; 准备语句一次,然后执行多次,而不是每次调用该函数时都在函数中进行准备。

除此之外,在循环中(或在本例中为嵌套循环)执行查询总是会成为一个问题,因此尝试减少查询数量并使用 EXPLAIN 优化您的索引可能会给最大的收获。

【讨论】:

【参考方案2】:

我个人注意到一次获取所有行非常昂贵。

使用fetch() 逐一获取您的记录会快得多,请尝试应用这些更改:

function getWords($config)

    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT word FROM words');

    $query->execute();

    $rows = array();
    while($row =$query->fetch(PDO::FETCH_ASSOC) )
        $rows[]= $row;
    

    return $rows;


function getPages($config)

    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT page FROM pages');

    $rows = array();
    while($row =$query->fetch(PDO::FETCH_ASSOC) )
        $rows[]= $row;
    

    return $rows;


function getFrequency($page, $word, $config)

    require_once $config . '.php';

    $conn = new Connection();

    //find frequency value of the given word for the given page
    $query = $conn->db->prepare('SELECT freq FROM map WHERE pageid IN '
            . '(SELECT pageid FROM pages WHERE page = :page) '
            . 'AND wordid IN (SELECT wordid FROM words WHERE word = :word) LIMIT 1');

    $query->bindValue(':page', $page, PDO::PARAM_STR);
    $query->bindValue(':word', $word, PDO::PARAM_STR);

    $query->execute();

    $row = $query->fetch(PDO::FETCH_ASSOC);
    if ($query->rowCount() > 0)
    
        $freq = $row['freq'];
    
    else
    
        $freq = 0;
    
    return $freq;

【讨论】:

【参考方案3】:

我已将我的程序上传到我认为它优于我的笔记本电脑的网络服务器。但我没有解决办法。所以我决定使用limitoffset 来划分结果集。

我使用地址栏输入限制和偏移值。我现在正在拿我的床单。然后我要把它们合并成一张纸。

感谢您的建议。我已将它们应用于我的代码。我没有衡量他们是否加快了我的工作,但似乎这是有道理的。

反正我的问题已经解决了。

我已将函数 getWords() 更改如下:

function getWords($config, $limit, $offset)

    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT word FROM words LIMIT ' . $limit . ' OFFSET ' . $offset );

    $query->execute();

    $rows = array();
    while($row =$query->fetch(PDO::FETCH_ASSOC) )
        $rows[]= $row;
    

    return $rows;

我知道查询很容易受到攻击,容易被注入。谁在乎?我已经在本地计算机上运行它。

【讨论】:

以上是关于如何优化我的查询以更快地获得结果?的主要内容,如果未能解决你的问题,请参考以下文章

如何优化限制查询以更快地从大表中访问数据?

如何优化多表连接视图以获得更快的响应?

如何优化推理脚本以获得更快的分类器预测?

如何优化我的 Google 脚本以更快地检索 SQL 数据?

如何优化此查询并使其执行得更快? [关闭]

如何才能最佳地优化循环次数超过十亿次?