如何优化我的查询以更快地获得结果?
Posted
技术标签:
【中文标题】如何优化我的查询以更快地获得结果?【英文标题】:How to optimize my query to get result faster? 【发布时间】:2014-06-26 19:42:22 【问题描述】:我正在扫描许多网页上的单词,然后将它们存储在 mysql db 中。
我有三张桌子:
单词:(wordid,word) 页面:(pageid,page) 地图:(wordid,pageid,freq)freq 字段用于保存页面中单词的出现次数。
然后使用 phpExcel,我正在创建一个包含单词、页面和频率值的工作表。
sheet的基本方案如下:
| A | B | C | ....
| |page1 |page2 | ....
|word1 | 10| 7| ....
|word2 | 2| 1| ....
...
...
所以我有以下代码来获取该 Excel 工作表,但所需的工作时间太长,浏览器停止工作,表示服务器响应太晚。所以我的工作没有完成。我也试过添加
ini_set('max_execution_time', 0);
set_time_limit(36000);
但是添加上面的代码前后没有变化。
所以我认为现在优化查询可能会更快。
function write2excel($config)
include 'PHPExcel_1.8.0_doc/Classes/PHPExcel.php';
include 'PHPExcel_1.8.0_doc/Classes/PHPExcel/Writer/Excel2007.php';
$objPHPExcel = new PHPExcel();
//retrieve page names from DB in a associative array
$pages = getPages($config);
//retrieve word names from DB in a associative array
$words = getWords($config);
$r = 1;
$c = 0;
//Write each word into the first column in each row.
foreach ($words as $w)
$objPHPExcel->setActiveSheetIndex(0)
->setCellValueByColumnAndRow(1, $r, $w['word']);
$r++;
//Write page names into the first rows of each column
foreach ($pages as $p)
$objPHPExcel->setActiveSheetIndex(0)
->setCellValueByColumnAndRow($c, 2, $p['page']);
$c++;
$c = 1;
foreach ($words as $w)
$r = 2;
foreach ($pages as $p)
$freq = getFrequency($p['page'], $w['word'], $config);
$objPHPExcel->setActiveSheetIndex(0)
->setCellValueByColumnAndRow($c, $r, $freq);
$r++;
$c++;
$objPHPExcel->getActiveSheet()->setTitle('mySheet');
$objWriter = new PHPExcel_Writer_Excel2007($objPHPExcel);
$objWriter->save('mySheet.xlsx');
function getWords($config)
require_once $config . '.php';
$conn = new Connection();
$query = $conn->db->query('SELECT word FROM words');
$query->execute();
return $query->FetchAll(PDO::FETCH_ASSOC);
function getPages($config)
require_once $config . '.php';
$conn = new Connection();
$query = $conn->db->query('SELECT page FROM pages');
$query->execute();
return $query->FetchAll(PDO::FETCH_ASSOC);
function getFrequency($page, $word, $config)
require_once $config . '.php';
$conn = new Connection();
//find frequency value of the given word for the given page
$query = $conn->db->prepare('SELECT freq FROM map WHERE pageid IN '
. '(SELECT pageid FROM pages WHERE page = :page) '
. 'AND wordid IN (SELECT wordid FROM words WHERE word = :word) LIMIT 1');
$query->bindValue(':page', $page, PDO::PARAM_STR);
$query->bindValue(':word', $word, PDO::PARAM_STR);
$query->execute();
$row = $query->FetchAll(PDO::FETCH_ASSOC);
if ($query->rowCount() > 0)
$freq = $row[0]['freq'];
else
$freq = 0;
return $freq;
words表中有10000多行,pages表有1000多行
编辑
如果我想为所有页面运行 100×100 行的脚本,该怎么做?我的意思是前 100 个单词将被提取,然后是 101-200、201-300,......直到最后。
【问题讨论】:
【参考方案1】:您应该检查确切的问题出在哪里,但您已经可以改进一些事情:
只使用一个连接并传递它,这样您就不会在每次调用其中一个函数时打开一个新的数据库连接; 准备语句一次,然后执行多次,而不是每次调用该函数时都在函数中进行准备。除此之外,在循环中(或在本例中为嵌套循环)执行查询总是会成为一个问题,因此尝试减少查询数量并使用 EXPLAIN
优化您的索引可能会给最大的收获。
【讨论】:
【参考方案2】:我个人注意到一次获取所有行非常昂贵。
使用fetch()
逐一获取您的记录会快得多,请尝试应用这些更改:
function getWords($config)
require_once $config . '.php';
$conn = new Connection();
$query = $conn->db->query('SELECT word FROM words');
$query->execute();
$rows = array();
while($row =$query->fetch(PDO::FETCH_ASSOC) )
$rows[]= $row;
return $rows;
function getPages($config)
require_once $config . '.php';
$conn = new Connection();
$query = $conn->db->query('SELECT page FROM pages');
$rows = array();
while($row =$query->fetch(PDO::FETCH_ASSOC) )
$rows[]= $row;
return $rows;
function getFrequency($page, $word, $config)
require_once $config . '.php';
$conn = new Connection();
//find frequency value of the given word for the given page
$query = $conn->db->prepare('SELECT freq FROM map WHERE pageid IN '
. '(SELECT pageid FROM pages WHERE page = :page) '
. 'AND wordid IN (SELECT wordid FROM words WHERE word = :word) LIMIT 1');
$query->bindValue(':page', $page, PDO::PARAM_STR);
$query->bindValue(':word', $word, PDO::PARAM_STR);
$query->execute();
$row = $query->fetch(PDO::FETCH_ASSOC);
if ($query->rowCount() > 0)
$freq = $row['freq'];
else
$freq = 0;
return $freq;
【讨论】:
【参考方案3】:我已将我的程序上传到我认为它优于我的笔记本电脑的网络服务器。但我没有解决办法。所以我决定使用limit
和offset
来划分结果集。
我使用地址栏输入限制和偏移值。我现在正在拿我的床单。然后我要把它们合并成一张纸。
感谢您的建议。我已将它们应用于我的代码。我没有衡量他们是否加快了我的工作,但似乎这是有道理的。
反正我的问题已经解决了。
我已将函数 getWords() 更改如下:
function getWords($config, $limit, $offset)
require_once $config . '.php';
$conn = new Connection();
$query = $conn->db->query('SELECT word FROM words LIMIT ' . $limit . ' OFFSET ' . $offset );
$query->execute();
$rows = array();
while($row =$query->fetch(PDO::FETCH_ASSOC) )
$rows[]= $row;
return $rows;
我知道查询很容易受到攻击,容易被注入。谁在乎?我已经在本地计算机上运行它。
【讨论】:
以上是关于如何优化我的查询以更快地获得结果?的主要内容,如果未能解决你的问题,请参考以下文章