大量查询时数据库的效率

zaijzhgh

现在有一些语句需要查询，返回查询结果。要查询的语句放在了一个向量数组中 vector<string> sqlv，那么怎么执行的效率比较高呢？
我用如下的做法：

1. 
   
2. open database();
   
3. for(int i = 0; i < sqlv.count(); i++)
   
4. {
   
5. 取每一条语句，查询得到结果返回放到一个数组中。
   
6. }
   
7. close database();
   
8. 
   

复制代码

不过我发现这样的效率很低。。。现在用的是单线程。不知道有没有什么好点的方法可以提高效率。
以下是我用C# + SQL Server2005执行查询的时候得到的提示信息（sql操作时间太长了）：

CLR 无法从 COM 上下文 0x1b3008 转换为 COM 上下文 0x1b3178，这种状态已持续 60 秒。拥有目标上下文/单元的线程很有可能执行的是非泵式等待或者在不发送 Windows 消息的情况下处理一个运行时间非常长的操作。这种情况通常会影响到性能，甚至可能导致应用程序不响应或者使用的内存随时间不断累积。要避免此问题，所有单线程单元(STA)线程都应使用泵式等待基元(如 CoWaitForMultipleHandles)，并在运行时间很长的操作过程中定期发送消息。

皇家救星

是不是你的查询语句本身太慢了

zaijzhgh

应该不会的。只是简单的查询语句：select cout(*) from table where ...，为了降低查询时间，我把数据都放一个表查询了，单表查询也低。。。

iptton

试试直接在命令行下查询看时间要多少。。
另：查询的重点应该是where语句吧...

DieIng

排序二分查吧

皇家救星

最近发现select cout(*) from table;也有可能很慢

关键是有些表太大了，count(*)都要近一分钟才出来结果

如果加上where那简直不可想像

阿宅.

select count(索引字段) from table
应该比
select count(*) from table快吧

hjack

不要用 *

建议建索引

gyCai

楼上正解。
曾经试过从中间库大约10万条数据中匹配200条，不建索引的话得5、6分钟，用索引几秒搞定。

iptton

http://www.ccvita.com/347.html

刚给一个朋友解决他写的Discuz!插件的问题，说到MySQL的COUNT(*)的效率，发现越说越说不清楚，干脆写下来，分享给大家。

COUNT(*)与COUNT(COL)
网上搜索了下，发现各种说法都有：
比如认为COUNT(COL)比COUNT(*)快的；
认为COUNT(*)比COUNT(COL)快的；
还有朋友很搞笑的说到这个其实是看人品的。

在不加WHERE限制条件的情况下，COUNT(*)与COUNT(COL)基本可以认为是等价的；
但是在有WHERE限制条件的情况下，COUNT(*)会比COUNT(COL)快非常多；

具体的数据参考如下：


mysql> SELECT COUNT(*) FROM cdb_posts where fid = 604;
+————+
| COUNT(fid) |
+————+
| 79000 |
+————+
1 row in set (0.03 sec)

mysql> SELECT COUNT(tid) FROM cdb_posts where fid = 604;
+————+
| COUNT(tid) |
+————+
| 79000 |
+————+
1 row in set (0.33 sec)

mysql> SELECT COUNT(pid) FROM cdb_posts where fid = 604;
+————+
| COUNT(pid) |
+————+
| 79000 |
+————+
1 row in set (0.33 sec)

COUNT(*)通常是对主键进行索引扫描，而COUNT(COL)就不一定了，另外前者是统计表中的所有符合的纪录总数，而后者是计算表中所有符合的COL的纪录数。还有有区别的。

COUNT时的WHERE
这点以前就写过，详细请看《Mysql中count(*),DISTINCT的使用方法和效率研究》：http://www.ccvita.com/156.html

简单说下，就是COUNT的时候，如果没有WHERE限制的话，MySQL直接返回保存有总的行数
而在有WHERE限制的情况下，总是需要对MySQL进行全表遍历。

优化总结：
1.任何情况下SELECT COUNT(*) FROM tablename是最优选择；
2.尽量减少SELECT COUNT(*) FROM tablename WHERE COL = ‘value’ 这种查询；
3.杜绝SELECT COUNT(COL) FROM tablename WHERE COL2 = ‘value’ 的出现。

吉亲史弗

如果用mysql，在执行语句前加个explain 可以帮你分析sql语句,不过mssql好似无~

落魂逍遥

原帖由 吉亲史弗 于 2009-1-11 16:14 发表
如果用mysql，在执行语句前加个explain 可以帮你分析sql语句,不过mssql好似无~

实在太精辟了,CGX好牛X

jinry

曾经试过写分析话单的程序,刚开始每次取几百条的数据出来处理结果几十万条的话单跑了几分钟还没有跑完,被狂BS...
然后后面用一次取1万条数据发现快很多,好像十几秒就可以搞定,但是老大还是不满意,然后就只有建索引,后来.后来忘了.....

但是好像建立索引也得有考虑的,都忘了呀...