“大型”数据库的操作

chenwintek

近来要处理大量的数据，每月累积的记录原来的文本文件就有近8GB（分5个文件），每个文件用NOTEPAD打开就要好几分钟，太慢了，但是要转换到SQL SERVER 2K里面，不知道会怎样的慢。用ADP来处理，要注意些什么？小弟没有实战经验，还不知道可行否。[em01]

tmtony

8GB的文本文件，转到SQL SERVER已经需要很长的时间
不过数据库的处理速度应该比文本文件快
用NOTTEPAD打开文本是一次性打开的
而用数据库都有缓冲的概念，就象vsflex这些表格控件一样，只是在滚动到下一屏时才去预读下几屏的数据。

chenwintek

我现在还真的不知道如何是好，有很多的问题担心。比如导入数据的时间要多少，汇总，查询等回很慢；MDB里的宏到了ADP还有效否，在SQL SERVER2000里，用ADP做前端能行吗？

[em25]

[此贴子已经被chenwintek于2002-3-17 1:16:04编辑过]

chenwintek

真不知道怎么办，如此“巨无霸”，有谁处理过，能否分享经验？

[em03]

[此贴子已经被chenwintek于2002-3-17 1:17:30编辑过]

tmtony

我想主要的问题应该是导入的问题，导入的工作量的问题。
而这又主要取决于你文本文件的格式

chenwintek

天大事总平常事  


先试试再说吧，担心也没用。

大熊

游泳中学游泳！

chenwintek

用VBA代码了一个导入的程序，整整导入了一个晚上，还不行，机子好想死了，但硬盘还在转，有不感关机，在其他的客户端查看，已经有1000万的记录，而且，要查看记录数，也要等近10分钟才有结果，你说这SERVER还有没有意思，效率如此低，难道要用安腾的多CPU的SERVER？太贵了，这下如何是好？

拆分，还是....

如何是好啊？

tmtony

你是用代码直接读TEXT文件，还是用导入规则。
你导入的一条记录有多少个FIELD， 总长度约有多少？
按道理，不应该如此慢的
顺便问问，你的程序和文本文件是在一台电脑上吗，什么配置来的

chenwintek

导入规则没有用，是灰色的，用不了，所以我用代码，由于经常有超时暂停，所以我的commandtimeout设为0，所以慢的原因吧；
文本每行有300多字符，我只要4个字段，但是记录数多，还是很慢的，就算OPEN一个指向该表的RECORDSET也要3分多钟；
用WIN2K+SQL SERVER 2000，工作站为98ACCESS的ADP。