设为首页收藏本站Access中国

Office中国论坛/Access中国论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

返回列表 发新帖
查看: 1832|回复: 2
打印 上一主题 下一主题

[Access本身] 如何读取4G的文本文件

[复制链接]
跳转到指定楼层
1#
发表于 2006-12-9 00:04:00 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
单位从ORACLE数据库中导出了一个4.1G的文本文件(1000余万行),要求按照地区进行分割(文本文件的每行均有字符代表不同地区,共300多个地区)。由于access对
超过2G的文件无法处理,foxpro也不能处理如此大的文本,所以我采用以下方法处理:
1、通过open方法打开文本文件,死机,放弃;
2、通过sql server 导入到sql数据库,然后通过adp或vb连接到sql,但是频频连接中断,放弃;
3、迫不得已,通过sql server 导入到sql数据库,然后将数据按照没250万行导出为一个文本文件的方法导出了4个文本文件,这样每个文件
均不大于2G,然后通过access链接表的方法将文本文件链接到mdb数据库,再通过循环逐条判断,写入到新的文本文件中,共耗时12个小时。

问题:
方法3太耗时间了!如果时间能够控制到4小时还是能够接受的。不知道有什么数据库、或者什么思路可以解决?我只会windows系统,对unix一窍不通。
其实我知道对unix,这样的人物是小菜一碟。

各位大虾!救救命!我还要再进行2次这样的工作!
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 分享分享 分享淘帖 订阅订阅
2#
发表于 2006-12-9 03:26:00 | 只看该作者
夸张!!!!!!!

也许用ADO.NET读取存入SQL Server可以一试。可以发送点样本到我邮箱fan0217@163.com 我看看帮的上忙不。
3#
 楼主| 发表于 2006-12-12 16:35:00 | 只看该作者
读入到SQL Server是没有问题的,但是效率不是很高......
您需要登录后才可以回帖 登录 | 注册

本版积分规则

QQ|站长邮箱|小黑屋|手机版|Office中国/Access中国 ( 粤ICP备10043721号-1 )  

GMT+8, 2024-5-4 06:51 , Processed in 0.090525 second(s), 26 queries .

Powered by Discuz! X3.3

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表