转载

生产数据导入测试环境碰见的一些问题

我们某一个系统的夜维出现了性能的问题，删除N张表，数据量从几万到几百万不等，现在需要3.5-4个小时，看了一下SQL AWR，有些采用了TABLE ACCESS FULL，而且是数据量百万级的表，并且一次删除5000条，批量要删除几百次，相当于执行几百次TABLE ACCESS FULL，效率可想而知。

大家讨论后，决定除了索引、SQL语句，从夜维程序逻辑上也要优化，提出了一些方案，目前正处于测试中。不过今儿先不说这事儿，这有个问题，就是测试库数据是模拟出来的，无论从字段含义，还是数据量，均不能和生产相比，因此为了验证，夜维程序优化的作用，需要将生产数据导入测试环境。

这个过程中，碰见了一些琐碎的问题，有些可能是常见的问题，记录于此，

1. 首先需要了解生产库数据。

生产库用户下数据存放于数据表空间TABLE_DAT中，目前使用量为25G左右，索引数据存放于索引表空间TABLE_IDX，目前使用量为10G左右。

2. 导出生产库数据。

使用expdp system/oracle schema=xxx directory=xxx dumpfile=xxx logfile=xxx，导出生产库xxx这个schema所有对象信息，dump文件17G(因为expdp数据泵会有压缩，因此不是 25+10=35G)，用时十几分钟。

3. 准备测试数据库。

为了满足生产库数据的需求，测试环境就至少需要35G的空间存放数据。找遍了手头上的资源，才找到一台异地机房的服务器，可用空间为50G左右，安装了 Oracle 11.2.0.4，剩余42G左右。接着为了便于数据导入，创建了和生产环境一致的用户、数据表空间名称(26G)，以及索引表空间名称(11G)。

问题来了，需要倒入的文件dump有17G，本地空间只有42-26-11=5G左右，不足以存放dump文件。

4. 寻找中间服务器。

最直接的方法，就是找一台中间服务器，作为中转，满足空间容量，执行导出导入。但找的服务器，发现和这台开发服务器，网络策略不通，因为我们生产库和测试库，属于两地机房，之间互访需要开通策略，现申请网络策略，需要一些时间，所以这一条路行不通。

5. 山穷水尽疑无路。

目前的问题，测试库服务器，磁盘空间只有5G，但一个文件dump就需要17G，而且这台服务器，由于一些原因，不能加新的磁盘容量。那么如何增加存储空间？

6. 柳暗花明又一村。

前两天为了学习RAC，特意看了下NFS，因为我这台服务器，属于同网段的还有几台，虽然容量相近(不能满足数据库+数据文件+dump的空间需求)，但足以存放17G文件，我来搭一个NFS，dump文件放其中，让这台数据库服务器，可以访问这个dump，是不是就可以了？

编辑用于提供存储的服务器exports，

[root@RAC1 DATA]# vi /etc/exports

/shared_disk 10.x.x.x(sync,rw)

启动NFS服务，

[root@RAC1 DATA]# service nfs start

Starting NFS services: [ OK ]

Starting NFS quotas: [ OK ]

Starting NFS mountd: [ OK ]

Starting NFS daemon: [ OK ]

Starting RPC idmapd: [ OK ]