IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Oracle 11g大数据量表快速增加列 -> 正文阅读

[大数据]Oracle 11g大数据量表快速增加列

GPS平台、网站建设、软件开发、系统运维,找森大网络科技!
https://cnsendnet.taobao.com
来自森大科技官方博客
http://www.cnsendblog.com/index.php/?p=1975

Oracle 11g增加列,并带默认值的新特性
网址: http://www.eygle.com/digest/2011/06/oracle_11g_default_column.html
永久链接:http://www.ixdba.com/html/y2007/m08/159-oracle11g-add-column.html

老和尚在他的blog中描述了了这个问题,我这里做一个详细的测试来说明这个问题。
在oracle 11g以前,如果需要在一个表中执行类似如下的命令,而且这个表本身已经有很多数据,那么,这个操作将可能花费很长的时间,并且可能阻塞应用:
? SQL>alter table table_name add field_name number default 0 not null;
因为这个操作需要修改以前所有的行,并把他们都修 改为默认值,如以上的0。但是,这个情况在oracle 11g中有了巨大的改变,oracle 11g中,如果对一个表增加一个列,并带有默认值,Oracle并没有真实的去修改以前的列,只不过通过查询的时候,采用类似NVL(null,新值)的 方法转换一下,让以前的列看起来象有值一样。
这个过程在select 的时候就转换好了,所以,对于使用者看来,他们是有值的,这个细小的改动将大大减少这个语句的执行时间,使得这样的语句在oracle 11g中不会引起任何阻塞,更不会影响性能了。
下面看一个简单的对比说明:
首先是Oracle 10g的测试
? Piner@10gR2>create table test(a int);
? Table created.
?
? Piner@10gR2>begin
? 2 for i in 1…1000 loop
? 3 insert into test values(‘1’);
? 4 end loop;
? 5 commit;
? 6 end;
? 7 /
? PL/SQL procedure successfully completed.
?
? Piner@10gR2>set serveroutput on
? Piner@10gR2>exec show_space(‘TEST’);
? Total Blocks…8
? Total Bytes…65536
? Unused Blocks…0
? Unused Bytes…0
? Last Used Ext FileId…4
? Last Used Ext BlockId…135641
? Last Used Block…8
? PL/SQL procedure successfully completed.
?
?
? Piner@10gR2>alter table test add flag char(2000) default 1 not null;
? Table altered.
?
? Piner@10gR2>exec show_space(‘TEST’);
? Total Blocks…384
? Total Bytes…3145728
? Unused Blocks…0
? Unused Bytes…0
? Last Used Ext FileId…4
? Last Used Ext BlockId…134409
? Last Used Block…128
? PL/SQL procedure successfully completed.
?
? Piner@10gR2>select count() from test where flag is null;
?
? COUNT(
)
? ----------
? 0
可以看到的是,在增加默认值的列以后,该表的使用空间发生了巨大的变化,也证明数据库修改了以前的所有的块中的数据,让他们都生效。
以下是Oracle 11g的操作
? Piner@11gR1>create table test(a int);
? Table created.
?
? Piner@11gR1>begin
? 2 for i in 1…1000 loop
? 3 insert into test values(‘1’);
? 4 end loop;
? 5 commit;
? 6 end;
? 7 /
? PL/SQL procedure successfully completed.
?
? Piner@11gR1>set serveroutput on
? Piner@11gR1>exec show_space(‘TEST’);
? Total Blocks…8
? Total Bytes…65536
? Unused Blocks…0
? Unused Bytes…0
? Last Used Ext FileId…4
? Last Used Ext BlockId…83745
? Last Used Block…8
? PL/SQL procedure successfully completed.
?
? Piner@11gR1>alter table test add flag char(2000) default 1 not null;
? Table altered.
?
? Piner@11gR1>exec show_space(‘TEST’);
? Total Blocks…8
? Total Bytes…65536
? Unused Blocks…0
? Unused Bytes…0
? Last Used Ext FileId…4
? Last Used Ext BlockId…83745
? Last Used Block…8
? PL/SQL procedure successfully completed.
?
? Piner@11gR1>select count() from test where flag is null;
?
? COUNT(
)
? ----------
? 0
这里可以看到,同样的记录,做了同样的操作,增加新列,并设置默认值以后,表的使用空间没有发生任何变化,也同样证明了Oracle没有修改以前的块中的数据。
这里的例子只有1000条记录,主要是为了体现了 空间的变化。如果是几是万条,或者几百万条以上的表,同样的操作,oracle 11g是马上就结束了,不会有任何影响,而oracle 10g可能需要非常长的时间,这个时间表是被锁住的,不能执行任何DML操作,对于写频繁的应用来说,将会导致应用的阻塞。

新添加的列,如果指定了默认值,并没有修改以前的块,读取以前的行的时候,可能发生一个转换过程。但是,如果对于已经设置过默认值的情况,插入新值的时候,这么默认值是怎么处理的呢:
之前的情况:
? Piner@11gR1> desc test;
? Name Type Nullable Default Comments
? ---- ---------- -------- ------- --------
? A INTEGER Y
? FLAG CHAR(2000) Y 0
?
? Piner@11gR1>exec show_space(‘TEST’);
? Total Blocks…8
? Total Bytes…65536
? Unused Blocks…0
? Unused Bytes…0
? Last Used Ext FileId…4
? Last Used Ext BlockId…83745
? Last Used Block…8
? PL/SQL procedure successfully completed.
?
? Piner@11gR1>select count() from test;
? COUNT(
)
? ----------
? 1000
插入新记录:
? Piner@11gR1>begin
? 2 for i in 1…1000 loop
? 3 insert into test(a) values(‘1’);
? 4 end loop;
? 5 commit;
? 6 end;
? 7 /
? PL/SQL procedure successfully completed.
?
? Piner@11gR1>exec show_space(‘TEST’);
? Total Blocks…384
? Total Bytes…3145728
? Unused Blocks…0
? Unused Bytes…0
? Last Used Ext FileId…4
? Last Used Ext BlockId…90889
? Last Used Block…128
? PL/SQL procedure successfully completed.
可以看到,新插入的1000条记录,块的个数发生了非常大的变化,证明了在新的记录中,Oracle实际上是真正把默认值添加到块中去了。但是,只有以前的记录依然是没有值的,需要靠转换来完成。
现在有2000条记录,是分2次插入进去的,这个时候,如果去掉默认值,会发生什么情况?是一半有值,一半没有值,还是都有值呢?我们再看:
? Piner@11gR1>alter table test modify flag default null null;
? Table altered.
?
? Piner@11gR1>select count() from test where flag is null;
? COUNT(
)
? ----------
? 0
?
? Piner@11gR1>exec show_space(‘TEST’);
? Total Blocks…384
? Total Bytes…3145728
? Unused Blocks…0
? Unused Bytes…0
? Last Used Ext FileId…4
? Last Used Ext BlockId…90889
? Last Used Block…128
? PL/SQL procedure successfully completed.
可以看到,虽然解除了默认值,块的个数也没有任何变化,以前的记录依然是没有真实的写入任何数值到块中的,但是,Oracle 依然能把以前的默认值显示出来,因为is null查不出来任何记录,而且查询记录就可以看到实际的值就是以前的默认值。
最后,再增加1000条记录,这个时候可以发现,因为去掉了默认值,现在在另外一个列上,写入的为null。
? Piner@11gR1>begin
? 2 for i in 1…1000 loop
? 3 insert into test(a) values(1);
? 4 end loop;
? 5 commit;
? 6 end;
? 7 /
? PL/SQL procedure successfully completed.
?
? Piner@11gR1>exec show_space(‘TEST’);
? Total Blocks…384
? Total Bytes…3145728
? Unused Blocks…0
? Unused Bytes…0
? Last Used Ext FileId…4
? Last Used Ext BlockId…90889
? Last Used Block…128
? PL/SQL procedure successfully completed.
?
? Piner@11gR1>select count() from test where flag is null;
? COUNT(
)
? ----------
? 1000
所以,对于整个过程分析下来,可以这么认 为,oracle在add column default的时候,只是记录了一个标记,标记为这个点之前的所有块,如果是NULL的话,是需要转换的,反之取出实际的值。而这个点之后的块,就是按 照实际的值来处理,如果中途反复修改,则以修改为准。
因为add column default,对于一个列,最多发生一次,所以,一个列只记录一个参照点即可。
但是,对于这个特性,有人想问,如果想保持以前的值为null,不要强行转换,但是,又想把新增加的列设置一个默认值,怎么办?其实也很简单,跟以前一样,分2步走即可,这样的话,以前的值还是null,新的值将为默认值。
? Piner@11gR1>alter table table_name add field_name number;
? Piner@11gR1>alter table table_name modify field_name default 0;

– Add/modify columns 数据量大的表新增字段,需要加上not null,否则会很慢 edit by huch
alter table OBD_DATA add errorcode varchar2(20) default ‘’ not null;
– Add comments to the columns
comment on column OBD_DATA.errorcode
is ‘错误代码’;
可以先这是为不可为空,后面再改成可为空,在湖北正式试了,执行后面那两条sql语句也非常快
在这里插入图片描述

GPS平台、网站建设、软件开发、系统运维,找森大网络科技!
https://cnsendnet.taobao.com
来自森大科技官方博客
http://www.cnsendblog.com/index.php/?p=1975

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-10-25 12:36:07  更:2021-10-25 12:37:01 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 3:14:18-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码