概述
我們很多時候都會去drop一些大表,特別是生產環境做操作時,這裡主要提一些注意事項,僅供參考。
01
相關語法
1、刪表
DROP TABLE Syntax
DROP [TEMPORARY] TABLE [IF EXISTS]
tbl_name [, tbl_name] ...
[RESTRICT | CASCADE]
可一次刪除一張或多張表。需具有所刪除表上的DROP權限。表定義文件和數據文件均被移除。表被刪除後表上的用戶權限不會被自動刪除。參數裡表中指定的表名不存在則報錯,但對於存在的表仍會刪除。可通過指定IF EXISTS阻止表不存在時引發的錯誤(此時對於不存在的表僅產生一個NOTE)。
對於分區表,除了移除表定義,分區、數據外還移除與之關聯的分區定義文件(.par)。
在MySQL5.6中參數[RESTRICT | CASCADE]不做任何事情。[TEMPORARY] 關鍵字表明只刪臨時表,語句不會結束正在進行的事務(MySQL中DDL語句會隱式提交),不會進行權限檢查。
2、刪庫
DROP DATABASE Syntax
DROP {DATABASE | SCHEMA} [IF EXISTS] db_name...
刪除指定庫中的表之後刪除庫。需具有庫上的DROP權限。庫被刪除後庫上存在的用戶權限不會被自動刪除。IF EXISTS用於阻止庫名不存在時引起的錯誤。庫被刪除後默認庫會被重置。若在使用了符號連結的庫上執行DROP DATABASSE 連接和原始資料庫都會被刪除。命令返回被移除的表數量。
該命令會從指定的資料庫目錄中移除常規操作時MySQL自己產生的文件和目錄,如:.BAK .DAT .HSH .MRG. MYD .MYI .TRG .TRN .db.frm .ibd .ndb .par,若存在db.opt也同樣會刪除。若資料庫目錄中存在其他非MySQL本身產生的文件或目錄,則整個資料庫目錄不會被移除。此時,需手動清理剩餘的文件並重新運行DROP DATABASE語句。
刪除資料庫並不會移除庫中創建的臨時表。臨時表在SESSION結束時自動被清理或者顯示的通過DROP TEMPORARY TABLE 刪除。
02
刪除大表的注意事項
對於表的刪除,因為InnoDB引擎會在table cache層面維護一個全局獨占鎖一直到DROP TABLE完成為止,這樣,對於表的其他操作會被HANG住。對於較大的表來說,DROP TABLE操作可能需要很長的時間,因此需要一種有效的辦法來提升大表的刪除速度,以儘可能降低HANG住的時間。這裡可以通過設置硬連結來達到此目的。
這裡用一個簡單實驗來測試一下:
1、創建測試表
表名:no_part_tab,1.8億數據量,表大小5.4G。
delimiter //
CREATE PROCEDURE load_no_part_tab()
begin
declare v int default 0;
while v < 1000000
do
insert into no_part_tab
values (v,'testing partitions',adddate('1995-01-01',(rand(v)*36520) mod 3652));
set v = v + 1;
end while;
end
//
mysql> delimiter ;
mysql> call load_no_part_tab();
mysql> insert into no_part_tab select * from no_part_tab;
.....
mysql> create table t2 as select * from no_part_tab nologging;
使用InnoDB引擎且指定innodb_file_per_table=ON時在數據目錄中與該表對應的有如下兩個文件,分別為表定義文件和數據文件。
2、drop table
直接使用DROP TABLE來完成刪表動作,正常這條語句要執行很長時間。因為數據量只有5G,所以不是很明顯。(這台伺服器空間不夠了,所以數據量沒加上去..)
3、建立硬連結
此時便可以通過在該表對應的數據文件上設置硬連結來進行刪除。
#ln /data/datafile/test/no_part_tab.MYD /data/datafile/test/no_part_tab.MYD.hdlk
#ls -lh /data/datafile/test/
發現多了一個sys_user.ibd.hdlk文件,且no_part_tab.MYD.hdlk和no_part_tab.MYD的innode均為2。也即當有多個文件名(如硬連結)指向同一innode時,這個innode的引用數大於1,此時,刪除其中任何一個文件名都只會刪除指向innode的指針而並不會直接刪除物理文件塊,因此會非常快,直至innode的引用計數等於1時才會真正刪除對應的物理文件塊,真正刪除物理文件塊時才會比較耗時。
4、drop table
在建立了硬連結後再執行DROP TABLE操作:
DROP TABLE no_part_tab;
可以看到基本沒耗時,查看對應的表定義和數據文件:
只剩下no_part_tab.MYD.hdlk,且innode的引用計數變為了1。也即剛才的DROP TABLE操作實施刪除了物理文件的一個指針no_part_tab,因而非常快。
5、刪除真正的物理文件
因為此時innode的引用計數已經變為了1,直接刪除no_part_tab.MYD.hdlk便會真正的刪除物理文件。但因為物理文件較大,刪除大文件仍會引起較高的磁碟IO開銷。因此可以使用少量逐次刪除的方式來刪除大的數據文件。truncate工具可以用於增加或縮減指定文件的尺寸,可以用於此目的:
#for i in `seq 6 -1 1 ` ;do sleep 2;sudo truncate -s ${i}G /data/datafile/test/no_part_tab.MYD.hdlk;done
#rm -rf /data/datafile/test/no_part_tab.MYD.hdlk;
從6G開始,每次縮減1G,停2秒,繼續,直到文件只剩1G,最後使用rm命令刪除剩餘的部分。
如果是整個資料庫的刪除可以先刪除其中較大的表,最後在執行DROP DATABASE刪除整個庫,對大表的刪除可參見上面的方法。
後面會分享更多devops和DBA方面的內容,感興趣的朋友可以關注下!