Mount

使用 LUKS 創建按需增長的加密卷

  • October 5, 2019

我正在嘗試在 Linux 中創建一個加密的、按需增長的文件系統。我熟悉 LUKS 和 cryptsetup。

我可以創建一個空文件:

fallocate -l 512M /root/image

我可以在上面創建一個 LUKS 容器:

cryptsetup -y luksFormat /root/image

然後“打開”它:

cryptsetup luksOpen /root/image luksvolume

此時,我可以在其上創建一個文件系統:

mkfs.ext4 -j /dev/mapper/luksvolume

這一切都很好,花花公子。但是,它沒有解決問題的“按需增長”部分。

這個想法是在加密文件系統上複製一個 2Gb 文件將“擴展”圖像,使其足夠大以包含該文件。

甚至有可能做到嗎?

是的!看起來有可能。讓我們看看它是如何實現的。請注意,這不會創建真正的按需增長文件系統,因為當文件系統達到稀疏文件的最大大小時,如果仍需要寫入更多數據,它將報告“空間不足”錯誤。

最初,我正在研究Thin Provisioning,這是一種在虛擬化場景中節省儲存空間的著名技術。不幸的是,在常見的 Linux 案例中,它似乎僅適用於LVM。由於這似乎超出了您的問題範圍,因此我搜尋了其他內容。

我研究的第二個概念是Sparse File。這完全適合您的問題,並且……我最初的疑問是:“好的。我可以創建一個稀疏文件。但是當我將它初始化為 LUKS 容器時會發生什麼?這樣的初始化會分配所有可用空間嗎?如果沒有,當我在這樣的容器中初始化文件系統時會發生什麼?會mkfs.ext4分配所有可用空間嗎? ”。由於沒有答案,我決定試一試。那麼,讓我們看看發生了什麼。

讓我們從我目前的系統開始,我在文件系統中只有3.3G的可用空間/repository

root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  258G    3,3G  99% /repository

讓我們在這樣的文件系統中創建一個10G稀疏文件,其中:

root@iMac-Chiara:~# dd of=/repository/file_container.img bs=1G count=0 seek=10
0+0 record dentro
0+0 record fuori
0 byte (0 B) copiati, 0,000119606 s, 0,0 kB/s

讓我們驗證一下……它確實是一個稀疏文件:

root@iMac-Chiara:~# ls -lh /repository/file_container.img 
-rw-r--r-- 1 root root 10G dic 12 19:48 /repository/file_container.img

好的。所以我們有一個10G的文件,在一個以前有 3.3G 可用空間的文件系統中。我還有多少可用空間?

root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  258G    3,3G  99% /repository

還是3.3G。好的。稀疏文件真的是……稀疏文件;-) 讓我們先一步,在這樣一個 10G 的文件中創建一個 LUKS 容器,然後……讓我們看看是否空間不足:

root@iMac-Chiara:~# losetup /dev/loop0 /repository/file_container.img
root@iMac-Chiara:~# cryptsetup -y luksFormat /dev/loop0

WARNING!
========
Ciò sovrascriverà i dati in /dev/loop0 in modo irreversibile.

Are you sure? (Type uppercase yes): YES
Inserire la passphrase LUKS: 
Verify passphrase: 
root@iMac-Chiara:~# cryptsetup luksOpen /dev/loop0 secretfs
Inserire la passphrase per /dev/loop0: 
root@iMac-Chiara:~#

所以現在我secrets在我的 10G 稀疏文件之上定義了一個打開的容器,儲存在一個只有 3.3G 可用空間的文件系統中。

我還有多少可用空間?

root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  258G    3,3G  99% /repository

精彩的!還是3.3GB。我們的加密容器幾乎不需要空間!

讓我們檢查一下是否一切正常,或者我們的設置是否有什麼奇怪的地方:

root@iMac-Chiara:~# cryptsetup status secretfs
/dev/mapper/secretfs is active.
 type:    LUKS1
 cipher:  aes-cbc-essiv:sha256
 keysize: 256 bits
 device:  /dev/loop0
 loop:    /repository/file_container.img
 offset:  4096 sectors
 size:    20967424 sectors
 mode:    read/write

一切似乎都很好,所以讓我們開始使用這樣的容器來儲存一些東西。讓我們首先在其中創建一個 EXT4 文件系統:

root@iMac-Chiara:~# mkfs.ext4 /dev/mapper/secretfs 
mke2fs 1.42.5 (29-Jul-2012)
Etichetta del filesystem=
OS type: Linux
Dimensione blocco=4096 (log=2)
Dimensione frammento=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
655360 inodes, 2620928 blocks
131046 blocks (5.00%) reserved for the super user
Primo blocco dati=0
Maximum filesystem blocks=2684354560
80 gruppi di blocchi
32768 blocchi per gruppo, 32768 frammenti per gruppo
8192 inode per gruppo
Backup del superblocco salvati nei blocchi: 
   32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632

Allocating group tables: fatto                           
Scrittura delle tavole degli inode: fatto                           
Creating journal (32768 blocks): fatto
Scrittura delle informazioni dei superblocchi e dell'accounting del filesystem: fatto

root@iMac-Chiara:~#

看起來它起作用了,因為沒有“空間不足”的痕跡。讓我們檢查:

root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  258G    3,2G  99% /repository

嗯……所以出事了。我們失去了大約 100M 的空間,但是….這是意料之中的行為:EXT4 文件系統的創建確實需要寫入大量元數據。所以創建過程使用了一些空間是正常的。

它是一個“工作”的 EXT4 文件系統嗎?

root@iMac-Chiara:~# tune2fs -l /dev/mapper/secretfs
tune2fs 1.42.5 (29-Jul-2012)
Filesystem volume name:   <none>
Last mounted on:          <not available>
Filesystem UUID:          e63321c3-cee7-478d-a6af-cbdcaf1be1f7
Filesystem magic number:  0xEF53
Filesystem revision #:    1 (dynamic)
Filesystem features:      has_journal ext_attr resize_inode dir_index filetype extent flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Filesystem flags:         signed_directory_hash 
Default mount options:    user_xattr acl
Filesystem state:         clean
Errors behavior:          Continue
Filesystem OS type:       Linux
Inode count:              655360
Block count:              2620928
Reserved block count:     131046
Free blocks:              2541265
Free inodes:              655349
First block:              0
Block size:               4096
Fragment size:            4096
Reserved GDT blocks:      639
Blocks per group:         32768
Fragments per group:      32768
Inodes per group:         8192
Inode blocks per group:   512
Flex block group size:    16
Filesystem created:       Sat Dec 12 19:58:05 2015
Last mount time:          n/a
Last write time:          Sat Dec 12 19:58:05 2015
Mount count:              0
Maximum mount count:      -1
Last checked:             Sat Dec 12 19:58:05 2015
Check interval:           0 (<none>)
Lifetime writes:          131 MB
Reserved blocks uid:      0 (user root)
Reserved blocks gid:      0 (group root)
First inode:              11
Inode size:           256
Required extra isize:     28
Desired extra isize:      28
Journal inode:            8
Default directory hash:   half_md4
Directory Hash Seed:      c8b3bf1b-9f05-4267-85d3-2ecfdbaa6dc3
Journal backup:           inode blocks

是的!看起來不錯。

所以現在我們在一個打開的 LUKS 容器中編寫了一個 EXT4 文件系統,該容器定義在一個 3.3G 文件系統中儲存的 10G 稀疏文件之上。

讓我們通過“按需”分配空間來看看一切是否正常。

讓我們首先將 500M 的虛擬數據寫入加密的 FS

root@iMac-Chiara:~# mkdir /mnt/temp
root@iMac-Chiara:~# mount /dev/mapper/secretfs /mnt/temp
root@iMac-Chiara:~# dd if=/dev/zero of=/mnt/temp/random_data.bin bs=1M count=512
512+0 record dentro
512+0 record fuori
536870912 byte (537 MB) copiati, 2,35214 s, 228 MB/s
root@iMac-Chiara:~#

我們是否已成功創建文件?

root@iMac-Chiara:~# ls -lh /mnt/temp/random_data.bin 
-rw-r--r-- 1 root root 512M dic 12 20:09 /mnt/temp/random_data.bin

看起來是這樣。

我們的真實文件系統發生了什麼?

root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  259G    2,5G 100% /repository

哇!我們“損失”了 500M 以上。這很好,順便說一句,因為物理空間真的是按需分配的!

讓我們再儲存一個 2GB 的文件:

root@iMac-Chiara:~# dd if=/dev/zero of=/mnt/temp/another_random_data.bin bs=1G count=2
2+0 record dentro
2+0 record fuori
2147483648 byte (2,1 GB) copiati, 25,6539 s, 83,7 MB/s
root@iMac-Chiara:~#

發生了什麼?

root@iMac-Chiara:~# ls -arlh /mnt/temp
totale 2,6G
-rw-r--r-- 1 root root 512M dic 12 20:09 random_data.bin
drwx------ 2 root root  16K dic 12 19:58 lost+found
-rw-r--r-- 1 root root 2,0G dic 12 20:13 another_random_data.bin
drwxr-xr-x 8 root root 4,0K mag 29  2015 ..
drwxr-xr-x 3 root root 4,0K dic 12 20:12 .
root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  261G    484M 100% /repository
root@iMac-Chiara:~#

非常好。如果我們刪除一個文件會發生什麼?

root@iMac-Chiara:~# rm /mnt/temp/random_data.bin 
root@iMac-Chiara:~# sync
root@iMac-Chiara:~# ls -arlh /mnt/temp
totale 2,1G
drwx------ 2 root root  16K dic 12 19:58 lost+found
-rw-r--r-- 1 root root 2,0G dic 12 20:13 another_random_data.bin
drwxr-xr-x 8 root root 4,0K mag 29  2015 ..
drwxr-xr-x 3 root root 4,0K dic 12 20:14 .
root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  261G    484M 100% /repository
root@iMac-Chiara:~#

正如預期的那樣,稀疏文件的行為與精簡配置完全相同:一旦分配,刪除文件時就無法收回儲存空間。但是,總的來說,這是可以的。不是嗎?

所以在這一點上,你的問題的答案應該是完整的。對?


添加:

讓我們看看當下劃線儲存已滿時會發生什麼:

root@iMac-Chiara:~# dd if=/dev/zero of=/mnt/temp/a_third_random_data.bin bs=1G count=2
2+0 record dentro
2+0 record fuori
2147483648 byte (2,1 GB) copiati, 26,7142 s, 80,4 MB/s
root@iMac-Chiara:~#

什麼?看起來它成功了!這怎麼可能?讓我們檢查!

root@iMac-Chiara:~# ls -arlh /mnt/temp
totale 4,1G
drwx------ 2 root root  16K dic 12 19:58 lost+found
-rw-r--r-- 1 root root 2,0G dic 12 20:17 a_third_random_data.bin
-rw-r--r-- 1 root root 2,0G dic 12 20:13 another_random_data.bin
drwxr-xr-x 8 root root 4,0K mag 29  2015 ..
drwxr-xr-x 3 root root 4,0K dic 12 20:17 .
root@iMac-Chiara:~#

嗯……看起來還可以。我們確定嗎?

root@iMac-Chiara:~# df /repository
File system    1K-blocchi     Usati Disponib. Uso% Montato su
/dev/sda3       288110208 275070448         0 100% /repository

我們的空間已經用完了!沒有任何錯誤!

即使調查真正發生的事情會很好……我將把這個留給你的好奇心和/或其他ServerFault成員的故障排除技能;-)

玩得開心!


順便說一句:我已經測試了以上所有內容,在這裡:

root@iMac-Chiara:~# cat /etc/lsb-release 
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=13.04
DISTRIB_CODENAME=raring
DISTRIB_DESCRIPTION="Ubuntu 13.04"
root@iMac-Chiara:~# uname -r
3.8.0-31-generic
root@iMac-Chiara:~# dpkg -l cryptsetup-bin
[...]
ii  cryptsetup-bin             2:1.4.3-4ubuntu2   amd64              disk encryption support - command line tools
root@iMac-Chiara:~#

引用自:https://serverfault.com/questions/696554