LVM and File System
1. LVM (Logical Volume Manager)
여러 디스크를 하나의 큰 통으로 합친 뒤, 그 통을 원하는 크기로 잘라 쓰는 리눅스 기능
- 디스크 한 장 크기보다 큰 공간을 만들 수 있음
- 공간이 부족하면 서버를 끄지 않고 늘릴 수 있음 (
lvextend) - 디스크를 새로 추가해서 통(VG)을 키울 수 있음 (
vgextend)
LVM이 없는 경우
디스크 sdb (100GB) → 통째로 /app
디스크 sdc (100GB) → 통째로 /data/app가 꽉 차도/data의 남는 공간을 나눠 쓸 수 없음- 디스크 한 장보다 큰 공간을 만들 수 없음
LVM의 정체
따로 실행해 두는 프로그램이 아니라, 리눅스 커널 기능 + 그 기능을 설정하는 명령어 묶음
[사람이 치는 명령어] lvm2 패키지
pvcreate, vgcreate, lvcreate, lvextend ...
│
↓
[리눅스 커널 기능] device-mapper
"LV의 몇 번째 칸 = 실제 디스크의 몇 번째 칸" 을 번역
│
↓
[물리 디스크]
/dev/sdb, /dev/sdc한 번 설정해 두면 그다음부터는 커널이 알아서 동작함
2. PV → VG → LV
| 단계 | 원래 이름 | 의미 |
|---|---|---|
| PV | Physical Volume | 실제 디스크(또는 파티션)를 LVM 재료로 등록한 것 |
| VG | Volume Group | PV들을 합친 큰 통 |
| LV | Logical Volume | VG에서 필요한 만큼 잘라낸 조각 |
sdb (100GB) sdc (100GB) [Disk]
│ │
pvcreate pvcreate (1) PV : LVM 재료로 등록
│ │
└─────────┬─────────┘
│
vg_data (200GB) (2) VG : 큰 통
│
┌─────────────┼─────────────┐
lv_sw (80G) lv_dat (100G) free (20G) (3) LV : 잘라낸 조각명령어
pvcreate /dev/sdb # (1) PV 등록: sdb를 LVM 재료로 쓰겠다고 표식
vgcreate vg_data /dev/sdb # (2) VG 생성: sdb로 vg_data 라는 큰 통 생성
lvcreate -n lv_sw -L 80G vg_data # (3) LV 생성: vg_data 에서 80GB를 lv_sw 라는 이름으로 잘라냄주의 - pvcreate만으로는 VG에 합쳐지지 않음
pvcreate는 재료 표식만 붙임. 어느 통(VG)에 넣을지는 따로 지정해야 함
pvcreate /dev/sdc # 재료로 등록만 됨 (아직 어느 통에도 안 들어감)
vgextend vg_data /dev/sdc # vg_data 통에 합쳐짐
# 또는 처음 만들 때 한 번에
vgcreate vg_data /dev/sdb /dev/sdcpvcreate= 벽돌로 인증vgcreate/vgextend= 그 벽돌을 창고 벽에 쌓기
OS는 LV를 어떻게 보나
VG 통 전체가 아니라 LV 하나하나를 각각 디스크 한 장처럼 봄
vg_data (200GB 통)
├─ lv_sw → OS 입장: "80GB 디스크 1장"
└─ lv_dat → OS 입장: "100GB 디스크 1장"3. LVM 구성은 누가 하나
| 주체 | 언제 |
|---|---|
| OS(Operating System) 설치 프로그램 | OS 설치 시 자동 구성 (RHEL(Red Hat Enterprise Linux) 계열은 Anaconda 설치 프로그램이 root / swap / home LV 생성) |
| 서버 관리자 | 디스크 추가, 용도별 분리 시 명령어로 직접 구성 (root 권한 필요) |
| 자동화 도구 (Ansible 등) | 서버가 많을 때 스크립트로 일괄 구성 |
실무에서는 보통 인프라 담당이 OS 설치 시 용도별로 LV를 나눠 두고, 그 위에 솔루션을 설치하는 쪽은 이미 만들어진 경로를 사용만 함 그래서 설치 전에는
df -h <경로>로 "용도별로 잘 나눠져 있는지"만 확인함
4. 파일시스템 (File System)
파일시스템이 없는 디스크
LVM까지 끝난 LV는 번호만 붙은 빈 칸들의 나열
[칸0][칸1][칸2][칸3][칸4][칸5] ... [칸 수억 개]
각 칸 = 약 4KB, 번호만 있음- "3번 칸에 써라 / 3번 칸을 읽어라" 만 가능
- 파일, 폴더, 이름 같은 개념이 없음
파일시스템 = 장부이자 규칙
빈 칸들 위에 "파일 이름 ↔ 실제 칸 위치"를 관리하는 장부와 규칙을 깔아 둔 것
- 어떤 파일이 몇 번 칸들에 저장되어 있는지
- 그 파일이 어느 폴더 안에 있는지
- 크기, 만든 시간, 주인, 권한(rwx)
- 비어 있는 칸이 어디인지
[파일시스템이 깔린 디스크]
│
├─ [장부 영역]
│ docs/report.txt → 칸 120~125, 20KB, 권한 644
│ logs/a.log → 칸 300, 301, 877
│ free map → 126~299 비어 있음 (빈 칸 지도)
│
└─ [데이터 영역]
block 120 : "안녕하세요..."
block 121 : "..."cat으로 파일을 읽으면 → 장부에서 위치를 찾고 → 그 칸들을 읽어 이어 붙임- 파일 중간 한 줄만 수정 가능한 이유 → 장부로 그 줄의 칸 위치를 알기 때문
mkfs (make filesystem)
mkfs.xfs /dev/vg_data/lv_sw # lv_sw 위에 xfs 방식의 파일시스템(장부) 생성- 윈도우의 "포맷"과 같은 개념
- 장부를 새로 깔기 때문에 기존 데이터는 보이지 않게 됨 → 위험한 명령
- 종류: xfs(RHEL 기본), ext4, NTFS(New Technology File System), FAT(File Allocation Table)32 등 → 장부 쓰는 방식의 차이 (추후 공부)
5. Mount
파일시스템이 깔린 장치를 서버의 특정 폴더에 연결하는 것
mkdir /app
mount /dev/vg_data/lv_sw /app # /app 폴더로 들어가면 lv_sw 의 파일시스템을 사용mount는 재부팅하면 풀림 →/etc/fstab(file system table)에 적어 부팅 시 자동 연결- mount 전의
/app는 OS 디스크(/)에 있는 그냥 빈 폴더 → 여기 쓰면 OS 디스크에 쌓임
저장이 실제로 내려가는 경로
vi /app/test.txt 저장
→ /app 는 lv_sw 에 mount 되어 있음
→ filesystem (xfs) : "test.txt = LV의 500번 칸"
→ LVM (device-mapper) : "LV의 500번 칸 = 실제 sdb의 1,500번 칸"
→ 물리 디스크 sdb 에 기록즉, /app에 저장하면 실제로는 lv_sw에 저장되고, 가장 밑바닥까지 내려가면 sdb에 저장됨
6. /dev 와 장치 파일
/dev (device)
리눅스는 하드웨어에도 파일처럼 이름을 붙임 → 그 이름들을 모아 둔 폴더가 /dev
/dev자체는 폴더 (cd /dev,ls /dev가능)- 그 안의 항목들은 일반 파일이 아니라 장치 파일
- 부팅 시 커널이 장치를 발견하면 udev(userspace device manager)가 메모리 위에 자동 생성
장치 파일 = 하드웨어를 가리키는 이름표
명령어에게 "이 디스크에 작업해" 라고 가리키기 위한 이름
mkfs.xfs /dev/dm-0 # "dm-0 이라는 장치에 파일시스템 깔아"
mount /dev/dm-0 / # "dm-0 이라는 장치를 / 폴더에 연결해"- 이름표 안에 데이터가 들어 있는 것이 아님
/dev/sdb에cp로 파일을 넣으면 디스크 맨 앞 칸부터 덮어씀 → 금지
ls -l /dev/sda
brw-rw----. 1 root disk 8, 0 ... /dev/sda| 맨 앞 글자 | 의미 |
|---|---|
- | 일반 파일 |
d | 폴더 (directory) |
l | 바로가기 (link) |
b | 블록 장치 (block device) - 디스크 |
c | 문자 장치 (character device) - 터미널, null 등 |
실제 이름과 별칭
LV의 실제 장치 파일은 /dev/dm-N 하나뿐 (dm = device-mapper) 나머지는 사람이 알아보기 쉽게 붙인 별칭(바로가기)
/dev/
├─ dm-0 ← 실제 장치 파일
├─ rlm/ ← VG 이름으로 만들어진 평범한 폴더 (별칭 모음)
│ └─ root → ../dm-0 ← 별칭
└─ mapper/ ← 또 다른 이름 규칙의 별칭 모음
└─ rlm-root → ../dm-0 ← 별칭/dev/dm-0 = /dev/rlm/root = /dev/mapper/rlm-root (전부 같은 LV)- LV 이름 (
root) : 사람이lvcreate -n으로 지은 이름 - dm 번호 (
dm-0) : 커널이 LV를 켤 때 순서대로 붙인 번호 → 부팅 순서에 따라 바뀔 수 있음 - 그래서
/etc/fstab같은 설정에는 바뀌지 않는 별칭 쪽을 적음 - VG 자체는 장치 파일이 없음. 장치 파일이 생기는 건 LV뿐이고,
/dev/rlm은 "rlm 통에서 나온 LV들의 별칭 모음"일 뿐
7. 실제 서버에서 확인
쿠버네티스 노드 1대 (RHEL 계열, 기본 설치)
/dev 확인
[root@node01 ~]# ls
anaconda-ks.cfg # Anaconda 설치 프로그램의 설치 설정 기록 → OS 설치 시 LVM 자동 구성
[root@node01 ~]# cd /dev
[root@node01 dev]# ls
... dm-0 dm-1 dm-2 ... mapper ... rlm ... sda sda1 sda2 ... tty0 ... null ...| 항목 | 의미 |
|---|---|
sda | 1번 디스크 (sd = SCSI(Small Computer System Interface) disk) |
sda1, sda2 | sda의 파티션 1, 2 |
dm-0, dm-1, dm-2 | LVM이 만든 LV의 실제 장치 파일 |
rlm/, mapper/ | LV 별칭 모음 폴더 |
tty*, pts/ | 터미널 (SSH(Secure Shell) 접속 창은 pts/) |
null, zero, random | 특수 장치 (블랙홀, 0 생성, 난수) |
[root@node01 dev]# cd rlm/
[root@node01 rlm]# ls
home root swap # VG rlm 에서 나온 LV 3개의 별칭lsblk (list block devices)
디스크 → 파티션 → LV → mount 위치를 트리로 보여줌
[root@node01 dev]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 931.5G 0 disk
├─sda1 8:1 0 1G 0 part /boot
└─sda2 8:2 0 930.5G 0 part
├─rlm-root 253:0 0 70G 0 lvm /var/lib/kubelet/pods/.../calico-node/8
│ /
├─rlm-swap 253:1 0 7.7G 0 lvm
└─rlm-home 253:2 0 852.8G 0 lvm /home| 열 | 원래 이름 | 의미 |
|---|---|---|
| MAJ:MIN | major : minor number | 커널의 장치 구분 번호. 8 = 일반 디스크, 253 = device-mapper(LVM) |
| RM | removable | 뺄 수 있는 장치면 1 |
| RO | read-only | 읽기 전용이면 1 |
| TYPE | disk / part(파티션) / lvm(LV) | |
| MOUNTPOINTS | 연결된 폴더 |
- LV 이름 규칙은
VG이름-LV이름→rlm-root= VGrlm+ LVroot - 셋 다
sda2아래에 있으므로sda2가 VGrlm의 재료(PV)임을 추정 가능 - 1TB 디스크가 931.5G로 보이는 이유 → 제조사는 1,000 단위, 리눅스는 1,024 단위로 계산
트리 해석
sda (disk, 931.5G)
├─ sda1 (1G) ───────────────────→ /boot LVM 안 씀, 부팅 시 먼저 읽어야 해서 분리
└─ sda2 (930.5G) = PV
└─ VG "rlm" (930.5G)
├─ LV root (dm-0, 70G) ──→ /
├─ LV swap (dm-1, 7.7G) 마운트 없음
└─ LV home (dm-2, 852.8G) ──→ /homepvs / vgs / lvs - LVM 정확히 확인
lsblk는 전체 그림 보기용, pvs / vgs / lvs는 LVM 정확히 확인용
[root@node01 dev]# pvs
PV VG Fmt Attr PSize PFree
/dev/sda2 rlm lvm2 a-- <930.51g 0sda2가 VGrlm소속임을 직접 확인PFree 0→ PV 공간이 남김없이 VG에 사용됨
[root@node01 dev]# vgs
VG #PV #LV #SN Attr VSize VFree
rlm 1 3 0 wz--n- <930.51g 0#PV 1→ 재료 1개 (sda2)#LV 3→ 잘라낸 조각 3개 (root, swap, home)VFree 0→ 통에 남은 공간 없음
[root@node01 dev]# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
home rlm -wi-ao---- 852.76g
root rlm -wi-ao---- 70.00g
swap rlm -wi-a----- <7.75gAttr의a= active(켜짐),o= open(사용 중, 마운트됨)
| 명령 | 보여주는 것 |
|---|---|
pvs | 어떤 디스크/파티션이 어느 VG에 들어갔는지 |
vgs | VG 크기, PV 수, LV 수, 남은 공간(VFree) |
lvs | LV 이름, 소속 VG, 크기 |
PV는 디스크 전체로도, 파티션 하나로도 만들 수 있음
발견한 것
swap에 마운트 위치가 없음
- swap은 메모리 부족 시 디스크를 메모리 대신 쓰는 공간이라 원래 마운트하지 않음
- 쿠버네티스 노드는 swap을 끄는 것이 원칙 (
swapon --show로 확인)
root에 긴 경로가 하나 더 붙어 있음
calico-nodePod이 root 디스크 일부를 자기 컨테이너 안에 연결(bind mount)한 것- 같은 디스크 영역을 다른 경로에서도 보이게 한 것일 뿐
공간 배분이 한쪽으로 쏠려 있음
/(root) 70G,/home852.8G- 쿠버네티스가 실제로 많이 쓰는 곳은 root 쪽 (
/var/lib/containerd,/var/lib/kubelet,/var/log) VFree 0이라 root가 차도 바로 못 늘림 → 디스크 추가 후vgextend하거나 home을 줄여야 하는데, xfs는 줄이기 불가- 그래서 처음 설치할 때 용도별(프로그램 / 데이터 / 로그)로 LV를 미리 나눠 두는 것이 중요함
결론
Disk (sda, sdb ...)
→ [LVM] pvcreate → vgcreate / vgextend → lvcreate : 합치고 원하는 크기로 자름
→ [device file] /dev/dm-0 (alias /dev/rlm/root) : 커널이 만든 이름표 (장치 파일)
→ [filesystem] mkfs.xfs : 칸 위에 "이름 ↔ 위치" 장부를 깖
→ [mount] /app ↔ /dev/vg_data/lv_sw (+ /etc/fstab) : 폴더에 연결
→ 서버는 /app 에서 ls, cp, vi결국 서버 한 대 안에서 디스크를 쓰는 방법은, LVM으로 디스크를 원하는 크기로 나누고, 그 위에 파일시스템으로 관리할 판을 깔고, mount로 폴더에 연결하는 것
다음 단계 → 이 디스크를 네트워크 너머 다른 서버들과 어떻게 나눠 쓰나 = NAS와 오브젝트 스토리지