LVM and File System

1. LVM (Logical Volume Manager)

여러 디스크를 하나의 큰 통으로 합친 뒤, 그 통을 원하는 크기로 잘라 쓰는 리눅스 기능

  • 디스크 한 장 크기보다 큰 공간을 만들 수 있음
  • 공간이 부족하면 서버를 끄지 않고 늘릴 수 있음 (lvextend)
  • 디스크를 새로 추가해서 통(VG)을 키울 수 있음 (vgextend)

LVM이 없는 경우

디스크 sdb (100GB) → 통째로 /app
디스크 sdc (100GB) → 통째로 /data
  • /app가 꽉 차도 /data의 남는 공간을 나눠 쓸 수 없음
  • 디스크 한 장보다 큰 공간을 만들 수 없음

LVM의 정체

따로 실행해 두는 프로그램이 아니라, 리눅스 커널 기능 + 그 기능을 설정하는 명령어 묶음

[사람이 치는 명령어]  lvm2 패키지
  pvcreate, vgcreate, lvcreate, lvextend ...
        │
        ↓
[리눅스 커널 기능]  device-mapper
  "LV의 몇 번째 칸 = 실제 디스크의 몇 번째 칸" 을 번역
        │
        ↓
[물리 디스크]
  /dev/sdb, /dev/sdc

한 번 설정해 두면 그다음부터는 커널이 알아서 동작함


2. PV → VG → LV

단계원래 이름의미
PVPhysical Volume실제 디스크(또는 파티션)를 LVM 재료로 등록한 것
VGVolume GroupPV들을 합친 큰 통
LVLogical VolumeVG에서 필요한 만큼 잘라낸 조각
     sdb (100GB)         sdc (100GB)       [Disk]
          │                   │
      pvcreate            pvcreate         (1) PV : LVM 재료로 등록
          │                   │
          └─────────┬─────────┘
                    │
             vg_data (200GB)               (2) VG : 큰 통
                    │
      ┌─────────────┼─────────────┐
 lv_sw (80G)  lv_dat (100G)  free (20G)    (3) LV : 잘라낸 조각

명령어

pvcreate /dev/sdb                    # (1) PV 등록: sdb를 LVM 재료로 쓰겠다고 표식
vgcreate vg_data /dev/sdb            # (2) VG 생성: sdb로 vg_data 라는 큰 통 생성
lvcreate -n lv_sw -L 80G vg_data     # (3) LV 생성: vg_data 에서 80GB를 lv_sw 라는 이름으로 잘라냄

주의 - pvcreate만으로는 VG에 합쳐지지 않음

pvcreate는 재료 표식만 붙임. 어느 통(VG)에 넣을지는 따로 지정해야 함

pvcreate /dev/sdc                    # 재료로 등록만 됨 (아직 어느 통에도 안 들어감)
vgextend vg_data /dev/sdc            # vg_data 통에 합쳐짐

# 또는 처음 만들 때 한 번에
vgcreate vg_data /dev/sdb /dev/sdc
  • pvcreate = 벽돌로 인증
  • vgcreate / vgextend = 그 벽돌을 창고 벽에 쌓기

OS는 LV를 어떻게 보나

VG 통 전체가 아니라 LV 하나하나를 각각 디스크 한 장처럼 봄

vg_data (200GB 통)
  ├─ lv_sw   → OS 입장: "80GB 디스크 1장"
  └─ lv_dat  → OS 입장: "100GB 디스크 1장"

3. LVM 구성은 누가 하나

주체언제
OS(Operating System) 설치 프로그램OS 설치 시 자동 구성 (RHEL(Red Hat Enterprise Linux) 계열은 Anaconda 설치 프로그램이 root / swap / home LV 생성)
서버 관리자디스크 추가, 용도별 분리 시 명령어로 직접 구성 (root 권한 필요)
자동화 도구 (Ansible 등)서버가 많을 때 스크립트로 일괄 구성

실무에서는 보통 인프라 담당이 OS 설치 시 용도별로 LV를 나눠 두고, 그 위에 솔루션을 설치하는 쪽은 이미 만들어진 경로를 사용만 함 그래서 설치 전에는 df -h <경로> 로 "용도별로 잘 나눠져 있는지"만 확인함


4. 파일시스템 (File System)

파일시스템이 없는 디스크

LVM까지 끝난 LV는 번호만 붙은 빈 칸들의 나열

[칸0][칸1][칸2][칸3][칸4][칸5] ... [칸 수억 개]
 각 칸 = 약 4KB, 번호만 있음
  • "3번 칸에 써라 / 3번 칸을 읽어라" 만 가능
  • 파일, 폴더, 이름 같은 개념이 없음

파일시스템 = 장부이자 규칙

빈 칸들 위에 "파일 이름 ↔ 실제 칸 위치"를 관리하는 장부와 규칙을 깔아 둔 것

  • 어떤 파일이 몇 번 칸들에 저장되어 있는지
  • 그 파일이 어느 폴더 안에 있는지
  • 크기, 만든 시간, 주인, 권한(rwx)
  • 비어 있는 칸이 어디인지
[파일시스템이 깔린 디스크]
 │
 ├─ [장부 영역]
 │    docs/report.txt → 칸 120~125, 20KB, 권한 644
 │    logs/a.log      → 칸 300, 301, 877
 │    free map        → 126~299 비어 있음 (빈 칸 지도)
 │
 └─ [데이터 영역]
      block 120 : "안녕하세요..."
      block 121 : "..."
  • cat 으로 파일을 읽으면 → 장부에서 위치를 찾고 → 그 칸들을 읽어 이어 붙임
  • 파일 중간 한 줄만 수정 가능한 이유 → 장부로 그 줄의 칸 위치를 알기 때문

mkfs (make filesystem)

mkfs.xfs /dev/vg_data/lv_sw          # lv_sw 위에 xfs 방식의 파일시스템(장부) 생성
  • 윈도우의 "포맷"과 같은 개념
  • 장부를 새로 깔기 때문에 기존 데이터는 보이지 않게 됨 → 위험한 명령
  • 종류: xfs(RHEL 기본), ext4, NTFS(New Technology File System), FAT(File Allocation Table)32 등 → 장부 쓰는 방식의 차이 (추후 공부)

5. Mount

파일시스템이 깔린 장치를 서버의 특정 폴더에 연결하는 것

mkdir /app
mount /dev/vg_data/lv_sw /app      # /app 폴더로 들어가면 lv_sw 의 파일시스템을 사용
  • mount는 재부팅하면 풀림 → /etc/fstab(file system table)에 적어 부팅 시 자동 연결
  • mount 전의 /app는 OS 디스크(/)에 있는 그냥 빈 폴더 → 여기 쓰면 OS 디스크에 쌓임

저장이 실제로 내려가는 경로

vi /app/test.txt 저장
  → /app 는 lv_sw 에 mount 되어 있음
  → filesystem (xfs)    : "test.txt = LV의 500번 칸"
  → LVM (device-mapper) : "LV의 500번 칸 = 실제 sdb의 1,500번 칸"
  → 물리 디스크 sdb 에 기록

즉, /app에 저장하면 실제로는 lv_sw에 저장되고, 가장 밑바닥까지 내려가면 sdb에 저장됨


6. /dev 와 장치 파일

/dev (device)

리눅스는 하드웨어에도 파일처럼 이름을 붙임 → 그 이름들을 모아 둔 폴더가 /dev

  • /dev 자체는 폴더 (cd /dev, ls /dev 가능)
  • 그 안의 항목들은 일반 파일이 아니라 장치 파일
  • 부팅 시 커널이 장치를 발견하면 udev(userspace device manager)가 메모리 위에 자동 생성

장치 파일 = 하드웨어를 가리키는 이름표

명령어에게 "이 디스크에 작업해" 라고 가리키기 위한 이름

mkfs.xfs /dev/dm-0       # "dm-0 이라는 장치에 파일시스템 깔아"
mount /dev/dm-0 /        # "dm-0 이라는 장치를 / 폴더에 연결해"
  • 이름표 안에 데이터가 들어 있는 것이 아님
  • /dev/sdb에 cp로 파일을 넣으면 디스크 맨 앞 칸부터 덮어씀 → 금지
ls -l /dev/sda
brw-rw----. 1 root disk 8, 0 ... /dev/sda
맨 앞 글자의미
-일반 파일
d폴더 (directory)
l바로가기 (link)
b블록 장치 (block device) - 디스크
c문자 장치 (character device) - 터미널, null 등

실제 이름과 별칭

LV의 실제 장치 파일은 /dev/dm-N 하나뿐 (dm = device-mapper) 나머지는 사람이 알아보기 쉽게 붙인 별칭(바로가기)

/dev/
 ├─ dm-0                    ← 실제 장치 파일
 ├─ rlm/                    ← VG 이름으로 만들어진 평범한 폴더 (별칭 모음)
 │   └─ root  → ../dm-0     ← 별칭
 └─ mapper/                 ← 또 다른 이름 규칙의 별칭 모음
     └─ rlm-root → ../dm-0  ← 별칭
/dev/dm-0  =  /dev/rlm/root  =  /dev/mapper/rlm-root     (전부 같은 LV)
  • LV 이름 (root) : 사람이 lvcreate -n 으로 지은 이름
  • dm 번호 (dm-0) : 커널이 LV를 켤 때 순서대로 붙인 번호 → 부팅 순서에 따라 바뀔 수 있음
  • 그래서 /etc/fstab 같은 설정에는 바뀌지 않는 별칭 쪽을 적음
  • VG 자체는 장치 파일이 없음. 장치 파일이 생기는 건 LV뿐이고, /dev/rlm은 "rlm 통에서 나온 LV들의 별칭 모음"일 뿐

7. 실제 서버에서 확인

쿠버네티스 노드 1대 (RHEL 계열, 기본 설치)

/dev 확인

[root@node01 ~]# ls
anaconda-ks.cfg                       # Anaconda 설치 프로그램의 설치 설정 기록 → OS 설치 시 LVM 자동 구성

[root@node01 ~]# cd /dev
[root@node01 dev]# ls
... dm-0  dm-1  dm-2  ... mapper  ... rlm ... sda  sda1  sda2 ... tty0 ... null ...
항목의미
sda1번 디스크 (sd = SCSI(Small Computer System Interface) disk)
sda1, sda2sda의 파티션 1, 2
dm-0, dm-1, dm-2LVM이 만든 LV의 실제 장치 파일
rlm/, mapper/LV 별칭 모음 폴더
tty*, pts/터미널 (SSH(Secure Shell) 접속 창은 pts/)
null, zero, random특수 장치 (블랙홀, 0 생성, 난수)
[root@node01 dev]# cd rlm/
[root@node01 rlm]# ls
home  root  swap                      # VG rlm 에서 나온 LV 3개의 별칭

lsblk (list block devices)

디스크 → 파티션 → LV → mount 위치를 트리로 보여줌

[root@node01 dev]# lsblk
NAME         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sda            8:0    0 931.5G  0 disk
├─sda1         8:1    0     1G  0 part /boot
└─sda2         8:2    0 930.5G  0 part
  ├─rlm-root 253:0    0    70G  0 lvm  /var/lib/kubelet/pods/.../calico-node/8
  │                                    /
  ├─rlm-swap 253:1    0   7.7G  0 lvm
  └─rlm-home 253:2    0 852.8G  0 lvm  /home
열원래 이름의미
MAJ:MINmajor : minor number커널의 장치 구분 번호. 8 = 일반 디스크, 253 = device-mapper(LVM)
RMremovable뺄 수 있는 장치면 1
ROread-only읽기 전용이면 1
TYPEdisk / part(파티션) / lvm(LV)
MOUNTPOINTS연결된 폴더
  • LV 이름 규칙은 VG이름-LV이름 → rlm-root = VG rlm + LV root
  • 셋 다 sda2 아래에 있으므로 sda2가 VG rlm의 재료(PV)임을 추정 가능
  • 1TB 디스크가 931.5G로 보이는 이유 → 제조사는 1,000 단위, 리눅스는 1,024 단위로 계산

트리 해석

sda (disk, 931.5G)
 ├─ sda1 (1G) ───────────────────→ /boot    LVM 안 씀, 부팅 시 먼저 읽어야 해서 분리
 └─ sda2 (930.5G) = PV
     └─ VG "rlm" (930.5G)
         ├─ LV root (dm-0, 70G)     ──→ /
         ├─ LV swap (dm-1, 7.7G)          마운트 없음
         └─ LV home (dm-2, 852.8G)  ──→ /home

pvs / vgs / lvs - LVM 정확히 확인

lsblk는 전체 그림 보기용, pvs / vgs / lvs는 LVM 정확히 확인용

[root@node01 dev]# pvs
  PV         VG  Fmt  Attr PSize    PFree
  /dev/sda2  rlm lvm2 a--  <930.51g    0
  • sda2가 VG rlm 소속임을 직접 확인
  • PFree 0 → PV 공간이 남김없이 VG에 사용됨
[root@node01 dev]# vgs
  VG  #PV #LV #SN Attr   VSize    VFree
  rlm   1   3   0 wz--n- <930.51g    0
  • #PV 1 → 재료 1개 (sda2)
  • #LV 3 → 잘라낸 조각 3개 (root, swap, home)
  • VFree 0 → 통에 남은 공간 없음
[root@node01 dev]# lvs
  LV   VG  Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  home rlm -wi-ao---- 852.76g
  root rlm -wi-ao----  70.00g
  swap rlm -wi-a-----  <7.75g
  • Attr의 a = active(켜짐), o = open(사용 중, 마운트됨)
명령보여주는 것
pvs어떤 디스크/파티션이 어느 VG에 들어갔는지
vgsVG 크기, PV 수, LV 수, 남은 공간(VFree)
lvsLV 이름, 소속 VG, 크기

PV는 디스크 전체로도, 파티션 하나로도 만들 수 있음

발견한 것

swap에 마운트 위치가 없음

  • swap은 메모리 부족 시 디스크를 메모리 대신 쓰는 공간이라 원래 마운트하지 않음
  • 쿠버네티스 노드는 swap을 끄는 것이 원칙 (swapon --show로 확인)

root에 긴 경로가 하나 더 붙어 있음

  • calico-node Pod이 root 디스크 일부를 자기 컨테이너 안에 연결(bind mount)한 것
  • 같은 디스크 영역을 다른 경로에서도 보이게 한 것일 뿐

공간 배분이 한쪽으로 쏠려 있음

  • /(root) 70G, /home 852.8G
  • 쿠버네티스가 실제로 많이 쓰는 곳은 root 쪽 (/var/lib/containerd, /var/lib/kubelet, /var/log)
  • VFree 0이라 root가 차도 바로 못 늘림 → 디스크 추가 후 vgextend 하거나 home을 줄여야 하는데, xfs는 줄이기 불가
  • 그래서 처음 설치할 때 용도별(프로그램 / 데이터 / 로그)로 LV를 미리 나눠 두는 것이 중요함

결론

Disk (sda, sdb ...)
  → [LVM]          pvcreate → vgcreate / vgextend → lvcreate  : 합치고 원하는 크기로 자름
  → [device file]  /dev/dm-0 (alias /dev/rlm/root)            : 커널이 만든 이름표 (장치 파일)
  → [filesystem]   mkfs.xfs                                   : 칸 위에 "이름 ↔ 위치" 장부를 깖
  → [mount]        /app ↔ /dev/vg_data/lv_sw (+ /etc/fstab)   : 폴더에 연결
  → 서버는 /app 에서 ls, cp, vi

결국 서버 한 대 안에서 디스크를 쓰는 방법은, LVM으로 디스크를 원하는 크기로 나누고, 그 위에 파일시스템으로 관리할 판을 깔고, mount로 폴더에 연결하는 것

다음 단계 → 이 디스크를 네트워크 너머 다른 서버들과 어떻게 나눠 쓰나 = NAS와 오브젝트 스토리지

On this page