피로에 살고 피로에 죽자

리눅스 서버를 운영하다 보면 디스크의 물리적인 용량은 충분히 남아 있는데도 불구하고 새로운 파일을 생성할 수 없다는 오류 메시지를 마주하는 경우가 종종 있어요. 이런 현상은 파일 시스템 내에서 각 파일에 부여되는 고유한 식별 번호인 Inode가 모두 소모되었을 때 발생하거든요. 특히 웹 서버의 세션 데이터나 메일 큐, 캐시 파일처럼 크기는 매우 작지만 생성 개수가 방대한 데이터를 처리하는 환경에서 빈번하게 나타나는 문제입니다.

현재 시스템에 Inode가 얼마나 남아 있는지 확인하려면 df 명령어에 -i 옵션을 추가해서 실행하면 돼요. 이 명령어를 사용하면 각 파티션별로 전체 Inode의 개수와 현재 사용 중인 양, 그리고 남은 여유 공간을 퍼센트 수치로 한눈에 파악할 수 있거든요. 만약 특정 파일 시스템의 IUse% 수치가 100%에 가깝다면 해당 영역에서는 새 inode를 필요로 하는 작업, 즉 새로운 파일이나 디렉터리 생성이 막히는 상태라는 뜻이에요. 이미 존재하는 파일의 내용을 덮어쓰거나 이어쓰는 수정 작업은 블록 여유만 있다면 정상적으로 동작하거든요. 다만 vim처럼 임시 파일을 만들어 저장하는 에디터나 일부 프로그램은 새 inode를 요구하므로 실패할 수 있어요.

df -i

Inode가 부족한 파티션을 확인했다면 그다음 단계는 어떤 경로에 파일들이 비정상적으로 많이 쌓여 있는지 찾아내는 과정이에요. 단순히 ls 명령어를 사용하여 모든 파일을 나열하면 인덱싱 속도 때문에 시간이 너무 오래 걸릴 수 있으므로, find 명령어를 활용해 특정 경로 내의 파일 개수를 집계하는 방식이 훨씬 효율적이에요. 예를 들어 /tmp나 /var/lib/php/sessions 같은 경로를 집중적으로 점검하며 문제가 되는 위치를 정확히 파악해야 해요.

find /var/lib/php/sessions -type f | wc -l

원인이 되는 경로를 찾아냈다면 불필요한 파일을 삭제하거나 정리하는 조치가 필요해요. 특히 오래된 세션 정보나 만료된 임시 파일들을 주기적으로 제거해주는 cron 설정을 추가하면 이러한 문제를 예방할 수 있어요. Inode의 총 개수는 파일 시스템 생성 시 결정되거나 동적으로 할당되지만, 재부팅으로는 절대 최대 할당량이 늘어나지 않아요. 따라서 용량 부족이 발생하면 파일을 정리하는 것뿐만 아니라 필요시 파일 시스템 리사이즈나 추가 파티션 구성을 고려해야 해요.

배포나 백업 작업을 하다 보면 서버 간 파일 일관성을 맞춰야 할 때가 많거든요. 이때 자주 활용하는 명령어가 바로 rsync입니다. 단순히 cp나 scp를 쓰는 것보다 속도와 유연성이 뛰어나서 실무에서 자연스럽게 쓰게 되더라고요. 기본 사용법은 물론, 흔히 막히는 제외 규칙과 권한 유지 방법을 정리해 두면 도움이 될 것 같아요. 특히 대용량 파일을 다룰 때 전송 속도 차이는 체감 수준으로 느껴지네요.

rsync -avz --exclude='*.log' --exclude='.git/' /local/path user@remote:/remote/path

원격 호스트로 동기화할 때는 ssh 프로토콜을 연결해야 하거든요. 위 명령어에서 -a는 권한과 소유자, 수정 시간까지 그대로 유지해 주며, -v와 -z는 상세 출력과 압축 전송을 담당합니다. exclude 옵션은 따옴표로 감싸서 여러 개를 나열할 수 있어요. 만약 동기화 중 Permission denied가 뜨면 실행 사용자나 대상 디렉토리 권한을 먼저 확인해 봐야 하네요. rsync는 실제 변경이 있기 전에 --dry-run으로 시뮬레이션해 두면 실수를 방지할 수 있겠어요.

특정 패턴만 제외하고 나머지 파일만 빠르게 옮기거나 백업해야 할 때 매우 유용하게 쓰여요. 설정값이나 로그 파일처럼 포함할 대상을 명시하려면 --include 옵션과 함께 --exclude='*'를 조합하면 되네요. 경로가 길어질수록 명령이 복잡해질 수 있으니 exclude 목록은 별도로 관리해 두는 것도 좋아요. SSH 포트가 기본 22가 아니라면 -e 'ssh -p 22' 옵션을 추가해 주시면 연결이 잘 될 것 같아요.

동기화 대상에 불필요한 파일이 남아있다면 --delete 옵션을 추가하면 되네요. 하지만 이 옵션은 원본에 없는 파일을 대상에서 삭제하므로 반드시 dry-run으로 먼저 확인해야 하거든요. 실제 운영 환경에서 쓰실 때는 exclude 규칙과 함께 신중하게 적용해 봐야겠어요. 디렉토리 구조가 완전히 일치하지 않아도 변경된 파일만 차등 전송하므로 백업 효율이 매우 높아요.

운영하던 서버가 멀쩡히 돌다가 갑자기 "Too many open files"를 뱉으면서 새 요청을 못 받는 상황, 한 번쯤 겪으셨을 거예요. 저도 처음엔 파일을 몇 개 열지도 않았는데 왜 이러나 싶었거든요. 그런데 리눅스는 소켓 연결이나 파이프까지 전부 파일 디스크립터로 세더라고요. 그래서 동시 접속이 몰리는 웹 서버나 DB, 노드 앱은 생각보다 금방 한도에 부딪히는 거였어요.

원인은 대부분 프로세스별 소프트 한도가 낮게 잡혀 있어서예요. 배포판마다 다르지만 기본값이 1024인 경우가 흔하거든요. 그래서 무작정 설정을 바꾸기 전에, 지금 내 프로세스가 어떤 한도를 적용받고 있는지부터 확인하는 게 순서예요. 아래 명령들로 소프트·하드 한도와 시스템 전체 최대치를 볼 수 있어요.

# 현재 프로세스 한도 확인
ulimit -n                             # 소프트 한도 (보통 1024)
ulimit -Hn                            # 하드 한도
cat /proc/<PID>/limits | grep "open"  # 특정 프로세스의 실제 적용값
cat /proc/sys/fs/file-max             # 시스템 전체 최대치

# 1) 로그인 세션 프로세스: /etc/security/limits.conf 에 추가
#    deploy  soft  nofile  65536
#    deploy  hard  nofile  65536
#    → 다시 로그인해야 적용됨

# 2) systemd 서비스: limits.conf 를 안 봄. 서비스별로 지정
sudo systemctl edit myapp.service
#    [Service]
#    LimitNOFILE=65536   # 커널 5.15+ 는 infinity 도 가능
sudo systemctl daemon-reload
sudo systemctl restart myapp.service

확인해보고 한도가 실제로 부족하면 늘리면 되는데, 여기서 저도 한참 헤맸어요. 터미널에서 직접 띄운 프로세스는 limits.conf에 값을 넣고 다시 로그인하면 적용되거든요. 그런데 systemd로 등록해 돌리는 서비스는 이 파일을 아예 안 봐요. PAM을 거치지 않기 때문인데, 이 경우엔 systemctl edit로 서비스별 LimitNOFILE을 따로 지정해줘야 해요. 커널 5.15 이상이면 숫자 대신 infinity도 쓸 수 있고요.

한 가지 주의할 건, 한도를 무작정 올리기 전에 진짜 접속량 때문인지 아니면 파일 디스크립터 누수인지 lsof로 한 번 들여다보는 게 좋아요. 코드에서 소켓이나 파일을 안 닫고 계속 쌓고 있으면 한도만 키워봤자 시간 문제로 또 터지거든요. 저는 그걸 모르고 한도부터 올렸다가 며칠 뒤에 똑같이 뻗은 적이 있어요. 그리고 limits.conf든 systemd든 재로그인이나 서비스 재시작을 해야 반영되니 그 부분도 잊지 마세요.

참고: nixCraft - Linux Increase The Maximum Number Of Open Files (https://www.cyberciti.biz/faq/linux-increase-the-maximum-number-of-open-files/)

서버에서 디스크가 꽉 찼다는 알림을 받고 df -h를 보면 사용률이 100%인데, 정작 du로 뒤져보면 그만한 용량이 안 나오는 경우가 있거든요. 저도 처음엔 du 옵션을 잘못 준 줄 알고 몇 번이나 다시 돌려봤는데, 원인이 따로 있더라고요.

두 명령이 보는 곳이 다르기 때문이에요. df는 파일시스템이 실제로 잡고 있는 블록을 커널 수준에서 읽고, du는 디렉터리를 하나씩 걸어다니면서 눈에 보이는 파일 크기를 더합니다. 그래서 디렉터리 엔트리는 사라졌는데 블록은 아직 잡혀 있는 파일이 생기면 둘이 어긋나요. 가장 흔한 게 커다란 로그 파일을 rm으로 지웠는데 그 파일을 열고 있던 프로세스가 아직 살아 있는 경우입니다. rm은 링크만 끊을 뿐이라, 프로세스가 파일 디스크립터를 놓지 않으면 커널은 그 블록을 반환하지 않거든요. du 눈에는 안 보이는데 df만 계속 꽉 차 있는 상태가 되는 겁니다.

이런 파일은 lsof +L1로 찾을 수 있어요. 링크 수가 1 미만인 파일, 그러니까 지워졌는데 아직 열려 있는 파일만 골라서 보여줍니다.

# 지워졌지만 아직 열려 있는 파일 찾기 (크기순 정렬)
lsof +L1 | sort -k7 -rn | head

# 해당 프로세스를 재시작하면 커널이 블록을 반환한다
sudo systemctl restart nginx

# 재시작이 곤란할 때: fd를 통해 내용만 비운다 (로그 파일 한정)
: > /proc/1234/fd/3

# inode 고갈 여부 확인
df -i

가장 확실한 해결책은 그 파일을 붙잡고 있는 프로세스를 재시작하는 거예요. 프로세스가 파일 디스크립터를 닫으면 커널이 블록을 반환하고, df 수치가 바로 내려갑니다. 재시작이 곤란한 상황이라면 /proc/PID/fd/N 경로로 파일 내용만 잘라내는 방법도 있는데, 이건 날려도 되는 로그 파일에만 쓰세요. DB의 WAL처럼 복구에 쓰이는 파일에 하면 데이터가 깨질 수 있습니다.

그리고 df -h로 보면 여유가 있는데 "No space left on device"가 뜬다면 이건 다른 문제일 가능성이 큽니다. inode 고갈이거든요. df -i로 IUse%를 확인해보고 100%에 가깝다면, 작은 파일이 수십만 개씩 쌓인 디렉터리를 찾아 정리해야 해요. 세션 파일이나 캐시가 쌓이는 디렉터리가 주범인 경우가 많더라고요.

정리하면 df와 du가 안 맞을 땐 lsof +L1, 용량은 남았는데 못 쓸 땐 df -i. 이 두 개만 기억해두면 대부분의 디스크 풀 상황은 몇 분 안에 풀립니다.

서버 하나 띄우려는데 "Address already in use" 라고 뜨면서 안 올라올 때 있잖아요. 저도 로컬에서 8080 포트를 이미 누가 잡고 있어서 몇 번이나 당황했거든요. 이럴 때 어떤 프로세스가 그 포트를 물고 있는지 찾아서 정리하는 방법을 정리해봤어요. 알고 나면 별거 아닌데, 모르면 매번 재부팅하게 되더라고요.

먼저 포트를 쓰는 프로세스를 찾아야 하는데, 저는 보통 lsof를 제일 먼저 써요. lsof -i :8080 이렇게 치면 그 포트를 쓰는 프로세스랑 PID가 바로 나오거든요. 요즘 서버엔 netstat이 아예 안 깔려 있는 경우도 많은데, 그럴 땐 ss가 대체제라서 편해요. ss -tulnp | grep 8080 하면 리스닝 중인 소켓이랑 PID가 나와요. netstat이 있는 환경이면 netstat -tulnp | grep :8080 도 똑같이 됩니다.

PID를 확인했으면 종료는 간단해요. kill PID 로 정상 종료 신호(SIGTERM)를 보내는 게 기본이고요. 이걸로 안 죽고 버티면 그때 kill -9 PID 로 강제 종료하면 됩니다. 근데 PID 찾는 것도 귀찮다 싶으면 fuser -k 8080/tcp 한 방으로 그 포트 쓰는 프로세스를 바로 죽일 수도 있어요. 급할 때 저는 이거 자주 씁니다.

주의할 점 하나는, kill -9는 프로세스가 뒷정리할 틈도 없이 끊어버리는 거라 저장 안 된 데이터가 날아갈 수 있어요. 그래서 웬만하면 그냥 kill 먼저 써보고, 정 안 되면 -9로 가는 걸 추천해요. 그리고 남의 프로세스나 시스템 프로세스면 sudo가 필요할 수 있으니 권한 없다고 나오면 sudo 붙여서 다시 해보시면 됩니다.

현재 로그인한 계정의 홈폴더 (~)에 ".vimrc" 파일 생성 후 아래 내용 저장

set fileencodings=utf-8,euc-kr
set encoding=utf-8

출처:http://egloos.zum.com/indirock/v/3791689

[vi 에디터 utf8 <-> euc-kr 웹문서 encoding 전환하기]
원문: (http://onlyu.blog.me/60123862837)

vi로 웹문서를 열어 보면 한글이 깨어져 있고

<meta http-equiv=Content-Type Content="text/html; charset=euc-kr">이 보인다면

리눅스 콘솔창에 env 해 볼때 LANG=ko_KR.UTF-8 으로 나온면 utf8 환경입니다.

Q) 그럼 한글이 깨어져 보이는 utf-8 시스템 환경에서 euc-kr 웹문서를 제대로 볼 수 없는 것인가?

A) 리눅스 환경이라면 vi 환경설정 파일인 .vimrc 파일에 set fileencodings=utf8,euc-kr 를 추가하면 문서를 열때 자동적으로 fileencoding이 utf8인지 euc-kr 인지 encoding에 맞게 열고 저장을 합니다.

계정 로그아웃(재접속)하지 않고 vi 설정을 적용할려면 콘솔에서 source .vimrc 하고 엔터키를 누르면 됩니다.

Q) 그럼 euc-kr 파일 웹문서를 utf8 파일로 변경을 하고 싶다면 어떻게 하죠?

A) vi로 파일을 열고 나서

:set fileencoding=utf-8

:w

하면 됩니다. 저장 후 종료를 할려면 :wq 엔터를 하면 됩니다.

반대로 utf8 문서를 euc-kr로 변경 할려면 :set fileencoding=euc-kr을 하면 됩니다.

euc-kr 웹문서를 utf8로 변경 하고 저장 했다면

<meta http-equiv=Content-Type Content="text/html; charset=utf-8">

로 하지 않으면 웹브라우저에서 확인시에는 다시 한글이 깨어져 보이겠죠.

Q) vi 에디터로 열지 않고 euc-kr 웹문서를 utf8로 변경 할려고 합니다. 어떻게 해야 하죠?

A) iconv 명령어로 가능합니다.

iconv -f euc-kr -t utf-8 euc-kr.html --output utf8.html

or 

iconv -f euc-kr -t utf-8 euc-kr.html > utf8.html

Q)한개 파일이 아니라 여러개의 html 파일을 동시에 변경 할려면 어떻게 하죠?

백업 파일처럼 utf8.html로 할 필요없이 그냥 utf-8 파일로 변환 되면 좋겠는데요??

A)

변경을 원하는 경로로 이동을 하고 아래와 같은 명령어로 한방에 그럼 변경해 보겠습니다.

cd /web/files 

for I in ./-.html ; do iconv -c -f euc-kr -t utf-8 $I > $I.tmp && mv $I.tmp $I ; done

작업 완료 전에는 무조건 백업본을 유지하는 것이 좋습니다. 그냥 원본폴더를 tar로 묶어 두면 되죠. 

시스템 환경에 따라 작업 환경에 따라 charset encoding은 테스트 작업을 하고 본격적으로 진입 하는 것이 바람직합니다.  

Q) recode 명령어로 한번에 변경 할 수 있다고 하는데 어떻게 하나요?

A) 먼저 시스템에 recode 명령어를 사용할 수 있는지 확인 해야 하는데

rpm -qi recode 해서 아무것도 안나오면 설치 해야합니다.

yum install recode recode-devel 또는 rpm을 찾아서 설치 하거나 

http://recode.progiciels-bpi.ca/index.html 접속해서 파일을 받아서 설치합니다.

recode 명령어로 얼마나 많은 charset 변경을 할 수 있는지 확인은

recode -l 로 살펴 보면 됩니다. 그럼 euc-kr에서 utf-8로 변경 명령어는 아래와 같습니다.

recode -v <소스 CHARSET>...<변환 CHARSET> <파일명>

recode -v EUC-KR...UTF-8 *.html

Q) php에서 특정 문자열만 euc-kr 또는 utf8로 할려면 어떻게 하죠?

A) iconv 함수를 이용하면 됩니다.

iconv("euc-kr", "utf-8", $str); // euc-kr을 utf8로 encoding 됩니다.

iconv("utf-8", "euc-kr", $str); // utf8을 euc-kr로 encoding 됩니다.

참조 URL : http://www.php.net/manual/en/function.iconv.php

Q) java,jsp에서 문자열 encoding 전환은?

A)

StringBuffer szBuffer = new StringBuffer();
String str = new String(szBuffer.toString().getBytes("UTF-8"), "EUC-KR");

http://download.oracle.com/javase/1.5.0/docs/guide/intl/encoding.doc.html

여전히 한글이 깨어진다면 아래 상황을 체크 해 봅니다.

1. <%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>

2. <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />

3. <Connector URIEncoding="UTF-8" connectionTimeout="10000" port="8080" protocol="HTTP/1.1" redirectPort="8443"/>
4. URIEncoding 세팅을 해 놓아도 get/post 메소드로 넘어갈때 Parameter값 한글이 깨어질때는

SetCharacterEncodingFilter.java 파일을 $CATALINA_HOME/common/classes (톱캣) 또는 WEB-INF/classes (개인환경) 밑에

javac SetCharacterEncodingFilter.java -d .

컴파일을 하고 web.xml 파일 encoding 필터 세팅이 되어 있는지 확인 해 봅니다.

* utf8 톰캣이 아니라면 톰캣 4.x 은 기본적으로 8859_1로구동이 됩니다. export LANG=en_US.iso8859-1

export LANG=ko_KR.eucKR 으로 한다면 charset은 euc-kr로 구동이 됩니다.

추가 옵션으로 export CATALINA_OPTS='-Dencoding.default=euc-kr -Dfile.encoding=euc-kr'

Q) 윈도우 노트패드(notepad)에서 encoding 변환 작업은 할 수 없나요?

A) 윈도우에서 작업 가능한 무료 에디터 notepad++를 소개 해 드립니다.

http://notepad-plus-plus.org/ 접속 후 다운로드(DOWNLOAD) 메뉴에서 받으시면 됩니다.

윈도우에서 생성한 ANSI Encoding 파일을 상단 메뉴 Encoding 에서

Convert to UTF-8 without BOM (UTF-8 형식으로 변환 BOM 없음) 으로 선택하시면 UTF-8 Charset 으로 변환이 됩니다.

(notepad++ 메뉴를 한글로 변경 Settings > Preferences > General Localization 셀렉터 항목에 한국어를 선택하면 됩니다.)

(추가)

Q) 여러 사이트에서 넘어 오는 값이 각각 다른데 utf8 인지 euc-kr 인지 어떻게 알죠?

A) php 경우라면 mb_detect_encoding($str); 로 찍어 보면 압니다.

하여 각각 원하는 encoding을 iconv로 변환을 해 주면 됩니다.