전체 글

[Linux] awk을 활용한 데이터 필터링

리눅스 시스템에서 파일의 크기가 매우 큰 경우, vi 로 내용을 확인하기가 부담이 가는 경우가 있다. 근데 확인하고 싶은 내용이 파일의 앞쪽인 지 모르겠고, 뒷쪽인지도 잘 모르겠고, 즉 tail 과 head 를 사용하기에도 어려운 경우에는 awk 를 활용할 수 있다. awkawk 는 패턴 스캐닝 및 프로세싱 언어로, 텍스트 파일의 내용을 분석해서 패턴의 검색과 조작을 위한 목적으로 만들어졌다.$ awk '패턴 { 행동 }' [파일명]기본적으로 awk 는 입력 파일의 각 줄을 읽고, 주어진 패턴에 맞는 줄을 찾아 행동을 수행한다. awk 은 정말 다양한 목적으로 사용될 수 있다.파일의 특정 필드만 출력패턴이 포함된 레코드 출력다른 프로그램의 입력 형식에 맞게 변환하는 작업에 이용특정 필드에 연산 수행 결과..

[Linux] 파일의 초기 데이터 살펴보기 : head

리눅스 시스템에서 파일의 내용을 확인할 수 있는 명령어에는 여러가지가 있다. 대표적으로 cat more head tail 등이 있다. 단 파일의 크기가 매우 큰 경우, cat 이나 vi 로 그 내용을 확인하려면 파일의 용량이 크기 때문에 부담이 될 수 있다. 이때, 텍스트로된 파일의 앞부분을 손쉽게 확인할 수 있는 명령어가 바로 head 이다. headhead 명령어는 이름 그대로 파일의 머리, 즉 파일의 시작 부분을 출력하는 명령어이다. 주로 파일의 내용이나 로그 파일의 초기 부분을 확인할 때 많이 사용된다.$ head [옵션] [파일명]기본적으로 head는 파일의 처음 10줄을 출력한다.$ head filename.log 처음 N줄 출력하기-n 옵션을 사용하면, 처음 N줄을 출력할 수 있다. 다음과 ..

[Linux] tail 활용 가이드 : 실시간 로그 다루기

리눅스 시스템에서 작업을 하다보면, 매우 큰 파일의 일부만 빠르게 확인하거나, 로그 파일에 로그가 쌓이는 것을 실시간으로 확인하고 싶은 경우가 있다. 이럴 때 유용하게 사용하는 명령어가 바로 tail 이다.tailtail 명령어는 이름 그대로 파일의 꼬리, 즉 파일의 끝 부분을 출력하는 명령어이다. 주로 로그 파일을 확인할 때 많이 사용되고, 파일의 변화가 감지될 때마다 자동으로 업데이트하여 보여줄 수 있다.$ tail [옵션] [파일명]기본적으로 tail 은 파일의 마지막 10줄을 출력한다. 다음과 같이 사용할 수 있다.$ tail filename.log 마지막 N줄 출력하기-n 옵션을 사용하면, 마지막 N 줄을 출력할 수 있다. 다음은 파일의 마지막 20줄을 출력한다.$ tail -n 20 filen..

[Linux] 백그라운드 실행하기 : &와 nohup

리눅스 시스템에서 작업을 수행하다 보면, 긴 시간이 걸리는 명령어를 실행해야 할 때가 있다. 그러나 터미널을 닫거나 세션이 끊기면 작업이 종료되는 문제가 생길 수 있다. 이를 방지하기 위해 리눅스는 여러가지 백그라운드 실행 방법을 제공하고 있다. 오늘은 그 중에서도 가장 대표적인 & 와 nohup 의 차이점과 사용 방법에 대해 알아보자. && 는 명령어를 백그라운드에서 실행하도록 설정하는 가장 간단한 방법이다.다음과 같이 실행하려는 명령어 뒤에 & 를 붙이면 된다.$ [command] && 는 명령어 실행 후, 바로 터미널에서 다른 작업을 계속할 수 있다. 그러나 터미널이 닫히면, 해당 프로세스는 SIGHUP 시그널을 받아 종료된다.💡 일반적으로 SSH를 통해 프로그램을 실행할 때, 연결이 끊기거나 로..

[Linux] 디스크 모니터링 : iostat

iostatiostat는 Input/Output Statistics의 약자로, 시스템의 CPU 및 I/O 장치 활동을 모니터링하고 보고하는 명령어이다. 주로 디스크의 성능을 분석하고, 시스템의 I/O 병목 문제를 진단하는 데 사용된다. iostat는 각 디스크 장치의 사용량, 전송 속도, 대기 시간 등의 정보를 제공하여 시스템 관리자나 개발자가 성능 문제를 파악하는 데 도움을 준다. iostat 명령어를 사용하면 디스크 디바이스에 대한 입출력 정보를 확인할 수 있다.$ iostat [옵션] [인터벌] [횟수]iostat 옵션 뒤에는 인터벌과 횟수를 의미하는 숫자가 온다.인터벌은 몇 모바다 디스크 디바이스의 정보를 출력할 것인지, 횟수는 몇 번 수집할 것인지를 의미한다.$ iostatLinux 5.4.0-..

[미들웨어] 미들웨어(Middleware)란?

실무 경험을 쌓기 전까지는 미들웨어가 상당히 낯설게 느껴졌다. 애플리케이션 레벨과 인프라 레벨 사이에서 작동하는 무언가 정도로만 막연하게 생각했을 뿐이다. 그러나 실제 업무에서 미들웨어를 접하고 다뤄보면서 흥미롭고운 분야라는 생각이 들었고, 제대로 정리해보고 싶었다. 그래서 오늘은 시스템에서 중추적인 역할을 수행하는 미들웨어에 정리해보려 한다. What is Middleware?미들웨어를 간단히 정리하자면 “서로 다른 시스템 간의 중개자 역할을 하는 소프트웨어”다. 애플리케이션, 데이터베이스, 사용자 인터페이스 등 서로 다른 컴포넌트들이 원활히 통신하고 협력할 수 있도록 돕는다. 우선 미들웨어(MW)의 사전적 정의는 다음과 같다.💡 미들웨어는 양 쪽을 연결하여 데이터를 주고 받을 수 있도록 중간에서 매..

[Linux] 퍼미션(Permission) (4) : chmod과 chown

chmodchmod 는 “change mode”의 약자로, 리눅스 시스템에서 파일과 디렉터리의 권한을 변경하는 명령어이다. 파일이나 디렉터리에 대한 읽기(r), 쓰기(w), 실행(x) 권한을 설정함으로써 사용자가 해당 파일이나 디렉터리에 어떤 작업을 수행할 수 있는지를 제어한다. 퍼미션에 대한 상세한 내용은 아래 글을 통해 확인할 수 있다. [Linux] 퍼미션(Permission) (1) : 작동 원리리눅스에서 작업을 하다보면 Permission Denied 오류 메시지를 한 번쯤은 본 경험이 있을 것이다. 오늘은 이러한 퍼미션(Permission)이 무엇인 지, 그리고 어떻게 작동하는지에 대해 알아보자. 퍼미션(Penayoungs.tistory.com  chmod 사용법chmod 명령어는 두 가지 방..

[Linux] 퍼미션(Permission) (3) : umask

Umaskumask는 user file creation mask의 약자로, 리눅스 및 유닉스 계열 시스템에서 파일이나 디렉터리가 생성될 때 기본적으로 적용되는 권한을 설정하는 명령어이다.이를 통해 새로 생성된 파일과 디렉터리의 기본 권한을 설정하고, 사용자와 그룹 간의 권한을 미리 제한할 수 있다. 파일과 디렉터리 권한의 기본 구성리눅스에서 파일과 디렉터리 권한은 세 가지 기본 권한과 세 가지 범주로 구성된다:권한 유형읽기 (r): 파일을 읽을 수 있는 권한쓰기 (w): 파일을 수정할 수 있는 권한실행 (x): 파일을 실행할 수 있는 권한사용자 범주소유자 (user): 파일의 소유자에게 부여된 권한그룹 (group): 파일 소유자가 속한 그룹에 부여된 권한기타 (others): 소유자와 그룹 외의 모든 ..

[Linux] 디스크 사용량 : du

dudu 는 disk usage의 약자로, 파일과 디렉터리의 디스크 사용량을 측정하고 보고하는 명령어이다. 현재 디렉토리 혹은 지정한 디렉터리의 사용량을 확인할 때 많이 사용한다. du 를 통해 특정 파일이나 디렉터리의 크기를 쉽게 확인할 수 있다.$ du .24 ./example46-go-1.18-generics-part2/example0224 ./example46-go-1.18-generics-part2/example0424 ./example46-go-1.18-generics-part2/example038 ./example46-go-1.18-generics-part2/example018 ./example46-go-1.18-generics-part2/generics-limitation104 ./exam..

[Linux] 디스크 여유 용량 : df

Linux 시스템을 사용하는 데 있어 디스크 공간 관리는 굉장히 중요하다. 서버가 멈추거나 느려지는 경우, 간혹 디스크 용량이 가득 차서 발생하는 경우가 있다. 이러한 상황은 로그 파일이 과도하게 쌓이는 등 여러 원인으로 인해 발생할 수 있다. 예를 들어 새로운 프로젝트를 진행하는 과정에서 모니터링 시스템이 아직 구축되지 않았을 때, 미처 확인하지 못한 디스크 용량이 가득 차서 문제가 발생할 수 있다. 또한, 폐쇄망 금융 IT 환경에서는 모니터링 시스템을 구축하는 것조차 불가능한 경우도 있다. 그러나 이러한 문제를 방치하면 심각한 장애로 이어질 수 있으므로, 디스크 사용량을 지속적으로 모니터링하는 것이 중요하다. 오늘은 여러 디스크 모니터링 명령어 중 하나인 df 에 대해 알아보자. dfdf 는 disk..

[Linux] 퍼미션(Permission) (2) : Special Permission (SetUID, SetGID, Sticky Bit)

Special Permission리눅스 시스템에는 파일이나 프로그램에 추가로 적용할 수 있는 특수 권한(Special Permission)이 있다. 특수 권한에는 setuid setgid stickybit 가 있는데, 기본적으로 접근하는 사용자의 권한은 기본 퍼미션을 따르게 된다. 퍼미션(Permission)의 작동 원리는 다음 글을 참고하면 된다. [Linux] 퍼미션(Permission) (1) : 작동 원리리눅스에서 작업을 하다보면 Permission Denied 오류 메시지를 한 번쯤은 본 경험이 있을 것이다. 오늘은 이러한 퍼미션(Permission)이 무엇인 지, 그리고 어떻게 작동하는지에 대해 알아보자. 퍼미션(Penayoungs.tistory.com 리눅스 시스템은 각 프로세스에 대해 다섯..

[Linux] 퍼미션(Permission) (1) : 작동 원리

리눅스에서 작업을 하다보면 Permission Denied 오류 메시지를 한 번쯤은 본 경험이 있을 것이다. 오늘은 이러한 퍼미션(Permission)이 무엇인 지, 그리고 어떻게 작동하는지에 대해 알아보자. 퍼미션(Permission)리눅스 시스템에서 퍼미션(Permission)이란 특정 파일이나 디렉토리에 대해 읽기/쓰기/삭제 등의 권한을 설정하여 파일 접근 권한을 제어하며, 파일을 보호하기 위해 사용한다. 파일의 퍼미션은 ls 또는 stat 으로 확인할 수 있다.# -l 옵션과 함께 사용한다.ls -altotal 0drwxr-xr-x@ 3 nayoung staff 96 Feb 25 2024 .drwxr-x---+ 68 nayoung staff 2176 Nov 9 13:47 ..drw..