[Kubernetes] k8s minikube 설치 및 사용법
minikube는 local 시스템에 쉽게 클러스터를 구축 및 세팅할 수 있게 해주는 도구이다.
minikube를 설치하기에 앞서 kubernetes CLI와 docker 명령어가 설치되어있어야 한다.
두가지 모두 chocolatey로 설치가 가능하다.
- 윈도우에 kubernetes cli 설치하기
$ choco install kubernetes-cli --version=1.22.4- 윈도우에 docker 명령어 설치하기
$ choco install docker-cli
minikube 설치
minikube 또한 다음과 같이 choco를 사용하여 설치할 수 있다.
$ choco install minikube
cluster 생성 및 실행
$ minikube start처음으로 start 하는 경우에는, k8s가 설치된 Linux 이미지를 자동으로 받고,
minikube라는 이름의 VM을 실행한다.
~/.kube/config 파일 setting까지 완료해주며, 자동으로 kubeadm init을 실행시킨다.
minikube start를 하게 되면, 자동으로 minikube라는 이름의 profile이 생성된다.
이 profile에는 CPU, Memory, k8s 버전 등이 저장된다.
$ minikube profile list
|----------|------------|---------|----------------|------|---------|---------|-------|
| Profile | VM Driver | Runtime | IP | Port | Version | Status | Nodes |
|----------|------------|---------|----------------|------|---------|---------|-------|
| minikube | virtualbox | docker | 192.168.59.104 | 8443 | v1.22.9 | Stopped | 1 |
|----------|------------|---------|----------------|------|---------|---------|-------|
minikube는 기본적으로 dynaminc provisioning을 위해 standard라는 스토리지 클래스가 존재하며,
$ kubectl get sc
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
standard (default) k8s.io/minikube-hostpath Delete Immediate false 8h기본적으로 minikube context, cluster, user가 존재한다.
$ kubectl config get-contexts
CURRENT NAME CLUSTER AUTHINFO NAMESPACE
kubernetes-admin@cluster.local cluster.local kubernetes-admin
* minikube minikube minikube default
$ kubectl config get-clusters
NAME
cluster.local
minikube
$ kubectl config get-users
NAME
kubernetes-admin
minikube
minikube start 에는 --memory, --driver, --nodes 등 다양한 옵션이 존재한다.
$ minikube start --help단, 옵션은 start 시에만 적용되기 때문에, 변경하려면 삭제 후 다시 start 해야 한다.
추가 옵션을 사용한 클러스터 생성/시작
$ minikube start --cpus 4 --memory 4G --disk-size 30G --driver virtualbox --kubernetes-version v1.22.9
cluster 중지
$ minikube stop
cluster 상태
$ minikube status
VM 접속
$ minikube sshssh 접속 후 /etc/os-release 파일을 확인하면,
$ cat /etc/os-release
NAME=Buildroot
VERSION=2021.02.4-dirty
ID=buildroot
VERSION_ID=2021.02.4
PRETTY_NAME="Buildroot 2021.02.4"minikube는 자체적으로 만든 os를 사용한다.
따라서 별도로 패키지 설치가 불가능하다.
또한 VM 내에 docker는 설치되어있으나, k8s 명령어는 설치되어있지 않다
- 패키지 관리자 X
- kubectl 명령 X
- docker 명령 O
VM 내의 Docker Engine 사용
앞서 윈도우에 docker 명령어를 설치했어야 가능하다.
$ choco install docker-clidocker 서버에 접속하기 위해서는 다음과 같이 환경 변수 설정을 해야 한다.
$ minikube docker-env
$Env:DOCKER_TLS_VERIFY = "1"
$Env:DOCKER_HOST = "tcp://192.168.59.100:2376" #docker host는 원격에 있다
$Env:DOCKER_CERT_PATH = "C:\Users\USER\.minikube\certs" #인증서
$Env:MINIKUBE_ACTIVE_DOCKERD = "minikube"
# To point your shell to minikube's docker-daemon, run:
# & minikube -p minikube docker-env --shell powershell | Invoke-Expression아래의 명령어를 실행하면 자동으로 docker-env 환경변수 세팅을 해준다.
$ minikube -p minikube docker-env --shell powershell | Invoke-Expression단, 변수는 해당되는 터미널에서만 유용하기 때문에, 터미널 창을 닫으면 환경 변수 세팅은 없어진다.
따라서 새로 터미널 창을 실행할 때마다 해당 명령어로 환경 변수 세팅을 진행해야 한다.
환경 변수 설정 후 docker 명령어를 원격에서 실행이 가능해진다.
docker 명령어가 앞서 설정한 환경 변수를 참조해서 실행하게 되는 것이다.
$ docker ps
cluster 삭제
$ minikube deleteVM 또한 삭제된다.
node 추가
$ minikube node list
$ minikube node addVM을 추가로 생성하고, kubeadm join을 자동으로 진행해준다.
service 목록 확인
$ minikube service list
addon
minikube 중 가장 좋은 기능은 addon으로, 손쉽게 addon을 추가할 수 있다.
다음 명령을 통해 minikube에서 추가할 수 있는 addon의 목록을 확인할 수 있다.
$ minikube addons listdisabled이 설치가 되지 않은 것이고, enabled가 설치된 것이다.
단, addon에 따라 configure, 즉 세팅해줘야 하는 경우가 있으므로 유의해서 사용해야 한다.
참고로 default-storeageclass와 storage-provisioner는 기본적으로 활성화되는 애드온이다.
addon 설치/활성화하기
$ minikube addons enable [addon]addon configuration
$ minikube addons configure [addon]
클러스터 기본 옵션 지정
start 할 때마다 적용하고 싶은 옵션이 있다면, 다음과 같이 미리 세팅해둘 수 있다.
$ minikube config set cpus 2
$ minikube config set memory 4G
$ minikube config set driver virtualbox
$ minikube config set kubernetes-version v1.22.9
$ minikube config viewstart할 때 기본적으로 설정이 적용되며, delete시 config 설정은 삭제된다.
config 설정 확인
$ minikube config view
ControlPlane의 IP 확인하기
$ minikube ip
.minikube
~/.minikube 디렉토리에 minikube에 관련된 정보들이 저장된다.
실제로 디렉토리를 들어가서 확인할 일은 잘 없고, 수정은 하지 않는 것을 권장한다.
단, minikube를 여러 번 사용하다 보면, 다양한 버전의 k8s이 설치되고,
많은 tar파일들이 설치되기 때문에, 주기적으로 디렉토리를 삭제하는 것을 권장한다.
💻 실습 1 : nginx deployment
테스트를 위한 간단한 cluster를 실행하고,
$ minikube start --cpus 2 --memory 4G --kubernetes-version v1.22.9deployment를 배포한 뒤, 테스트를 위해 pod를 외부로 노출(expose)시킨다.
$ kubectl create deployment myapp --image nginx --replicas 3
deployment.apps/myapp created
$ kubectl expose deployment myapp --name mysvc --port 80 --target-port 80$ kubectl get po
NAME READY STATUS RESTARTS AGE
myapp-6d8d776547-dfh72 1/1 Running 0 74s
myapp-6d8d776547-j889x 1/1 Running 0 74s
myapp-6d8d776547-qqsgs 1/1 Running 0 74ssvc의 type을 NodePort로 수정한다.
$ kubectl edit svc mysvc$ kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 8h
mysvc NodePort 10.98.63.98 <none> 80:32723/TCP 4m5sminikube ip 명령을 통해 ControlPlane의 IP를 확인하거나,
$ minikube ip
192.168.59.104minikube service list로 URL을 확인할 수 있다.
$ minikube service list
|-------------|------------|--------------|-----------------------------|
| NAMESPACE | NAME | TARGET PORT | URL |
|-------------|------------|--------------|-----------------------------|
| default | kubernetes | No node port |
| default | mysvc | 80 | http://192.168.59.104:32723 |
| kube-system | kube-dns | No node port |
|-------------|------------|--------------|-----------------------------|
접속 확인
💻 실습 2 : minikube로 metrics-server 설치하기
metrics-server를 활성화한다.
$ minikube addons enable metrics-server
▪ Using image k8s.gcr.io/metrics-server/metrics-server:v0.4.2
🌟 'metrics-server' 애드온이 활성화되었습니다metrics-server가 enable 된 것을 확인할 수 있다.
$ minikube addons list
...
| metrics-server | minikube | enabled ✅ | kubernetes
...metrics-server가 설치된 것을 확인할 수 있다.
$ kubectl get po -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-78fcd69978-n49hg 1/1 Running 0 16m
etcd-minikube 1/1 Running 0 16m
kindnet-d6lrx 1/1 Running 0 7m51s
kindnet-vv67r 1/1 Running 0 7m51s
kube-apiserver-minikube 1/1 Running 0 16m
kube-controller-manager-minikube 1/1 Running 0 16m
kube-proxy-57jpm 1/1 Running 0 7m56s
kube-proxy-jlf4m 1/1 Running 0 16m
kube-scheduler-minikube 1/1 Running 0 16m
metrics-server-77c99ccb96-m44cj 1/1 Running 0 67s
storage-provisioner 1/1 Running 1 (16m ago) 16mmetrics서버가 설치되고, CPU 사용량이 측정되는 것을 확인할 수 있다.
$ kubectl top nodes
NAME CPU(cores) CPU% MEMORY(bytes) MEMORY%
minikube 136m 6% 1279Mi 32%💻 실습 3 : minikube로 metallb 설치하기
실습 1에 이어서 서비스의 type을 LoadBalancer로 수정한다.
$ kubectl edit svc mysvc
service/mysvc edited다음으로 metallb를 활성화한다.
$ minikube addons enable metallb
▪ Using image metallb/controller:v0.9.6
▪ Using image metallb/speaker:v0.9.6
🌟 'metallb' 애드온이 활성화되었습니다$ kubectl get all -n metallb-system
NAME READY STATUS RESTARTS AGE
pod/controller-66bc445b99-nkldf 1/1 Running 0 2m24s
pod/speaker-xcrzl 1/1 Running 0 2m24s
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
daemonset.apps/speaker 1 1 1 1 1 beta.kubernetes.io/os=linux 2m24s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/controller 1/1 1 1 2m24s
NAME DESIRED CURRENT READY AGE
replicaset.apps/controller-66bc445b99 1 1 1 2m24s그러나 시간이 지나도 EXTERNAL-IP가 계속 pending 상태이다.
즉, metallb가 제대로 작동하지 않는다는 뜻이다.
$ kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 9h
mysvc LoadBalancer 10.98.63.98 <pending> 80:32723/TCP 30m앞서 설명했듯이 addon은 enable 된다고 해서 모두 작동되는 것은 아니다.
addon에 따라 configure, 즉 세팅해줘야 하는 경우가 있는데, 그중에 하나로 바로 metallb이다.
여기에서도 확인할 수 있듯이 metallb에 사용할 네트워크 대역을 configure로 세팅해줘야 제대로 작동한다.
따라서 metallb configuration을 진행한다.
$ minikube addons configure metallb여기서 중요한 것은, 아무 IP나 선택하면 안 되고,
$ minikube ip
192.168.59.105minikube ip 로 확인한 ip 주소를 참고하여 네트워크 대역을 설정해주어야 한다.
$ minikube addons configure metallb
-- Enter Load Balancer Start IP: 192.168.59.200
-- Enter Load Balancer End IP: 192.168.59.209
▪ Using image metallb/speaker:v0.9.6
▪ Using image metallb/controller:v0.9.6
✅ metallb 이 성공적으로 설정되었습니다configuration 완료 후, 실제로 metallb에는 이 설정이 configMap으로 저장된다.
컨피그맵 config가 생성된 것을 확인할 수 있고,
$ kubectl get cm -n metallb-system
NAME DATA AGE
config 1 64s
kube-root-ca.crt 1 64sdescribe 명령어로 확인해보면, 세팅한 네트워크 대역으로 설정된 것을 확인할 수 있다.
$ kubectl describe cm -n metallb-system config
Name: config
Namespace: metallb-system
Labels: <none>
Annotations: <none>
Data
====
config:
----
address-pools:
- name: default
protocol: layer2
addresses:
- 192.168.59.200-192.168.59.209
BinaryData
====
Events: <none>mysvc를 확인하면 EXTERNAL-IP가 설정된 것을 확인할 수 있다.
$ kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 5m10s
mysvc LoadBalancer 10.96.203.220 192.168.59.200 80:30257/TCP 4m54s
EXTERNAL-IP로 접속 확인
meteallb가 정상적으로 작동하는 것을 확인할 수 있다.