Hadoop — различия между версиями
Материал из InformationSecurity WIKI
Drakylar (обсуждение | вклад) м |
Drakylar (обсуждение | вклад) м (→HDFS) |
||
| Строка 3: | Строка 3: | ||
= HDFS = | = HDFS = | ||
| + | |||
| + | HDFS (Hadoop FileSystem) - это виртуальная файловая система Hadoop, доступная по сети. | ||
| + | |||
| + | == Сервисы == | ||
| + | |||
| + | === MasterNode WebUI === | ||
| + | |||
| + | Это веб-интерфейс, запущенный на портах 50070(http) и 50470(https). Обычно на нем отсутствует аутентификация, поэтому его можно использовать для доступа к файловой системе. | ||
| + | |||
| + | === MasterNode Metadata Service === | ||
| + | |||
| + | Использует протокол IPC на портах 8020 и 9000. Требуется для взаимодействия с метадатой файлов HDFS. | ||
| + | |||
| + | === DataNode WebUI === | ||
| + | |||
| + | Веб-интерфейс для доступа к статусу, логам и тд. Запускается на 50075(http) и 50475(https) портах. | ||
| + | |||
| + | |||
| + | === DataNode Data Transfer === | ||
| + | |||
| + | Сервис для передачи данных в DataNode. Использует порт 50010 | ||
| + | |||
| + | === DataNode Metadata Service === | ||
| + | |||
| + | Использует протокол IPC на порту 50020. Требуется для взаимодействия с метадатой файлов HDFS. | ||
| + | |||
| + | |||
| + | === Secondary Node Checkpoint Service === | ||
| + | |||
| + | Запущен на порту 50090 по протоколу http. Как понял используется для сохранения данных метадаты (запасное хранилище). | ||
= YARN = | = YARN = | ||
Версия 09:34, 1 сентября 2022
Содержание
Общее
HDFS
HDFS (Hadoop FileSystem) - это виртуальная файловая система Hadoop, доступная по сети.
Сервисы
MasterNode WebUI
Это веб-интерфейс, запущенный на портах 50070(http) и 50470(https). Обычно на нем отсутствует аутентификация, поэтому его можно использовать для доступа к файловой системе.
MasterNode Metadata Service
Использует протокол IPC на портах 8020 и 9000. Требуется для взаимодействия с метадатой файлов HDFS.
DataNode WebUI
Веб-интерфейс для доступа к статусу, логам и тд. Запускается на 50075(http) и 50475(https) портах.
DataNode Data Transfer
Сервис для передачи данных в DataNode. Использует порт 50010
DataNode Metadata Service
Использует протокол IPC на порту 50020. Требуется для взаимодействия с метадатой файлов HDFS.
Secondary Node Checkpoint Service
Запущен на порту 50090 по протоколу http. Как понял используется для сохранения данных метадаты (запасное хранилище).
