Hadoop — различия между версиями

Материал из InformationSecurity WIKI
Перейти к: навигация, поиск
м
м (HDFS)
Строка 3: Строка 3:
  
 
= HDFS =
 
= HDFS =
 +
 +
HDFS (Hadoop FileSystem) - это виртуальная файловая система Hadoop, доступная по сети.
 +
 +
== Сервисы ==
 +
 +
=== MasterNode WebUI ===
 +
 +
Это веб-интерфейс, запущенный на портах 50070(http) и 50470(https). Обычно на нем отсутствует аутентификация, поэтому его можно использовать для доступа к файловой системе.
 +
 +
=== MasterNode Metadata Service ===
 +
 +
Использует протокол IPC  на  портах 8020 и 9000. Требуется для взаимодействия с метадатой файлов HDFS.
 +
 +
=== DataNode WebUI ===
 +
 +
Веб-интерфейс для доступа к статусу, логам и тд. Запускается на 50075(http) и 50475(https) портах.
 +
 +
 +
=== DataNode Data Transfer ===
 +
 +
Сервис для передачи данных в DataNode. Использует порт 50010
 +
 +
=== DataNode Metadata Service ===
 +
 +
Использует протокол IPC на порту 50020. Требуется для взаимодействия с метадатой файлов HDFS.
 +
 +
 +
=== Secondary Node Checkpoint Service ===
 +
 +
Запущен на порту 50090 по протоколу http. Как понял используется для сохранения данных метадаты (запасное хранилище).
  
 
= YARN =
 
= YARN =

Версия 09:34, 1 сентября 2022

Общее

HDFS

HDFS (Hadoop FileSystem) - это виртуальная файловая система Hadoop, доступная по сети.

Сервисы

MasterNode WebUI

Это веб-интерфейс, запущенный на портах 50070(http) и 50470(https). Обычно на нем отсутствует аутентификация, поэтому его можно использовать для доступа к файловой системе.

MasterNode Metadata Service

Использует протокол IPC на портах 8020 и 9000. Требуется для взаимодействия с метадатой файлов HDFS.

DataNode WebUI

Веб-интерфейс для доступа к статусу, логам и тд. Запускается на 50075(http) и 50475(https) портах.


DataNode Data Transfer

Сервис для передачи данных в DataNode. Использует порт 50010

DataNode Metadata Service

Использует протокол IPC на порту 50020. Требуется для взаимодействия с метадатой файлов HDFS.


Secondary Node Checkpoint Service

Запущен на порту 50090 по протоколу http. Как понял используется для сохранения данных метадаты (запасное хранилище).

YARN

Apache HBASE

ZooKeeper

Ambari

Apache Spark

Apache Kafka/Storm

Apache HIVE / DRILL

Mahout

Apache Solr / Lucene

OOZIE

PIG

Утилиты

Ссылки