Hadoop — различия между версиями
Drakylar (обсуждение | вклад) м (→HDFS) |
Drakylar (обсуждение | вклад) м (→YARN) |
||
| Строка 35: | Строка 35: | ||
= YARN = | = YARN = | ||
| + | |||
| + | == Интерфейсы (сервисы) == | ||
| + | |||
| + | === Application Manager === | ||
| + | |||
| + | Порт(tcp): 8032 | ||
| + | |||
| + | Протокол: http | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге : yarn.resourcemanager.address | ||
| + | |||
| + | === Scheduler === | ||
| + | |||
| + | Порт(tcp): 8030 | ||
| + | |||
| + | Протокол: http | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге : yarn.resourcemanager.scheduler.address | ||
| + | |||
| + | === ResourceManager Web Application === | ||
| + | |||
| + | Порт(tcp): 8088, 8090 | ||
| + | |||
| + | Протокол: http(8088), https(8090) | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге : yarn.resourcemanager.webapp.address, yarn.resourcemanager.webapp.https.address | ||
| + | |||
| + | === ResourceManager Tracker === | ||
| + | |||
| + | Порт(tcp): 8031 | ||
| + | |||
| + | Протокол: ??? | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге : yarn.resourcemanager.resource-tracker.address | ||
| + | |||
| + | |||
| + | === ResourceManager Admin === | ||
| + | |||
| + | Порт(tcp): 8033 | ||
| + | |||
| + | Протокол: ??? | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге : yarn.resourcemanager.admin.address | ||
| + | |||
| + | === NodeManager СontainerManager === | ||
| + | |||
| + | Порт(tcp): 0 | ||
| + | |||
| + | Протокол: ??? | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге : yarn.nodemanager.address | ||
| + | |||
| + | === NodeManager Localizer === | ||
| + | |||
| + | Порт(tcp): 8040 | ||
| + | |||
| + | Протокол: ??? (IPC) | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге: yarn.nodemanager.localizer.address | ||
| + | |||
| + | === NodeManager Collector Service === | ||
| + | |||
| + | Порт(tcp): 8048 | ||
| + | |||
| + | Протокол: ??? (IPC) | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге: yarn.nodemanager.collector-service.address | ||
| + | |||
| + | === NodeManager WebUI === | ||
| + | |||
| + | Порт(tcp): 8042, 8044 | ||
| + | |||
| + | Протокол: http(8042), https(8044) | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге: yarn.nodemanager.webapp.address, yarn.nodemanager.webapp.https.address | ||
| + | |||
| + | === NodeManager Timeline RPC === | ||
| + | |||
| + | Порт(tcp): 10200 | ||
| + | |||
| + | Протокол: ??? | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге: yarn.timeline-service.address | ||
| + | |||
| + | === NodeManager Timeline WebUI === | ||
| + | |||
| + | Порт(tcp): 8188, 8190 | ||
| + | |||
| + | Протокол: http(8188), https(8190) | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге: yarn.timeline-service.webapp.address, yarn.timeline-service.webapp.https.address | ||
| + | |||
| + | === SharedCacheManager Admin === | ||
| + | |||
| + | Порт(tcp): 8047 | ||
| + | |||
| + | Протокол: ??? | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге: yarn.sharedcache.admin.address | ||
| + | |||
| + | === SharedCacheManager WebUI === | ||
| + | |||
| + | Порт(tcp): 8788 | ||
| + | |||
| + | Протокол: ???(http) | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге: yarn.sharedcache.webapp.address | ||
| + | |||
| + | === SharedCacheManager Node Manager === | ||
| + | |||
| + | Порт(tcp): 8046 | ||
| + | |||
| + | Протокол: ??? | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге: yarn.sharedcache.uploader.server.address | ||
| + | |||
| + | === SharedCacheManager Client === | ||
| + | |||
| + | Порт(tcp): 8045 | ||
| + | |||
| + | Протокол: ??? | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге : yarn.sharedcache.client-server.address | ||
| + | |||
| + | === NodeManager AMRMProxyService === | ||
| + | |||
| + | Порт(tcp): 8049 | ||
| + | |||
| + | Протокол: ??? | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге : yarn.nodemanager.amrmproxy.address | ||
| + | |||
| + | === Router WebUI === | ||
| + | |||
| + | Порт(tcp): 8089, 8091 | ||
| + | |||
| + | Протокол: http(8089), https(8091) | ||
| + | |||
| + | Аутентификация: ??? | ||
| + | |||
| + | Параметр в конфиге : yarn.router.webapp.address, yarn.router.webapp.https.address | ||
= Apache HBASE = | = Apache HBASE = | ||
Версия 10:00, 1 сентября 2022
Содержание
- 1 Общее
- 2 HDFS
- 3 YARN
- 3.1 Интерфейсы (сервисы)
- 3.1.1 Application Manager
- 3.1.2 Scheduler
- 3.1.3 ResourceManager Web Application
- 3.1.4 ResourceManager Tracker
- 3.1.5 ResourceManager Admin
- 3.1.6 NodeManager СontainerManager
- 3.1.7 NodeManager Localizer
- 3.1.8 NodeManager Collector Service
- 3.1.9 NodeManager WebUI
- 3.1.10 NodeManager Timeline RPC
- 3.1.11 NodeManager Timeline WebUI
- 3.1.12 SharedCacheManager Admin
- 3.1.13 SharedCacheManager WebUI
- 3.1.14 SharedCacheManager Node Manager
- 3.1.15 SharedCacheManager Client
- 3.1.16 NodeManager AMRMProxyService
- 3.1.17 Router WebUI
- 3.1 Интерфейсы (сервисы)
- 4 Apache HBASE
- 5 ZooKeeper
- 6 Ambari
- 7 Apache Spark
- 8 Apache Kafka/Storm
- 9 Apache HIVE / DRILL
- 10 Mahout
- 11 Apache Solr / Lucene
- 12 OOZIE
- 13 PIG
- 14 Утилиты
- 15 Ссылки
Общее
HDFS
HDFS (Hadoop FileSystem) - это виртуальная файловая система Hadoop, доступная по сети.
Сервисы
MasterNode WebUI
Это веб-интерфейс, запущенный на портах 50070(http) и 50470(https). Обычно на нем отсутствует аутентификация, поэтому его можно использовать для доступа к файловой системе.
MasterNode Metadata Service
Использует протокол IPC на портах 8020 и 9000. Требуется для взаимодействия с метадатой файлов HDFS.
DataNode WebUI
Веб-интерфейс для доступа к статусу, логам и тд. Запускается на 50075(http) и 50475(https) портах.
DataNode Data Transfer
Сервис для передачи данных в DataNode. Использует порт 50010
DataNode Metadata Service
Использует протокол IPC на порту 50020. Требуется для взаимодействия с метадатой файлов HDFS.
Secondary Node Checkpoint Service
Запущен на порту 50090 по протоколу http. Как понял используется для сохранения данных метадаты (запасное хранилище).
YARN
Интерфейсы (сервисы)
Application Manager
Порт(tcp): 8032
Протокол: http
Аутентификация: ???
Параметр в конфиге : yarn.resourcemanager.address
Scheduler
Порт(tcp): 8030
Протокол: http
Аутентификация: ???
Параметр в конфиге : yarn.resourcemanager.scheduler.address
ResourceManager Web Application
Порт(tcp): 8088, 8090
Протокол: http(8088), https(8090)
Аутентификация: ???
Параметр в конфиге : yarn.resourcemanager.webapp.address, yarn.resourcemanager.webapp.https.address
ResourceManager Tracker
Порт(tcp): 8031
Протокол: ???
Аутентификация: ???
Параметр в конфиге : yarn.resourcemanager.resource-tracker.address
ResourceManager Admin
Порт(tcp): 8033
Протокол: ???
Аутентификация: ???
Параметр в конфиге : yarn.resourcemanager.admin.address
NodeManager СontainerManager
Порт(tcp): 0
Протокол: ???
Аутентификация: ???
Параметр в конфиге : yarn.nodemanager.address
NodeManager Localizer
Порт(tcp): 8040
Протокол: ??? (IPC)
Аутентификация: ???
Параметр в конфиге: yarn.nodemanager.localizer.address
NodeManager Collector Service
Порт(tcp): 8048
Протокол: ??? (IPC)
Аутентификация: ???
Параметр в конфиге: yarn.nodemanager.collector-service.address
NodeManager WebUI
Порт(tcp): 8042, 8044
Протокол: http(8042), https(8044)
Аутентификация: ???
Параметр в конфиге: yarn.nodemanager.webapp.address, yarn.nodemanager.webapp.https.address
NodeManager Timeline RPC
Порт(tcp): 10200
Протокол: ???
Аутентификация: ???
Параметр в конфиге: yarn.timeline-service.address
NodeManager Timeline WebUI
Порт(tcp): 8188, 8190
Протокол: http(8188), https(8190)
Аутентификация: ???
Параметр в конфиге: yarn.timeline-service.webapp.address, yarn.timeline-service.webapp.https.address
Порт(tcp): 8047
Протокол: ???
Аутентификация: ???
Параметр в конфиге: yarn.sharedcache.admin.address
Порт(tcp): 8788
Протокол: ???(http)
Аутентификация: ???
Параметр в конфиге: yarn.sharedcache.webapp.address
Порт(tcp): 8046
Протокол: ???
Аутентификация: ???
Параметр в конфиге: yarn.sharedcache.uploader.server.address
Порт(tcp): 8045
Протокол: ???
Аутентификация: ???
Параметр в конфиге : yarn.sharedcache.client-server.address
NodeManager AMRMProxyService
Порт(tcp): 8049
Протокол: ???
Аутентификация: ???
Параметр в конфиге : yarn.nodemanager.amrmproxy.address
Router WebUI
Порт(tcp): 8089, 8091
Протокол: http(8089), https(8091)
Аутентификация: ???
Параметр в конфиге : yarn.router.webapp.address, yarn.router.webapp.https.address
