Hortonworks Cluster Kurulumu ve Ambari Arayüzü

Bu yazımda sizler Hortonworks Cluster Kurulumu, servislerin deploy edilmesi ve Ambari Arayüzü kurulumundan adım adım bahsedeceğim. Öncelikli olarak kaç sunucu ve bu sunucuların özellikleri ne kadar bu sorular üzerine anlatmaya başlayayım. Kurulumların hepsi kendi local VMware sunucum üzerinde kısıtlı kaynaklarla test edilmiştir.

Tüm bu işlemler için 5 adet Centos 7 işletim istemi kurdum. Sunucu özellikleri;

• master1 : 4GB ram 40 GB disk
• master2:  4GB ram 40 GB disk
• worker1: 2GB ram 40 GB disk
• worker2: 2GB ram 40 GB disk
• worker3: 2GB ram 40 GB disk

Burada master node'ların benim yönetim için kullanacağım node isimlendirmem, worker node'larım ise data tutacağım node isimlendirmem.

Master1'de Namenode varken ,Master2 de secondaryName Node bulunmaktadır. Bu sunucular birbirinin yedeği durumdadır. 

Worker Node ise data'larım replica halinde tutulmaktadır.

Şimdi sunucu üzerinde yapılması gereken adımları teker teker anlatalım;

Tüm Node'larda yapılması gereken işlemler;

[root@master1 ~]# systemctl set-default multi-user.target

Sunucuların firewall kapatmak için,

[root@master1 ~]# systemctl stop firewalld [root@master1 ~]# systemctl disable firewalld

[root@master1 ~]# vi /etc/sysconfig/selinux >> disabled

NTP ayarlaması yapılmalı tüm sunucularda,

[root@master1 ~]# yum -y install ntp [root@master1 ~]# systemctl enable ntpd [root@master1 ~]# systemctl start ntpd [root@master1 ~]# systemctl status ntpd

hugepages ayarlarları set edilmeli,

[root@master1 ~]# vi /etc/rc.local echo "never" > /sys/kernel/mm/transparent_hugepage/enabled echo "never" > /sys/kernel/mm/transparent_hugepage/defrag

Host dosyaları ayarlanmalı,

[root@master1 ~]# vi /etc/hosts 192.168.255.138              master1.localdomain      master1 192.168.255.139              master2.localdomain      master2 192.168.255.140              worker1.localdomain      worker1 192.168.255.141              worker2.localdomain      worker2 192.168.255.142              worker3.localdomain      worker3

Master1 ve Master2 sunucularında swap paremetresi ayarlanmalı,

[root@master1 ~]# echo "vm.swappiness=10" >> /etc/sysctl.conf

Sunucu üzerindeki işlemleri tamamladıktan sonra gerekli paketleri indirme işlemine geçebiliriz. Aslında yukarıda bahsetmiş olduğumuz işlemler cluster kurulumu yapılırken neredeyse tüm sistem işlemlerinde yapılması gereken faliyetlerdir.

https://docs.hortonworks.com/  sayfasına gidilerek Ambari Arayüzüne tıklanır.  Burada karşımıza çıkan Ambari Arayüzü 2.7.3 versiyonudur.  Yine bu sayfadan eski versiyonlara ulaşılabilir.

https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/ch_Getting_Ready.html  bu sayfada ise public repositories bulunmaktadır.

Aşağıdaki işlemle birlikte repositories indirilir ve bu işlem tüm Node'larda yapılmalıdır.

[root@master1 ~]# cd /etc/yum.repos.d/ [root@master1 yum.repos.d]# yum -y install wget [root@master1 yum.repos.d]# wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repo

İndirme işlemi tamamlandıktan sonra sadece Master1 sunucusunda ambari-server ve ambari-agent beraber yüklenir.

[root@master1 yum.repos.d]# yum -y install ambari-server ambari-agent

Bu kurulumla beraber Ambari 2.7.3 versiyonu ve PostgresSQL  9.2.24 versiyonu kurulmaktadır.

Diger tüm node'larda ise ambari-agent kurulumu gerçekleştirilmelidir.

[root@master2 yum.repos.d]# yum -y install ambari-agent

Bu işlemler tamamlandıktan sonra ambari-agent.ini dosyasında yaza hostname kısmına ambari-server kurmuş olduğumuz host bilgisi eklenir.

[root@master1 ~]# vi /etc/ambari-agent/conf/ambari-agent.ini  >> master1.localdomain

Ambari-server kurmuş olduğumuz node'da yani benim kendi localimde Master1 node da ambari-server yüklenir.

[root@master1 ~]# ambari-server setup Customize user account for ambari-server daemon [y/n] (n)?  >> enter Checking firewall status... Checking JDK... [1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8 [2] Custom JDK ============================================================================== Enter choice (1): 1 Do you accept the Oracle Binary Code License Agreement [y/n] (y)? y Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? >> enter Enter advanced database configuration [y/n] (n)? >> enter

Artık ambari-server start aşamasına geldik. Aşağıdaki işlem Master1 node'da yapılmaktadır.

[root@master1 ~]# ambari-server start [root@master1 ~]# ambari-agent start

Diğer node'larda ambari-agent çalıştırmamız yeterli olacaktır.

[root@master2 ~]# ambari-agent start

Bu işlemde tamamlandıktan sonra artık ambari arayüzüne bağlanır hale geldik. Bunun için sizin ambari-server kurmuş olduğunuz master1 node ip ver port ile bağlanabilir.

192.168.255.138:8080 ile ambari arayüzüne username:admin  password:admin ile baglanılır.

Tüm bu işlemler bittikten sonra artık service'leri deploy etme aşamasına geldik. Yani HDP 3.1.0 versiyonu içerisinde bulunan HDFS,YARN,MAPREDUCE,SPARK2,HIVE,PIG,SQOOP vb serviceleri ihtiyacımıza göre seçip deploy edebiliriz. Ben burada sadece HDFS,ZooKeper,Yarn,MapReduce servicelerini deploy ettim. Bundan sonraki yazılarımda ise service'ler kurulum tamamlandıktan sonra nasıl eklenir üzerine olacaktır.

İyi Okumalar.