Hortonworks ve Cloudera Kurulumları

Big Data dünyasının iki büyük platformunun Internet of Anything(IoT) olarak adlandırdığımız ve buralardan gelen verilerin Apache Hadoop yazılımı üzerine kurulu olan platformlardır.

Bu iki platformunda yönetimsel olarak işlerimizi kolaylaştırmak için bizlere arayüz desteği sunar.

• Hortonworks için Ambari Arayüzü
• Cloudera için Hue Arayüzü

Bu iki platformun da kurulumları aslında oldukça basit ve bizler için kolay kullanım olabilmesi adına paket haline getirilmiştir. Şimdi sırasıyla bu işlemleri inceleyelim;

      HORTONWORKS

Hortonworks de Cloudera da iki sanallaştırma platformu olan Oracle Virtual Box ve Vmware üzerine kurulabilmektedir.  Bu her iki platform için de aşağıdaki link üzerinden kendimize uygun olan sürümü indirebiliriz.

•   https://hortonworks.com/downloads/

Bu linke gidildiğinde Hortonworks adına iki ayrı paketlenmiş image bulunmaktadır. Bunların farkları şöyledir.

Hortonworks Data Platform (HDP^®) 3.0.1 on Hortonworks Sandbox

Bu paketle birlikte sistem içerisinde gelen bileşenler şunlardır;

• Centos linux 7.5
• Open jdk 1.8
• Python 2.7.5
• PostgreSQL 9.6.11
• MySQL server 5.7.24
• MySQL Connector 5.1

İmage boyutu ve kurulacak olan sanal makinanın min gereksimleri şunlardır;

• VirtualBox – 22.1 GB  (image size)
• Vmware - 22.1 GB

Kurulum yapılacak PC'nin üzerinden min 10240MB ram ihtiyacı ve açılan image'ın min 150GB disk ihtiyacı bulunmaktadır.

Kurulan paket içerisinde otomatik başlayan bileşenler şunlardır;

• Ambari
• HDFS
• NFS
• Hive
• MapReduce2
• Oozie
• Ranger
• Spark2
• Yarn
• Zookeeper
• Zepplin Notebook
• Data Analytics Studio

Hortonworks DataFlow (HDF) 3.1.1 on Hortonworks Sandbox

Bu paketle birlikte sistem içerisinde gelen bileşenler şunlardır;

• Centos Linux 7.5
• Open jdk 1.8

İmage boyutu ve kurulacak olan sanal makinanın min gereksimleri şunlardır;

• VirtualBox – 8 GB  (image size)
• Vmware -8 GB

Kurulan paket içerisinde otomatik başlayan bileşenler şunlardır;

• Ambari
• Zookeeper
• Storm
• Ambari Infra
• Kafka
• Log Search
• Nifi

Şimdi ise indirilen bu paketlerin VirtualBox nasıl ekleyip çalıştırdığımızı gösterelim;

Resimde görüldüğü gibi ambari arayüzü ve ssh için baglantı bilgileri verilmiştir. Bunların dışında kendiniz herhangi bir 3. parti bağlantı aracı ile bağlantı sağlamak isterseniz;

• ssh: localhost:2222 portu ile de bağlanabilirsiniz.

İçeri aktar işlemi yapıldıktan sonra kendisi image versiyonu açıp paketlerin kurulumunu gerçekleştirecektir.  Bu işlem bittikden sonra ambari arayüzüne girebiliriz. Bunun için ambari arayüzünün şifresini ve ssh "root" şifresini değiştirmek istersek;

• root default şifresi "hadoop"

login olduğumuzda şifremizi değiştirmemizi isteyecektir. Bu işlemden sonra ambari login şifresini aşağıdaki gibi resetleyebiliriz;

• ambari-admin-password-reset

    CLOUDERA

Cloudera  da Hortonwork gibi kolay bir kuruluma sahiptir. Sistem bileşeni olarak Centos işletim sistemi bulunmaktadır.

Cloudera ile birlikte gelen bileşenler;

• Hadoop
• Pig
• Hive
• Oozie
• Spark

Cloudera image'ını  https://www.cloudera.com/downloads/cdh/6-1-1.html indirilebiliriz.

Kurulum şekli Hortonworks de yapılan işlemlerle aynıdır. İmage dosyasını VirtualBox dosyasına ekleyip içeri aktar kısmına basıyoruz.

Hue arayüzü;

Cloudera username : cloudera password : cloudera olarak bağlanabiliriz.