Hadoop Mimarisi,HDFS,MapReduce ve Yarn Kavramı

Hadoop Mimarisi


    Hadoop java programlama dili ile yazılmış açık kaynak kodlu bir kütüphanedir.Büyük veriyi hızlı işleme ve paralel işlemek için ortaya çıkmıştır. Çok büyük boyutlarda data tutulur.

    Hadoop denilince 2 bileşenden oluşmaktadır. Bunlardan;

1. Dağıtık Depolama : Örneğin Bozulan bir datanode'daki veriler NameNode sorarak üzerindeki verileri diğer node'a dağıtarak veri kaybını önler.
2. Dağıtık İşlem. 

Big Data Nedir?Büyük Veri’ye Giriş

Teknolojinin ilerlemesi ile beraber günümüzde bilginin gücü ön plana çıkmaya ve her şey den üstün olmaya başladı. Buda anlamlı ve anlamsız verilerin ortaya çıkmasına yol açtı. Bu kadar hızla çoğalan veriyi de yönetmek ve anlamlandıra bilmek için Big Data olarak isim verdiğimiz teknoloji ortaya çıktı.

Büyük veri aslında gündelik hayatımızda ister-istemez bizim de katkıda bulunduğumuz ve verinin artmasına yardımcı olduğumuz bir olay. Nasıl mı yardımcı oluruz?  Her gün kullandığımız sosyal medya hesaplarımız, internet gezintilerimiz ve bunların arkasında bıraktığımız izlerin bir araya gelmesiyle oluşan büyük veriler. Bu  verilerin saklanılması ,analiz edilmesi(anlamlı hale getirilmesi)  ve yönetilmesi için karşımıza çıkan bir problemin çözümü olarak da adlandıra biliriz.

Oracle Enterprise Linux 7.4 Kurulumu

Merhabalar,

Bu yazımda sizlere Oracle Enterprise 7.4 linux kurulumunu adım-adım resimli bir şekilde anlatmaya çalışacağım. Oracle Enterprise Linux sürümünü https://edelivery.oracle.com/linux sayfasından indirebiliriz.

Sırası ile ekranları takip edelim;

• İlk olarak karşımıza çıkan ekranı geçmek için enter tuşuna basalım.

Oracle Audit Vault and Database Firewall Kurulumu

Step by step kuruluma gecme den önce kurulum için gerekli bilgiler aşagıdaki gibidir.

Oracle Audit Kurulumu:

·         2gb Ram

·         120gb disk

Oracle Audit Vault and Database Firewall 12.1.1 sürümünde default kurulan işletim sistemi Oracle Enterprise linux 5.9 kurulmaktadır.Sırasıyla kurulum adımları aşağıdaki gibidir.

Oracle Data İntegrator Arayüz-3

Bu yazımda oracle data integrator arayüzün de neler var neler yapılabilir gibi konuları uygulamalı olarak anlatmaya çalışacağım. Genel bir anlatımla odi de DESIGNER,OPERATOR ve TOPOLOGY kısımları vardır.Bunlar ne işe yarar diyecek olursak;

• DESIGNER : Bu kısımda proje oluşturma ve yönetme,daha öncede oluşturduğumuz projeyi import/export işlemleri yapabiliriz. Knowledge Modules'lerimizi burada ekleriz.
• OPERATOR : Operatör yardımıyla çalıştırmış olduğumuz interface,packages,procedure gibi bölümleri takip edebilir ve hangi aşamada olduklarını öğrenebiliriz.
• TOPOLOGY : Oracle data integrator'un en önemli kısımlarından birisi bu bölüm diyebiliriz.Burada işlemlerimizi hangi veritabanından alıp hangi veritabanına atacağımıza karar verdiğimiz yerdir. Örnek: MS SQL veritabanından Oracle veritabanına migration işlemi yapmak istiyorsak burada bu iki veritabanını da tanımlamamız gerekir.

Oracle Data İntegrator kurulumu ve Arayüz-2

Bir önceki yazımda oracle data integrator stüdyo kısmının kurulmasından bahsetmiştik.Bu yazı bir önceki yazının devamı niteliğindedir. Oracle data integrator repositories üzerinde çalışan bir yapıdır. Bunun için 2 farklı repositories krulumuna ihtiyaç duyar. Bunları şu şekilde sıralayabiliriz;

• Master Repositories,
• Work Repositories

1. Bu repositories'ler ne işe yarar şimdi bunlara değinelim.

Repository oracle data integrator üzerinde yapılan çalışmaların tamamının tutulduğu veri merkezidir. Kesinlikle 1 tane Master repository olmalıdır. Birçok work repository olabilir.

Oracle Data integrator Kurulumu ve Arayüz-1

Uzun bir aradan sonra yazı yazmaya tekrar başlama fırsatı buldum ve bu fırsatı hemen değerlendirmek istedim.Konu başlığından anlaşılacağı gibi Oracle data Integrator yani veri ambarı konusunda birkaç yaz yazmayı düşünüyorum.Bunun ilk aşaması  kurulum,diğer aşamalar ise uygulamalı örneklerden ibaret olacatır.

Migration işlemi yani veri taşıma işlemi yapmak isteniyorsa bu işlemleri gerçekleştirebilen araçlardan bir tanesi oracle data integratordur. Oracle'ın veri transferi konusunda kararlı ürünlerinden bir tanesidir. Oracle neler yapılabilir diye sorulacak olursa;

• Manipüle etmek ; Veriyi transfer etmeden önce source kısmında değişiklikler yapmamıza izin verir.Bunu biraz daha açıcak olursak filtreleme,joinleme,tek kayıt fonksiyonlerı gibi bir çok sql cümleciği kullanmamıza izin verir.
• Migration ; Manipüle ettiğimiz işlemleri target database aktardığımız kısımdır.