Big Data etiketine sahip kayıtlar gösteriliyor. Tüm kayıtları göster
Big Data etiketine sahip kayıtlar gösteriliyor. Tüm kayıtları göster

2019/09/18

Machine Learning-1(Regression)

*Linear Regression
*Multiple Linear Regression
*Polynomial Linear Regression
Linear Regression
1.Supervised modeldir.
2.Line fit edilen metota linear regression denilir.
3.Matamatiksel fomülü y=b0+b1*x olarak belirtilir. b0= constant(sabit deger), b1=coeff(kat sayı)
4.Amaç min MSE(mean squared error) elde etmektir.
5.Sklearn'de machine learning algoritmaları mevcuttur.

2019/07/26

Hortonworks Cluster Kurulumu ve Ambari Arayüzü

Bu yazımda sizler Hortonworks Cluster Kurulumu, servislerin deploy edilmesi ve Ambari Arayüzü kurulumundan adım adım bahsedeceğim. Öncelikli olarak kaç sunucu ve bu sunucuların özellikleri ne kadar bu sorular üzerine anlatmaya başlayayım. Kurulumların hepsi kendi local VMware sunucum üzerinde kısıtlı kaynaklarla test edilmiştir.

Tüm bu işlemler için 5 adet Centos 7 işletim istemi kurdum. Sunucu özellikleri;

  • master1 : 4GB ram 40 GB disk
  • master2:  4GB ram 40 GB disk
  • worker1: 2GB ram 40 GB disk
  • worker2: 2GB ram 40 GB disk
  • worker3: 2GB ram 40 GB disk

2019/03/20

Hortonworks ve Cloudera Kurulumları


Big Data dünyasının iki büyük platformunun Internet of Anything(IoT) olarak adlandırdığımız ve buralardan gelen verilerin Apache Hadoop yazılımı üzerine kurulu olan platformlardır.

Bu iki platformunda yönetimsel olarak işlerimizi kolaylaştırmak için bizlere arayüz desteği sunar.

  • Hortonworks için Ambari Arayüzü
  • Cloudera için Hue Arayüzü
Bu iki platformun da kurulumları aslında oldukça basit ve bizler için kolay kullanım olabilmesi adına paket haline getirilmiştir. Şimdi sırasıyla bu işlemleri inceleyelim;

2018/05/08

Hadoop Mimarisi,HDFS,MapReduce ve Yarn Kavramı

Hadoop Mimarisi


    Hadoop java programlama dili ile yazılmış açık kaynak kodlu bir kütüphanedir.Büyük veriyi hızlı işleme ve paralel işlemek için ortaya çıkmıştır. Çok büyük boyutlarda data tutulur.

    Hadoop denilince 2 bileşenden oluşmaktadır. Bunlardan;

  1. Dağıtık Depolama : Örneğin Bozulan bir datanode'daki veriler NameNode sorarak üzerindeki verileri diğer node'a dağıtarak veri kaybını önler.
  2. Dağıtık İşlem. 

2018/05/03

Big Data Nedir?Büyük Veri’ye Giriş


Teknolojinin ilerlemesi ile beraber günümüzde bilginin gücü ön plana çıkmaya ve her şey den üstün olmaya başladı. Buda anlamlı ve anlamsız verilerin ortaya çıkmasına yol açtı. Bu kadar hızla çoğalan veriyi de yönetmek ve anlamlandıra bilmek için Big Data olarak isim verdiğimiz teknoloji ortaya çıktı.
Büyük veri aslında gündelik hayatımızda ister-istemez bizim de katkıda bulunduğumuz ve verinin artmasına yardımcı olduğumuz bir olay. Nasıl mı yardımcı oluruz?  Her gün kullandığımız sosyal medya hesaplarımız, internet gezintilerimiz ve bunların arkasında bıraktığımız izlerin bir araya gelmesiyle oluşan büyük veriler. Bu  verilerin saklanılması ,analiz edilmesi(anlamlı hale getirilmesi)  ve yönetilmesi için karşımıza çıkan bir problemin çözümü olarak da adlandıra biliriz.