Machine Learning-1(Regression)

*Linear Regression
*Multiple Linear Regression
*Polynomial Linear Regression

Linear Regression

1.Supervised modeldir.
2.Line fit edilen metota linear regression denilir.
3.Matamatiksel fomülü y=b0+b1*x olarak belirtilir. b0= constant(sabit deger), b1=coeff(kat sayı)
4.Amaç min MSE(mean squared error) elde etmektir.
5.Sklearn'de machine learning algoritmaları mevcuttur.

Hortonworks Cluster Kurulumu ve Ambari Arayüzü

Bu yazımda sizler Hortonworks Cluster Kurulumu, servislerin deploy edilmesi ve Ambari Arayüzü kurulumundan adım adım bahsedeceğim. Öncelikli olarak kaç sunucu ve bu sunucuların özellikleri ne kadar bu sorular üzerine anlatmaya başlayayım. Kurulumların hepsi kendi local VMware sunucum üzerinde kısıtlı kaynaklarla test edilmiştir.

Tüm bu işlemler için 5 adet Centos 7 işletim istemi kurdum. Sunucu özellikleri;

• master1 : 4GB ram 40 GB disk
• master2:  4GB ram 40 GB disk
• worker1: 2GB ram 40 GB disk
• worker2: 2GB ram 40 GB disk
• worker3: 2GB ram 40 GB disk

Hortonworks ve Cloudera Kurulumları

Big Data dünyasının iki büyük platformunun Internet of Anything(IoT) olarak adlandırdığımız ve buralardan gelen verilerin Apache Hadoop yazılımı üzerine kurulu olan platformlardır.

Bu iki platformunda yönetimsel olarak işlerimizi kolaylaştırmak için bizlere arayüz desteği sunar.

• Hortonworks için Ambari Arayüzü
• Cloudera için Hue Arayüzü

Bu iki platformun da kurulumları aslında oldukça basit ve bizler için kolay kullanım olabilmesi adına paket haline getirilmiştir. Şimdi sırasıyla bu işlemleri inceleyelim;

Oracle Flashback Data Archive

Bu yazımda Oracle Flashback data archive konusundan uygulamalı bir şekilde bahsetmeye çalışacağım. Konu hakkında kısa bir bilgi vererek hemen uygulama kısmına geçelim.

Flashback Data Archive istenilen kritik olduğu düşünülen tablolar üzerinde DML işlemlerimizi tablespace üzerinde tutulmasını sağlayan bir teknolojidir. Bu şekilde DML işlemlerini tespit etme , düzeltme ve raporlama şansımız vardır.


Yukarıda da bahsettiğim gibi bu işlemler için öncelikle bir tane tablespace oluşturuyoruz.

SQL> create tablespace fda_tablespace datafile '/u01/app/oracle/oradata/orcl/fda_datafile.dbf' size 1024M autoextend on next 100M maxsize 10000M;

Oracle DBSAT ile Veritabanında Güvenlik İncelemesi

Bu yazımda Oracle Güvenlik taraması yapan bir tool'undan bahsetmek istiyorum. Oracle DBSAT açılımına bakacak olursak Oracle Database Security Assessment Tool(DBSAT) adlandırılır.

Bu tool veritabanında güvenlik politikalarını inceler ve bizlere bir repor sunar. Sunulan bu rapor incelendiğinde veritabanının güvenlik geliştirmesinde yardımcı olur. Bize sunacağı önerileri uygulayabiliriz.

DBSAT ile güvenlik açıklarını kaldırabilir ve bunları raporlayabiliriz.

Oracle Business Intelligence 12.2.1.4.0 Kurulumu-OEL 6.5

Merhaba bu yazımda sizlere Oracle Business Intelligence 12.2.1.4.0 kurulumunu anlatmaya çalışacağım. Bu kurulum için bazı gereksinimlere ihtiyaç duyulmaktadır. Bunlar sırasıyla;

• Oracle Enterprise Linux 6.5 üzerine kurulum gerçekleştirdik.
• Java 1.8.171 versiyonunu kullandım.

Bununla alakalı dosyayı aşağıdaki link'den temin edebilirsiniz.

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

• Daha sonra Fusion Middleware Infrastructure Installer dosyasını indirip. Kurulum gerçekleştirdim. Bunun ile alakalı dosyayı da aşağıdaki link'den temin edebilirsiniz.

Hadoop Mimarisi,HDFS,MapReduce ve Yarn Kavramı

Hadoop Mimarisi


    Hadoop java programlama dili ile yazılmış açık kaynak kodlu bir kütüphanedir.Büyük veriyi hızlı işleme ve paralel işlemek için ortaya çıkmıştır. Çok büyük boyutlarda data tutulur.

    Hadoop denilince 2 bileşenden oluşmaktadır. Bunlardan;

1. Dağıtık Depolama : Örneğin Bozulan bir datanode'daki veriler NameNode sorarak üzerindeki verileri diğer node'a dağıtarak veri kaybını önler.
2. Dağıtık İşlem. 

Big Data Nedir?Büyük Veri’ye Giriş

Teknolojinin ilerlemesi ile beraber günümüzde bilginin gücü ön plana çıkmaya ve her şey den üstün olmaya başladı. Buda anlamlı ve anlamsız verilerin ortaya çıkmasına yol açtı. Bu kadar hızla çoğalan veriyi de yönetmek ve anlamlandıra bilmek için Big Data olarak isim verdiğimiz teknoloji ortaya çıktı.

Büyük veri aslında gündelik hayatımızda ister-istemez bizim de katkıda bulunduğumuz ve verinin artmasına yardımcı olduğumuz bir olay. Nasıl mı yardımcı oluruz?  Her gün kullandığımız sosyal medya hesaplarımız, internet gezintilerimiz ve bunların arkasında bıraktığımız izlerin bir araya gelmesiyle oluşan büyük veriler. Bu  verilerin saklanılması ,analiz edilmesi(anlamlı hale getirilmesi)  ve yönetilmesi için karşımıza çıkan bir problemin çözümü olarak da adlandıra biliriz.

Oracle Enterprise Linux 7.4 Kurulumu

Merhabalar,

Bu yazımda sizlere Oracle Enterprise 7.4 linux kurulumunu adım-adım resimli bir şekilde anlatmaya çalışacağım. Oracle Enterprise Linux sürümünü https://edelivery.oracle.com/linux sayfasından indirebiliriz.

Sırası ile ekranları takip edelim;

• İlk olarak karşımıza çıkan ekranı geçmek için enter tuşuna basalım.

Oracle Audit Vault and Database Firewall Kurulumu

Step by step kuruluma gecme den önce kurulum için gerekli bilgiler aşagıdaki gibidir.

Oracle Audit Kurulumu:

·         2gb Ram

·         120gb disk

Oracle Audit Vault and Database Firewall 12.1.1 sürümünde default kurulan işletim sistemi Oracle Enterprise linux 5.9 kurulmaktadır.Sırasıyla kurulum adımları aşağıdaki gibidir.

Oracle Data İntegrator Arayüz-3

Bu yazımda oracle data integrator arayüzün de neler var neler yapılabilir gibi konuları uygulamalı olarak anlatmaya çalışacağım. Genel bir anlatımla odi de DESIGNER,OPERATOR ve TOPOLOGY kısımları vardır.Bunlar ne işe yarar diyecek olursak;

• DESIGNER : Bu kısımda proje oluşturma ve yönetme,daha öncede oluşturduğumuz projeyi import/export işlemleri yapabiliriz. Knowledge Modules'lerimizi burada ekleriz.
• OPERATOR : Operatör yardımıyla çalıştırmış olduğumuz interface,packages,procedure gibi bölümleri takip edebilir ve hangi aşamada olduklarını öğrenebiliriz.
• TOPOLOGY : Oracle data integrator'un en önemli kısımlarından birisi bu bölüm diyebiliriz.Burada işlemlerimizi hangi veritabanından alıp hangi veritabanına atacağımıza karar verdiğimiz yerdir. Örnek: MS SQL veritabanından Oracle veritabanına migration işlemi yapmak istiyorsak burada bu iki veritabanını da tanımlamamız gerekir.

Oracle Data İntegrator kurulumu ve Arayüz-2

Bir önceki yazımda oracle data integrator stüdyo kısmının kurulmasından bahsetmiştik.Bu yazı bir önceki yazının devamı niteliğindedir. Oracle data integrator repositories üzerinde çalışan bir yapıdır. Bunun için 2 farklı repositories krulumuna ihtiyaç duyar. Bunları şu şekilde sıralayabiliriz;

• Master Repositories,
• Work Repositories

1. Bu repositories'ler ne işe yarar şimdi bunlara değinelim.

Repository oracle data integrator üzerinde yapılan çalışmaların tamamının tutulduğu veri merkezidir. Kesinlikle 1 tane Master repository olmalıdır. Birçok work repository olabilir.

Oracle Data integrator Kurulumu ve Arayüz-1

Uzun bir aradan sonra yazı yazmaya tekrar başlama fırsatı buldum ve bu fırsatı hemen değerlendirmek istedim.Konu başlığından anlaşılacağı gibi Oracle data Integrator yani veri ambarı konusunda birkaç yaz yazmayı düşünüyorum.Bunun ilk aşaması  kurulum,diğer aşamalar ise uygulamalı örneklerden ibaret olacatır.

Migration işlemi yani veri taşıma işlemi yapmak isteniyorsa bu işlemleri gerçekleştirebilen araçlardan bir tanesi oracle data integratordur. Oracle'ın veri transferi konusunda kararlı ürünlerinden bir tanesidir. Oracle neler yapılabilir diye sorulacak olursa;

• Manipüle etmek ; Veriyi transfer etmeden önce source kısmında değişiklikler yapmamıza izin verir.Bunu biraz daha açıcak olursak filtreleme,joinleme,tek kayıt fonksiyonlerı gibi bir çok sql cümleciği kullanmamıza izin verir.
• Migration ; Manipüle ettiğimiz işlemleri target database aktardığımız kısımdır.  

Oracle Data pump(import/export işlemi)

  Oracle Data pump işlemi genellikle verilerimizi bir yerden başka bir yere taşımak için kullanırız.Bu işlemi yaparken sıkıştırma ve şifreleme gibi özelliklerden yararlanabiliriz. İmport ve Export işlemlerini full database,schema bazlı vb. işlemlerde kullanabiliriz.Data pump export esnasında dump dosyasına yazmak ve import esnasında da dump dosyasını okumak için veritabanı database directory kullanır.İmp/exp işlemi tanımlanırken hangi veritabanı dizinini kullanacağımızı belirtmemiz gerekir.Belirtilmezse varsayılan veritabanı dizinini kullanılır. Şimdi ise export ve import'u tanımlayalım;
  Export: Verilerimizi dışarıya almak için
  İmport; Verilerimizi içeriye almak için
Yukarıda da belirtiğimiz gibi export ve import işlemlerinde dizin oluşturmamız gerekmektedir. Bu dizini bir kere oluşturup diğer işlemlerde de aynı dizini kullanabiliriz.Ve bu dizini kullanabilmesi içinde de kullanıcıya okuma yazma yetkisi vermeliyiz.

Oracle Business intelligence ile Rapor Almak

Merhaba arkadaşlar.Bu yazımda Oracle business intelligence ile basit ve sade rapor nasıl alınır uygulamalı resimlerle anlatmaya çalışacağım.Rapor alabilmek için Oracle bi publisher veya Oracle bi enterprise edition ürünlerini kullanabilirsiniz.Öncelikli olarak rapor alabilmek için bir datasource daha sonra ise data model'e ihtiyaç duyarız.Niçin datasourse ve data model ihtiyaç duyarız kısaca açıklayalım. Datasource bizim her hangi bir veritabanına bağlantımızı sağlar,data model ise düzgün ve istediğimize uygun rapor alabilmek için oluşturmamız gereken yapıdır.Bu iki işlemi oluşturdukdan sonra rapor almaya geçebiliriz.Rapor alabilmek için en önemli kurallardan biri düzgün ve anlamlı sql'ler oluşturmak dan geçer. Sql'iniz ne kadar temiz ise o kadar düzgün rapor almış olursunuz.Her yazımda bahsettiğim gibi sistemimizi anlatalım.Ret Hat işletim sistemi,Oracle 11gR2 database,Oracle business intelligence. Şimdi ise uygulamamızı resimlerle anlatmaya başlayalım.

Oracle Business Intelligence Kurulumu-Rethat 5.5

Oracle business intelligence performans ve iş zekasını birleştiren bir raporlama,analytics aracıdır.Oracle Bi,ODBC bağlantısı sağlayabilen her veri kaynağına erişebilmekte,bunları kullanarak analitik modelleme yapmayı sağlamkada ve birden fazla kanala veri dağıtımı yapabilmektedir.Tüm verilerinizi bir araya

getirebilecek ve bunları analiz ederek rapor çıkartabilecekdir.Kısaca Oracle Business Intelligence hakkında bilgi verdik den sonra kurulum aşamasında neler kullanılabilir ve ben kendi kullandığım sistemi sırasıyla aşağıdaki gibi yazıyorum.

• Ret hat Enterprise Linux 5.5
• Oracle 11gR2 veritabanı
• Repository Creation Utility(http://www.oracle.com/technetwork/middleware/bi-enterprise-edition/downloads/biee-111150-393613.html)
• Oracle Business Intelligence (http://www.oracle.com/technetwork/middleware/bi-enterprise-edition/downloads/bus-intelligence-11g-165436.html)                                                                                                    

Yukarıda verdiğim adreslerden repository ceration utility ve business intelligence kurulum dosyalarını elde edebilirsiniz.Oracle bi schema bazlı kurulum gerçekleştirdiği için bizden kurulum sırasında oracle bi ait bir schema isteyecekdir. Bunu gidermek için repository creation utility ihtiyaç duyarız.Bu uygulama istedigimiz schema'yı veritabanımızda oluşturacakdır.Şimdi bu bahsettilkklerimizi teker teker uyğuluyalım.

Oracle Real Application Testing-2

Replay Database işleminde bize bazı önerilerde bulunacaktır.Test sisteminde yapılması planlanan değişiklik yapılmış olmalıdır.Bundan eminseniz devam edin vb uyarılar alacağız.Artık replay workload işlemine geçebiliriz.

Oracle Real Application Testing-1

Oracle Real Application Testing işlemi,ana bilgisayardaki iş yükümüzü alarak test ortamında ki veritabanımızda test etmek istediğimiz özelliği ekleyerek tekrar çalıştırılmasıdır.Örnek verecek olursak;işletim sistemi yükseltmek,veritabanı versiyonunu yükseltmek,veritabanım da rac mimarisini kurarsam performansı nasıl değişir vb. işlemler.Burada test ortamımızın ana veritabanımızla oldukça benzer olması gerekmektedir.Şimdi ise Oracle Real Application Testing işlemini nasıl tanımlıyor ona bakalım.
   *Günümüzde bilişim altyapısının yeni teknolojilerle güncellenmesi kaçınılmaz olduğu gibi bu değişiklikler birçok riski de beraberinde getirmektedir. Oracle Real Application Testing, yeni teknolojilerin uygulanması sırasında doğabilecek riskleri ortadan kaldırmaktadır. Oracle Real Application Testing, değişikliklerin etkilerinin gerçek iş yükü altında test edilebilmesini ve ortaya çıkabilecek sorunların önceden tespit edilerek önlem alınabilmesini sağlamaktadır. Böylelikle yeni sistemdeki gerekli düzeltmeler sistem devreye alınmadan yapılabilmektedir.

Oracle Enterprise Manager 12c üzerinde Data Masking

Merhaba arkadaşlar.Bu yazımda Oracle Data Making den bahsedeceğim ve bir uygulama üzerinde anlatmaya çalışacağım.Anlatıma geçmeden kullandığım sistemi belirteyim.Sanal sürücü üzerinde Ret Hat 5.5 işletim sistemi,Oracle 11gR2 database,Oracle Enterprise Manager 12c her birinin kurulumlarını daha önceki yazılarımdan temin edebilirsiniz. Oracle Data Making ne işe yaradığını şöyle anlatmaktadır;
 *Oracle Data Masking , gerçek veritabanı ile aynı özelliklerde test ortamları oluşturarak uygulama geliştiricilerin yazılımlarını gerçek veriyle test etme ihtiyacını karşılamaktadır. Gerçek veri tabanındaki hassas verileri maskeleyerek test ortamlarında oluşabilecek güvenlik tehditlerini de ortadan kaldırmaktadır.
Uygulamamıza geçmeden önce kısaca neler yapacağız onlardan bahsedelim.Öncelikli olarak Job-Activity kullanarak Deploy Test Data Management Packages deploy etmeliyiz.Daha sonra ki adım Data model oluşturmak.Ve son aşama olarak Data masking işlemi kullanarak verilerimizi güvenliğini sağlamak.Bu işlemleri şimdi adım adım resimlerle uygulayarak anlatmaya çalışalım.

Oracle Enterprise Manager Cloud Control 12c Kurulumu-Rethat 5.5

Oracle Enterprise Manager Cloud Control 12c veritabanı yönetim araçlarından biridir.Bu yazımda öncelikli olarak kuruluma geçmeden Oracle 12c kurulması için neler yapılmalı ondan bahsedelim.Kurulumu sanal sürücüde yüklü olan Rethat 5.5 işletim sistemi üzerine Oracle 11gR2 veri tabanını kurarak başlayalım. Oracle 12c ile neler yapılabilir derseniz şöyle sıralayabiliriz.

     *Veritabanı yönetimi

     *Birden fazla veritabanını bir monitör den yönetme

     *Birden fazla host ve aplication server yönetebilme vb.

İşlemleri yapabiliriz.Kısaca Oracle 12c bahsettik ve daha sonra ki yazılarımda oracle 12c üzerinde uygulamalar yaparak kullanımını da daha iyi anlamış olacağız.Şimdi kuruluma geçelim.