Hadoop , bilgisayar kümelerinde büyük veri kümelerini depolamak ve işlemek için tasarlanmış açık kaynaklı bir yazılım platformudur. Platformu oluşturmak için ilham kaynağı, uygulamaları kümenin herhangi bir düğümünde çalıştırılabilen veya yeniden çalıştırılabilen birçok küçük parçaya bölen bir yazılım çerçevesi olan Google’ın Mapreduce’undan geldi.
Platform, her biri yerel bilgi işlem ve veri depolamaya izin veren tek bir sunucudan binlerce makineye ölçeklendirmeye olanak tanır. Hadoop, veri bloklarının birden çok kopyasını farklı düğümlerde depolamak için veri çoğaltmayı kullanır, bu da düğümlerin kullanılabilirliği başarısız olursa veya kaybolursa verilerin otomatik olarak kurtarılmasına olanak tanır.
Hadoop’un ana bileşenleri
- Hadoop Distributed File System (HDFS) – Hadoop’un büyük miktarda veriyi depolamak ve bunlara erişim sağlamak için tasarlanmış bir bileşeni. HDFS, verileri bloklara böler ve bunları kümedeki düğümlere dağıtarak hata toleransı ve paralel veri işleme sağlar.
- MapReduce – Hadoop’ta programlama ve veri işleme modeli. Veri işleme görevini küçük parçalara (map) bölmenize ve ardından sonuçları kümedeki her düğümde toplamanıza (reduce) olanak tanır.
- Hadoop YARN – Verileri depolayan ve analizi gerçekleştiren sistemlerin kaynaklarını yöneten Hadoop bileşeni. YARN, kümedeki bilgi işlem kaynaklarını yönetmenize ve görevleri erişilebilir düğümlere yerleştirmenize olanak tanır.
- Hadoop Common – Hadoop’un diğer bileşenlerinin çalışmasını desteklemek için gereken çeşitli yardımcı programları ve kitaplıkları içeren Hadoop modülü. Hadoop Common, tüm platform için ortak işlevsellik sağlar.
- Hadoop Streaming , Hadoop’ta MapReduce görevlerini yazmak için herhangi bir programlama dilinin kullanılmasına izin veren bir yaklaşımdır. Programlama dili seçiminde esneklik sağlar ve mevcut kodun entegrasyonunu ve Hadoop’un yeteneklerini genişletmeyi kolaylaştırır.
Hadoop’u geleneksel veritabanlarıyla karşılaştırıyoruz
Hadoop, yapılandırılmış ve yapılandırılmamış her türlü veriyi depolayabilir ve petabaytlarca veriye ölçeklenebilir. Geleneksel veritabanları ise yapılandırılmış veriler gerektirir ve depolama açısından sınırlamaları vardır.
Hadoop Kullanım Örnekleri
Hadoop çeşitli sektörlerde kullanılmaktadır. Örneğin, Facebook ve Twitter gibi sosyal medya platformları Hadoop aracılığıyla büyük miktarda veriyi depolayabilir ve işleyebilir. Amazon ve Alibaba gibi e-ticaret devleri, ürün tavsiye sistemleri oluşturmak, dolandırıcılığı tespit etmek ve müşterileri araştırmak için platformu kullanıyor.