Veri tekilleştirme Bilgilerin fazla kopyalarının ortadan kaldırıldığı ve sonuç olarak bu bilgilerin depolanmasının devam eden maliyetini düşüren bir süreçtir. Bu teknoloji ile herhangi bir veri deposunun kapasitesini optimize etmek mümkündür.
Yöntemden bağımsız olarak, tekilleştirme, yalnızca bir benzersiz bilgi birimini medyaya kaydetmenize olanak tanır. Bu nedenle, tekilleştirmedeki en önemli noktalardan biri ayrıntı düzeyidir.
Veri tekilleştirmenin birden çok yürütme düzeyi vardır:
- baytlar;
- Dosyalar;
- Bloklar.
Bu tür her yöntemin kendi olumlu ve olumsuz yönleri vardır. Onları daha ayrıntılı olarak ele alalım.
Hibrit bulut depolama
Veri tekilleştirme yöntemleri
Blok seviyesi
Tekilleştirmenin en popüler yöntemi olarak kabul edilir ve verilerin bir kısmının (dosyanın) analiz edilmesini, her bir blok için yalnızca benzersiz bilgi tekrarlarının daha fazla saklanmasını içerir.
Aynı zamanda, blok, değişebilen karakteristik bir boyuta sahip bir mantıksal bilgi birimi olarak kabul edilir. Blok düzeyinde tekilleştirme sırasındaki tüm veriler karma kullanılarak işlenir (örneğin, SHA-1 veya MD5).
Karma algoritmalar, tekilleştirme veritabanında her bir benzersiz veri bloğuna karşılık gelen belirli bir imza (tanımlayıcı) oluşturmanıza ve saklamanıza olanak tanır.
Dolayısıyla, dosya belirli bir süre içinde değiştirilirse, veri deposuna tek parça bir dosya değil, yalnızca değiştirilmiş blokları girecektir.
Değişken ve sabit blok uzunluğuna sahip 2 çeşit blok tekilleştirme vardır. İlk seçenek, dosyaların her biri farklı boyutta olabilen bloklara dağıtılmasını içerir.
Bu seçenek, depolanan veri miktarını azaltma açısından, sabit blok uzunluğuna sahip tekilleştirme uygulamasına göre daha etkilidir.
Dosya düzeyi
Bu tekilleştirme yöntemi, yeni bir dosyanın önceden kaydedilmiş bir dosyayla karşılaştırılmasını içerir. Herhangi bir benzersiz dosyayla karşılaşırsanız, kaydedilecektir. Karşılaşılan dosya yeni değilse, yalnızca bağlantı kaydedilir (bu dosyaya işaretçi).
Yani, bu tür tekilleştirme ile dosyanın yalnızca bir sürümü yazılır ve gelecekteki tüm kopyaları orijinal dosyaya bir işaretçi alır. Bu yöntemin ana avantajı, performansta ciddi bir düşüş olmadan uygulama kolaylığıdır.
Bayt seviyesi
Prensip olarak, listemizdeki ilk veri tekilleştirme yöntemine benzer, ancak burada bloklar yerine eski ve yeni dosyaların baytlara göre karşılaştırılması kullanılır. Bu yöntem, yinelenen dosyaların maksimum düzeyde ortadan kaldırılmasını garanti etmenin mümkün olduğu tek yöntemdir.
Bununla birlikte, bayt düzeyinde tekilleştirmenin de önemli bir dezavantajı vardır: işlemi çalıştıran makinenin donanım bileşeni, ona daha yüksek gereksinimler getirildiğinden son derece güçlü olmalıdır.
Veri tekilleştirme ve yedekleme
Yukarıdakilerin hepsine ek olarak, verilerin yedek kopyasını oluşturma sürecinde, veri tekilleştirme farklı yöntemlerle gerçekleştirilebilir.:
- yürütme yerinde;
- veri kaynağına (müşteriye);
- depolama tarafında (sunucu).
İstemci-sunucu tekilleştirme
Gerekli işlemlerin hem sunucuda hem de istemcide çalıştırılabileceği birleştirilmiş veri tekilleştirme yöntemi. İstemciden sunucuya veri göndermeden önce, yazılım önce hangi verilerin önceden kaydedildiğini “anlamaya” çalışır.
Bu tür tekilleştirme için, başlangıçta her veri bloğunun karmasını hesaplamanız ve ardından bunları sunucuya çeşitli karma anahtarların bir listesi olan bir dosya olarak göndermeniz gerekir. Sunucuda bu anahtarların listesi karşılaştırılır ve ardından istemciye veri içeren bloklar gönderilir.
Bu yöntem, yalnızca benzersiz veriler iletildiği için ağ üzerindeki yükü önemli ölçüde azaltır.
Müşteri üzerinde tekilleştirme
İşlemin doğrudan veri kaynağı üzerinde gerçekleştirilmesi anlamına gelir. Bu nedenle, böyle bir tekilleştirme ile müşterinin hesaplama gücü devreye girecektir. İşlem tamamlandıktan sonra veriler bilgi depolama cihazlarına gönderilecektir.
Bu tür tekilleştirme her zaman yazılım kullanılarak gerçekleştirilir. Açıklanan yöntemin ana dezavantajı, müşterinin RAM’i ve işlemcisi üzerindeki yüksek yüktür. Temel avantaj, düşük bant genişliğine sahip bir ağ üzerinden veri aktarma yeteneğinde yatmaktadır.
Sunucuda tekilleştirme
Verilerin sunucuya kodlama veya sıkıştırma olmadan tamamen ham biçimde ulaşması durumunda kullanılır. Bu tür tekilleştirme, yazılım ve donanıma ayrılmıştır.
Donanım tipi
Tekilleştirme mantığını ve veri kurtarma prosedürünü birleştiren belirli bir donanım çözümü şeklinde sağlanan tekilleştirme cihazı temelinde uygulanır.
Bu yöntemin avantajı, yükü sunucu kapasitesinden belirli bir donanım birimine aktarabilmesidir. Aynı zamanda tekilleştirme sürecinin kendisi maksimum şeffaflık kazanır.
Yazılım türü
Aslında gerekli tüm tekilleştirme işlemlerini gerçekleştiren özel bir yazılımın kullanılması anlamına gelir. Ancak, bu yaklaşımla, çoğaltma işlemi sırasında ortaya çıkacak sunucu üzerindeki yükü her zaman dikkate almak gerekir.
Artıları ve eksileri
Tekilleştirmenin bir süreç olarak olumlu yönleri arasında aşağıdaki noktalar yer almaktadır:
- Yüksek verimlilik. Emc’nin araştırmasına göre, veri tekilleştirme süreci, bilgi depolama kapasitesine olan ihtiyacı 10 ila 30 kat azaltmayı mümkün kılıyor.
- Düşük ağ bant genişliği ile kullanımın avantajı. Bu, yalnızca benzersiz verilerin aktarılmasından kaynaklanmaktadır.
- Daha sık yedekleme oluşturma ve verilerin yedek kopyalarını daha uzun süre saklama yeteneği.
Tekilleştirmenin dezavantajları şunları içerir:
- Aynı anda bir çift farklı blok aynı karma anahtarı oluşturuyorsa veri çakışması olasılığı. Bu durumda, veritabanında bir bozulma meydana gelebilir ve bu da yedeklemeden geri yüklerken başarısızlığa neden olabilir.
- Veritabanının hacmi ne kadar büyük olursa, çatışma durumu riski o kadar yüksek olur. Sorunun çözümü, karma alanını artırmaktır.