Büyük veri ya da İngilizcesiyle “big data”, geleneksel veritabanı sistemleriyle depolanamayacak, yönetilemeyecek ve analiz edilemeyecek kadar büyük veri kümelerini ifade eden bir kavram. Büyük veri, bugün sağlıktan turizme hemen her sektörde kuruluşlar tarafından yoğun şekilde kullanılıyor. Blockchain ve kripto para teknolojileriyle büyük veri birlikteliği ise birçok yeni, daha verimli, daha güvenli olanak yaratıyor.
Bu makalemizde, büyük verinin ne olduğuna ve nasıl oluştuğuna detaylıca göz atacağız.
Büyük Veri Nedir?
Büyük veri (big data) kavramı daha fazla çeşitlilik içeren, hacmi sürekli artan, çok büyük miktarlarda veri kümelerini tanımlar. Bir veri kümesinin büyük veri sınıfında sayılabilmesi üç unsura (üç V) bağlıdır: Hacim (volume), hız (velocity) ve çeşitlilik (variety).
Hacim
Veri miktarı önemlidir. Büyük veri söz konusu olduğunda yüksek hacimli, düşük yoğunluklu, yapılandırılmamış verileri işlemeniz gerekir. Twitter veri akışları, bir web sayfasındaki veya bir mobil uygulamadaki tıklama akışları veya sensör özellikli ekipman gibi değeri bilinmeyen veriler hacimleri itibarıyla büyük veri sınıfında sayılabilir. Bazı kuruluşlar için bu onlarca terabaytlık veri demektir. Kimileri içinse yüzlerce petabaytlık veri söz konusudur.
Hız
Hız, verilerin hangi hızla alındığı ve üzerlerinde işlem yapıldığının oranıdır. Normalde en yüksek veri hızı, diske yazılmak yerine doğrudan belleğe akar. Bazı internet özellikli akıllı ürünler gerçek zamanlı veya neredeyse gerçek zamanlı olarak çalışır ki bu, gerçek zamanlı değerlendirme ve eylem gerektirir.
Çeşitlilik
Çeşitlilik, mevcut veri türü çeşitliliğini ifade eder. Geleneksel veri türleri yapılandırılmıştı ve ilişkisel bir veritabanına düzgün bir şekilde sığıyordu. Büyük veri söz konusu olduğundaysa veriler, yapılandırılmamış veri türleri şeklindedir. Metin, ses ve video gibi yapılandırılmamış ve yarı yapılandırılmış veri türleri, değerlendirilmek ya da meta verileri desteklemek için ek ön işleme gerektirir.
Big Data Neden Önemli? Büyük Verinin Değeri Nedir?
Şirketler, operasyonlarını daha iyi hale getirmek, müşterilerine daha iyi hizmet sunmak ve kişiselleştirilmiş pazarlama kampanyaları oluşturmak için büyük verilerden yararlanır. Büyük veri pazarını etkin bir şekilde kullanan işletmeler, kullanmayanlara göre daha avantajlı konuma gelirler çünkü büyük veri, daha hızlı ve daha bilinçli iş kararları almanın anahtarıdır. Niçin? Çünkü büyük veri, çok detaylı ve değerli bilgiler sağlayabilir. Örneğin, büyük veriden yararlanan şirketler, müşterilerilerinin tercihlerine dair gerçek zamanlı veriler elde ederek reklam ve promosyonlarını güncel bilgiler ışığında uyarlayabilir. Bu da ilgili şirketin müşteri memnuniyetini ve verimliliğini artırır.
Büyük veri aynı zamanda tıp dünyasında da kullanılmaktadır. Araştırmacılar, hastalık belirtilerini ve risk faktörlerini tespit etmek için büyük veriden yararlanır. Doktorlar ise hastaların tıbbi durumlarını teşhis etmekte büyük verinin sağladığı bilgileri kullanabilir. Ayrıca elektronik sağlık kayıtları, sosyal medya siteleri ve diğer kaynaklardan toplanan veriler, sağlık kuruluşlarına ve devlet kurumlarına bulaşıcı hastalık risklerine dair hakkında güncel bilgiler verir.
Büyük veri, enerjiden finansa başka birçok sektördeki şirket tarafından daha verimli araştırmalar yapmak ya da hizmetler sunmak için kullanılır. Ayrıca devletler, acil durum müdahaleleri ya da suç önleme gibi alanlarda big data hizmetlerinden yararlanır.
Big Data Tarihi: Dünden Bugüne Büyük Veri
Büyük veri (big data), bir kavram olarak henüz çok yeni sayılabilir. Bununla beraber, büyük veri kümelerinin kökeni 1960’lı yıllara kadar uzanıyor. Yani, big data sektörünün tarihini 1960’lardan başlatmamıız pekâlâ mümkün.
2000’li yılların ortaları ise big data sektörünün ismiyle ortaya çıktığı ve herkes tarafından fark edildiği dönem oldu. Facebook, YouTube ve diğer çevrimiçi hizmetler aracılığıyla kullanıcıların ne kadar çok veri ürettiği fark edildiğinde bu verileri daha verimli değerlendirmenin yolları araştırılmaya başlandı. 2005 yılında, büyük veri kümelerini depolamak ve analiz etmek üzere oluşturulan açık kaynaklı Hadoop çerçevesi geliştirildi. NoSQL de bu dönemde popülerlik kazanmaya başladı.
Açık kaynaklı çerçevelerin geliştirilmesi büyük veri sektörünün gelişmesi için çok önemliydi çünkü bunlar büyük veriyle çalışmayı kolaylaştırıyor ve depolamayı daha ucuz hale getiriyordu. O zamandan bu yana büyük veri hacmi hızla arttı. Kullanıcılar artık çok daha büyük miktarlarda veri üretiyor. Üstelik artık veri üretenler yalnızca insanlar değil.
Nesnelerin İnterneti (IoT) birçok şeyi değiştirdi. Günümüzde birçok cihaz internete bağlanarak müşteri kullanım modelleri ve ürün performansı hakkında veri topluyor. Makine öğrenimi ve yapay zeka, veri üretimini o kadar artırdı ki IBM’e göre her gün yaklaşık 2,5 milyar GB veri üretiliyor.
Büyük veri sektörü kısa zamanda büyük yol kat etti. Bununla beraber, büyük verinin olanakları hâlâ tamamen keşfedilmiş değil. Özellikle blockchain teknolojisinin ortaya çıkışı, birçok alanda olduğu gibi big data alanında da önemli yeniliklere öncülük ediyor. Bugün Ocean Protocol (OCEAN) ya da Fetch.ai (FET) gibi kripto para projeleri sayesinde veri üretimi ve büyük veriye erişim çok daha demokratik, merkeziyetsiz, güvenli ve maliyetsiz hale geliyor. Öte yandan büyük veri, blockchain projelerinin daha kullanıcı dostu olması için gereken bilgileri sağlıyor.
Büyük veri sektörünün bundan sonra varacağı yeri hep birlikte göreceğiz. Ancak artık büyük veri göz ardı edilerek gerçek anlamda yenilikçi ve verimli sistemlerin inşa edilemeyeceği şimdiden anlaşılıyor.