BIG DATA NEDİR NE DEĞİLDİR?

Veri kavramının tanımını ilk duyduğumdan beri bu konuya bir gün olsun duyarsız kalamayan ben eğitim hayatım boyunca da hep bu kavram üzerinde durdum, düşündüm ve çalıştım. Veri yapıları, veritabanları, veri ambarı, veri madenciliği, metin madenciliği, veri keşfi ve veri analizi derken son dönemde bir de büyük veri kavramı ortaya çıktı. Bize de doğal olarak onu anlama ve üzerine çalışma görevi düştü.

1993 yılında tanıştığımız veri kavramıyla ilk münasebetimiz program kodları içerisinde doğru değişken tanımını yapmakla başladı. Atomik değişkenler yetmediğinde veri yapılarının nasıl kullanılacağı ve devamında verilerin dosyalarda ve diskte nasıl organize edileceğini öğrendik ve uyguladık. 1995 yılı Veritabanlarına Giriş dersini alıp da bu alanda çalışmaya karar kıldığım yıl oldu. Bitirme çalışmamız bir Veritabanı uygulaması oldu: Dingil 1. 0. Şu an ülkemizin önemli firmalarında mühendis olarak çalışan arkadaşlarla birlikte yaptığımız bu veri yoğun yazılım ilk ciddi veriye dayalı işimiz oldu. Devamında yüksek lisans ve doktorada veri merkezli çalışmalarımız. Yüksek lisansta web üzerinde veritabanı çalışarak INTERNETTE KÜTÜPHANE isimli tezimi yaptım. Doktora konum ise tam anlamıyla bir veri madenciliği çalışmasıydı: KARAKTER TABANLI DOKÜMAN DİLİ TANIMA SİSTEMİ TASARIMI. Eğitim almanın devamında eğitim verme aşamasına geldiğimde de isminde Veri olan bütün dersleri özenle yıllarca ben verdim ve vermeye devam ediyorum.

2005 yılında doktorayı bitirdiğimizde bizim veriye merakımızı gören TÜBİTAK sağ olsun bize veriye dayalı birçok projede hakemlik görevi verdi, vermeye devam ediyor, ben de zevkle görev yapıyorum. Bu görevler sırasında gördüğümüz olumlu, olumsuz örnekler bence çok değerli. Bu örnekler üzerinden halkımızın bu konuları ne denli anlayıp ne denli anlamadığını görme fırsatımız oluyor. Örneğin, 2005 yılında ilk hakemlik yapmaya başladığım yıllarda henüz Big Data konusu yoktu ama o zamanlar Veri Madenciliği gündemdeydi ve alanla ilgili çok sayıda proje önerisi önüme geliyordu. Ben o zaman şunu görmüştüm; firmaların çoğu İstatistik bile yapmadan Veri Madenciliği yaptığını iddia ediyor. Acaba neden insanlar İstatistik bile yapamazken Veri Madenciliği yaptığını iddia eder diye düşünürken aklıma şu geldi; “Veri madenciliği sihirli sözcüktür ve bu sözcükle proje kabul edilebilir”. Kabul edildi mi, en azından bana gelenler edilmedi J

Aradan yıllar geçti ve insanlar sonunda veri madenciliği projeleri yapmayı öğrendiler. Bu sefer de Web Madenciliği, log (günlük) madenciliği gibi konular gündeme geldi. Log kayıtlarının güvenliğini sorduğumuzda çok cevap alamadık genellikle. Log kayıtlarının birleştirilmesi de cevapsız kaldı.

Metin madenciliği kulağa hoş gelmeye başladı. Ben de çok sevindim bu işe, çünkü doktora tezim veri madenciliği kadar metin madenciliği ile de alakalıydı. Doğal dil dedik cevap alamadık, muğlaklık gidermeyi hiç soramadık. O konu kapanmadan bu sefer sentiment analiz. Olumlu ve olumsuz tamam ya nötr durumları nasıl bulursunuz dediğimizde onu bile yapan fazla çıkmadı.


Bütün bunları neye mi anlatıyorum, cevabı basit ve kısa. Yine insanlar moda bir kavram buldular kendilerine ve yine ıskalamaya devam ediyorlar da o yüzden. Sadece proje heveslileri ıskalasa neyse wikilerde bile çok doğru olmayan şeyler var. Diyor ki wiki hazretleri “…yaygın bilişimci inanışına göre, yapısal olmayan veri, değersizdi” ben de diyorum ki hadi oradan. Yapısal olmayan verinin bütün veriler içerisinde %90 gibi bir veri yığını oluşturduğu ve bu verinin değerlendirilmesi için de metin madenciliği yapıldığını sağır bilişimci bile bilir. Yine aynı wiki bir yerlerinde mevcut ilişkisel veritabanları sanki tutarsız veri tutuyormuş da big data tutarlı veri tutuyormuş gibi masal okuyor.

Son dönemde gerek wiki, gerekse konuya balıklama atlayan herkesin iddiası şu “ilişkisel veritabanları yetersiz kaldığı için big data kullanılacak ve ilişkisel veritabanları artık önemsizleşecek”. Big data konusunu yeterince anlamayan kişiler veritabanlarında yıllarca kullanılan özellikleri de big dataya ait gibi göstererek, veri ambarlarında çözülmüş olan farklı veri kaynaklarının birleştirilmesini de big dataya ait gibi göstererek sadece cehaletlerini ortaya koyuyorlar.

Bize göre big data, son dönemde artan veri kaynaklarına paralel olarak bunların entegre edilmesi, toplam veriden ortak bir bilgi çıkarılması ve bu iş yapılırken de bugüne kadar geliştirilmiş bütün veri analiz tekniklerinin birlikte kullanılması sürecidir. Big data eskiyi yıkıp üzerine bir şey inşa etmek değil, sadece yatay giden sorgulamaya dikey özellik katan, toplu işleme mantığı ile işlemleri ele alan, aynı anda paralel işleme ile sonuç elde eden yeni bir veri analiz yöntemidir. Eğer big data yapılacaksa veriyle ilgili olarak verinin farklı formatlarında çalışmış insanların ortaklığı ile yapılabilecektir. Yoksa bugüne kadar veri nedir bilmeyen insanların hemen birkaç ayda içine girip çıkabileceği bir şey değildir. Moda bir tabir olabilir ama moda gibi hafif bir konu değildir.

Hidayet Takcı
Cumhuriyet Üniversitesi Bilgisayar Mühendisliği Bölümü
Yazılım Anabilim Dalı Başkanı
htakci@gmail.com

 0 (346) 219 10 10 / 24 62

Yorumlar

Yorum Gönder

Bu blogdaki popüler yayınlar

CUMHURİYET DEMEK

Resim
Yaklaşık her gün Cumhuriyet’in temellerinin atıldığı kongre binasının önünden geçince, adı Cumhuriyet olan bir üniversitede çalışınca, Cumhuriyetin ilanında katkısı olan bir aileden gelince insan ister istemez Cumhuriyet kavramını uzun uzadıya düşünmeden edemiyor. Evet, Cumhuriyet demek ne demek? Bir kavramı anlatmada en çok tercih edilen yöntem onun kelime anlamından yola çıkmaktır. Hâlbuki ben kelime anlamının yetersiz kalacağını bilerek onu kazanımlarıyla anlatmak istiyorum. Her şeyden evvel Cumhuriyet; uğruna vatan evlatlarının seve seve canını verdiği, ömrünü adadığı ve sonunda ulaştığı kızıl elmadır. Vatan için gidip de gelmeyenlerin, gelip de sevdiklerini bulamayanların, fakirliğin, çilenin sonucu kurulan düzendir Cumhuriyet.    Geç kaldığımız muasır medeniyet yarışına bizi yeniden dâhil eden ve o yarışta önemli mevkilere bizi getiren motivasyondur Cumhuriyet. Cumhuriyet Anadolu’nun bir köyünden çıkıp alın teri dökerek bu ülkenin en önemli kurumlarında ve en ö...
Devamı

VERİ BİLİMİ

Resim
Anlatılmaz yaşanır diyebileceğimiz şeylerden birisi hiç şüphesiz veri kavramı. Her birimiz her gün tonlarca veri oluşturur ama veri kavramını çok da anlaşılır şekilde tarif edemeyiz veya anlatamayız. Anlatmaya başladığımızda da gözü kapalı insanların fili tarif etmeye çalıştığı gibi dokunabildiğimiz ve hissedebildiğimiz kadarını anlatabiliriz. Ve eğer bütüne hâkim değilsek bir de inat ederiz kıt tanımlamalarımız konusunda. O nedenle bu yazımda veri nedir diye bir soru sorup da ona eksik tanım yapmak istemedim onun yerine yaşayan veri ya da hayatımızdaki veri üzerinden yazımı derinleştirmek istedim. Sabah uyandığımız andan akşam yatağa girdiğimiz ana kadar hepimiz çeşitli işler yapar ve olaylar yaşarız. Okula gideriz, işe gideriz, çarşıya gideriz, çalışırız ya da gezeriz, ya da evimizde oturur bir şeyler yapar ya da yapmadan vakit öldürürüz. Bütün bunlar içerisinden kaydetmeye değer bulduğumuz şeyleri kaydettiğimiz andan itibaren onlar veriye dönüşür. O zaman veri olmanın şartlarından b...
Devamı

YAPAY ZEKÂ FIRSAT MI TEHDİT Mİ?

Resim
Şu an kullanmakta olduğumuz bilgisayarların emekleme dönemi kadar erken bir dönemde ilk yapay zekâ fikirleri yapay zekâ adlandırmasıyla birlikte konuşulmaya başlanmıştı bile. Hatta kimilerine göre yapay zekâ kavram olarak değilse de işleyiş olarak belki bin yıl öncesinde sahada yer alıyordu. Adı yapay zekâ değildi ama mekanik icatların birçoğunda yapay zekâ ruhu yer alıyordu. İnsan denetimi olmadan insan gibi hareket ediyordu mekanik aygıtlar. Yakın döneme geldiğimizde yapay zekânın sorulara verdiği cevaplar ile insanın verdiği cevaplar karşılaştırıyor ve cevap veren insan mı yapay zekâ mı olduğu Turing testi ile bulunmaya çalışılıyordu. Her ne kadar Turing testi sonucuna göre insan tarafından verilen cevap ile yapay zekâ tarafından verilen cevap ayırt edilebildiyse de günümüzde artık insanların ürettiği metinler ile yapay zekânın ürettiği metinleri çok da ayırt edemiyor durumdayız.  Yine erken sayılabilecek bir dönemde ELIZA sizinle bir insan gibi hatta bir psikolog gibi diyalog...
Devamı