Tag Archives: yahoo

YaCy – P2P Arama Motorunuz

Twitter‘ın erişime engellemesi ile ilgili mesajım için buraya tıklayabilirsiniz.

YaCy, p2p mantığı üzerine kurulu ücretsiz, açık kaynak, özgür bir arama motoru yazılımdır. Genel olarak Java dili ile yazılmıştır ve platform bağımsızdır. Yani, illa GNU/Linux kullanmanıza gerek yoktur. P2P ağlarda olduğu gibi YaCy’de de birçok istemci vardır. Her YaCy-istemcisi birbirlerinden bağımsız olarak bir Internet sayfasını tarayabilir, analiz edebilir, sonuçları YaCY-istemcilerinin erişebilmesi için ortak bir indeks veritabanında tutup paylaşabilir. Tüm YaCy-istemcileri eşittir ve arama portallarında (Google, Bing, Yandex vs) merkezi bir sunucusu yoktur. Kısaca, YaCy için merkezsizleştirilmiş arama motoru da denilmektedir.

Merkezsizleştirilmiş arama motoru nedir?

merkezsizleştirme

Özel mülkiyet bir arama motoru düşünün. Bir merkezi ve yönetici(leri) mevcuttur. Bu arama motorunun sizin kontrolünüz dışında olan özel sunucularının bir merkezi vardır, sizin aramalarınızla ilgili bilgi toplar, sonuçları çeşitli gerekçelerle (telif vs.) sansürleyebilir, sizin arama sorgularınız ve eriştiğiniz sonuçlarla ilgili profil oluşturup bunu reklam için kullanabilir veya satabilir. YaCy’de ise bu durum tamamen farklıdır. Öncelikle, böyle bir merkeze bağlı değilsiniz. Kendi arama motorunuzun hem yöneticisi hem de kullanıcısısınız. Diğer yandan arama portallarındaki gibi içeriğiniz sansürlenmez, yöneticiler tarafından gözetlenmez ve herhangi bir reklam yoktur. Kendi içeriğinizi oluşturabilir, istediğiniz siteleri indeksleyebilir ve 600’den fazla istemcinin düzenli olarak katkı yaptığı 1.4 milyardan fazla dökümana sorunsuz, herhangi bir engele ve kısıtlamaya takılmadan erişebilirsiniz.

Kurulum ve ilk çalıştırma

İlk önce sistemimize Java kurmalıyız. Ardından YaCy’i kurabilir ve çalıştırabiliriz. Windows kullanıcıları buradan MacOS kullanıcıları da buradan indirip kurabilirler. Paket yöneticiniz ve dağıtımınız ne olduğunu bilmediğim için Debian türevi dağıtımlara uygun bir Java kurulumu gösterdim. Diğer kurulum ve çalıştırma dağıtım bağımsızdır.

kame - $ apt-get install openjdk-7-jre
kame ~ $ wget -c http://yacy.net/release/yacy_v1.68_20140209_9000.tar.gz
kame ~ $ tar xzv yacy_v1.68_20140209_9000.tar.gz && mv yacy ~/.yacy
kame ~ $ cd ~/.yacy && sh startYACY.sh

Temel ayarlar

Tarayıcınızdan localhost:8090‘a girdiğinizde YacY’nin durum (status) ana sayfasını göreceksiniz. Şimdi ilk olarak yanındaki Basic Configuration‘a tıklayarak bizi ilgilendiren birkaç ayarı yapalım. 1. seçenek dil seçeneği. Buradan size uygun olan bir dili seçebilirsiniz. 2. seçenek kullanım amacı. Üç seçenek mevcut. İlki, topluluk tabanlı arama. YaCy-istemcileri üzerinden arama yaparsınız. İkincisi, YaCy’i diğer YaCy-istemcilerinden bağımsız olarak yapılandırır, kendi indekslediğiniz ve robotlarla taradığınız siteler üzerinde arama yapılacak şekilde yapılandırabilirsiniz. Üçüncüsü, kendi ağınız ve siteniz için bir arama moturu oluşturabilirsiniz. 3. seçenek kullanıcı adınız. Herhangi bir şey yazabilirsiniz. 4. seçenek ise diğer YaCy istemcilerinin de erişebilmesi için port ayarı. Çok şart değil, port erişilebilir olursa hem performans açısından hem de diğer istemcilere indeks katkısı açısından biraz daha iyi olacaktır. Ayarlarınız tamamsa Set Configuration diyerek kaydedebilirsiniz. iptables’da port açmak isterseniz:

kame ~ $ iptables -I INPUT -p tcp --dport 8090 --syn -j ACCEPT
kame ~ $ iptables -I INPUT -p udp --dport 8090 -j ACCEPT

Bir arama gerçekleştirelim

yacy_arama

Görüldüğü üzere çok kapsamlı bir sonuç (daha devam ediyordu fakat ben yarıda kestim) elde edemedik. Bunun temel nedeni çok taze bir konuyu aratmak istememdi, ayrıca daha çok robotlarla taramaya ve indekslemeye ihtiyacı olduğundandır. Diğer bir deyişle, YaCy’nin birçok istemciye ihtiyacı vardır. Fakat, bu arama YaCy’nin yetersiz olduğu fikri oluşturmasın. Şu ana kadar beni pek üzdüğünü söyleyemem. Sorgularıma verdiği yanıtlar hep yeterliydi.

Arama motoruma herkes erişebilir mi?

Evet. Herkes erişebilir. Bu ister YaCy istemcisi olsun, ister Internette arama moturunuzun açık 2014-03-21-170646_1920x1080_scrotadresini bilen olsun veya diğer arama portallarının örümcekleri olsun erişebilirler. Status sayfasında, sağ köşede bir kutu göreceksiniz. Address kısmına baktığınızda sunucu (host), açık adres (public adress) ve YaCy adreslerinizi (yacy address) görebilirsiniz. Açık adresinize herkes (örümcekler dahil ve adresinizi dağıttığınız sürece) erişebilir. Bu yüzden Account ayarlarında Acces only with qualified account seçeneği ile bir yönetici (admin) şifresi belirleyebilirsiniz. Local robots.txt bölümünden de örümceklerin neye erişemeyeceklerini de ayarlayabilirsiniz.

2014-03-21-170630_1920x1080_scrotBen de indeks yapmak istiyorum

Sol menüde Index Production alt menüsünü göreceksiniz. Crawler/Harvester‘a tıkladığınızda açılan sayfa üzerinden indekslemek istediğiniz sayfanın linkini girerek bu işlemi gerçekleştirebilirsiniz.

Son sözler

YaCy çok detaylı ve kapsamlı bir arama motorudur. Burada çok temel birkaç şeyden bahsettim. Genel anlamda dört temel özelliği vardır. Tarama (crawl), indeksleme, arama ve yönetici arayüzü ve veritabanı. Merkezi bir sunucusu yoktur, sansür, reklam, gözetim gibi durumlardan arındırılmıştır. Yüksek derecede gizlilik sağlar. Çeşitli sıkıntılara sahip olsa da kesinlikle desteklenmelidir. Son olarak, YaCy ne kadar çok istemci sahibi olursa o kadar çok etkin, güvenli, sansürsüz, reklamsız bir arama motoru olacaktır.

Tagged , , , , , , , , , , , , , , , , , , , , , , ,

Veriyi Unutmak Ve Unutulma Hakkı

Türkiye’de ciddi sıkıntılar doğuran, verilerin elden ele dolaştığı, veritabanlarının yüksek fiyatlara satılıp size ait kişisel verilerin ve gizlilik hakkınızın hiçe sayıldığı bir ortam mevcut. Durup dururken gelen bir telefonla “Merhabalar … bey, ben …, sizlere bir ürünümüzü tanıtmak istiyorum…” şeklinde yapılan tacizkar pazarlamaların bitmek tükenmek bilmediği şu zamanda, verinin unutulması ve unutulma hakkı üzerine bolca eleştiriye açık fikirlerimi belirtmek istedim.

Kafanızda önce bir örnek canlandıralım. Sarhoşsunuz, canınız sıkkın veya çok mutlusunuz, bilgisayarın başında sosyal medya profillerinizin birinde (Facebook, G+ vs.) kendinize ait bir fotoğraf ya da bir yazı vs. paylaştınız. Bu fotoğraf (veya yazı) sizinle ilgili ileride başınıza iş açabilecek, her zaman karşınıza çıkabilecek bir şey taşıyor. Örneğin yarı (veya tamemen) çıplaksınız, (birine veya birilerine) nefret (veya aşk) dolu (küfür şart değil) bir yazı yazdınız. Sabah uyandığınızda bir de baktınız ki gönderdiğiniz fotoğraf 10 arkadaşınızın da duvarında, bir sürü yorum almış, üstüne arkadaşlarınızın duvarından başka yerlere aktarılmış, Internet Wayback Machine tarafından Internet tarihin tozlu sayfalarına eklenmiş ve arama motorlarında adınız ve soyadınız aratıldığında direkt karşınıza çıkmış. Hemen kullandığınız sosyal medya sitesiyle iletişime geçtiniz, fotoğrafı duvarınızdan sildiğinizi ve sunuculardan da silinmesini istediğinizi söylediniz. Kabul edildi veya edilmedi (fakat yasa varsa buna bir şekilde zorlayacaktır), bir de baktınız arkadaşlarınızın duvarlarında fotoğraf durmaya devam ediyor, aramalarda karşınıza çıkıyor, ya şimdi ne olacak?

Bir Internet sitesi bu durumda kimin duygularını esas almalı? Duvardan duvara aktarılan o fotoğraf artık kimin? Siz üzgünsünüz diye bir Internet sitesi başkalarına da müdahale etmeli mi? Bununla ilgili söylenen temel şeylerden birisi; “eğer bir salaklık yapıp açık bir alan adı üzerinde, gruplarda, forumlarda vs. böyle bir paylaşımda bulunmuş veya kendinizle ilgili tüm özel şeyleri anlatmışsanız, ileride bunlardan dolayı başınıza bir şey gelmesi durumunda şaşırmamalısınız“. Bir diğer nokta da Jeffrey Rosen‘in “Internet yapısına, Google, Facebook ve Yahoo gibi sitelere zarar vereceği ve en önemlisi de Internet’te konuşma özgürlüğünün bundan olumsuz etkileneceği” görüşü. Bunlar haklı bir cevap, fakat bir kişinin yaptığı bir salaklıktan dolayı bir verinin saatli bomba gibi, kontrolü dışında ve ulaşamayacağı bir bulut üzerinde durmaya devam etmesi de doğru değildir. Bu işin bir orta yolu olmalı. Peki bu orta yol nasıl olacak? Benim şahsi görüşüm, unutulma hakkı açık ve net olarak ne çok aşırı detaylı ne de çok basit bir şekilde tanımlanmalı, konuşma özgürlüğü, bilgi alma özgürlüğü, ifade özgürlüğü ve Internet özgürlüğü gibi temel hak ve özgürlüklere zarar verici olmamalı. Kanun uygulayıcının veya Internet sitelerinin (bu tartışılabilir. çünkü bir Internet sitesi jüri görevi de görmeli mi yoksa sadece teknik hizmet mi vermeli?) bu yasaya baktıklarında herhangi bir olay için uygulanabilir veya reddedilebilir olmasına karar verebilmeli. Bu şunu sağlar:

  • Konuşma özgürlüğü, bilgi alma özgürlüğü, ifade özgürlüğü ve Internet özgürlüğü gibi temel hak ve özgürlüklerin bundan olumsuz etkilenmesinin önüne geçecektir.
  • Yasanın açık, anlaşılır ve uygulanır olması yasayı eğip bükmek isteyen, bunu kendi çıkarları için kullanmak isteyen muktedirlerin önüne geçecektir.
  • Sosyal medyanın, Internet sitelerinin ve Internet yapısının bundan en az zararla etkilenmeleri sağlanmış olacaktır.
  • Her “ben bir salaklık yaptım bunu silin” diyenin isteğiyle kafasına göre verinin silinmesi engellenmiş olacak (yukarıda bahsettiğim temel hak ve özgürlükler doğrultusunda).

Bir sosyal medya sitesine (ya da herhangi bir siteye) üye oldunuz, bir şeyler paylaştınız, daha sonra aldığınız hizmetten vazgeçmek istediniz ve hesabınızı silmeye karar verdiniz. Hesabınıza ait veriler ne olacak? Bu veriler üçüncü şahıslara kişinin izni alınmadan satılıyor mu ya da  satıldı mı? Nasıl oluyor da hiç tanımadığınız birileri sizi arayıp bir ürün satmaya çalışıyor? Veya nasıl oluyor da hesabını sildiğiniz bir Internet sitesi sizlere düzenli olarak e-posta göndermeye devam ediyor? Tacizkar pazarlama demiştim kısaca bir anlatayım. Bir bara gidiyorsunuz ve biri kabul edene kadar önünüze gelene evlenme teklif ediyorsunuz. Kimse kabul etmezse de suçu kendinizde bulmuyor o barı size önerene kızıyorsunuz. Sizleri arayıp ürün satmaya çalışan insanlar da ürünü satana kadar birilerini aramaya ya da hesabını sildiğiniz Internet sitesi sizi geri kazanana kadar bilgilendirme, gelişme, haber vs. adı altında e-posta göndermeye devam ediyor. Kısa bir tanımdan sonra verinin unutulması ile ilgili olarak benim şahsi görüşüm, eğer bir kullanıcı hesabını silmişse, o hesap silinmiştir. Bitti! Bir banka hesabının, bir sosyal medya hesabının, bir cep telefonu operatörü hesabının ya da bir e-posta hesabının silinmesi arasında bana göre fark yok. Şirketler, belirli bir süreliğine (mesela 6 ay, en fazla 1 sene, daha fazlasına karşıyım!) verileri saklayabilirler ama bunu sadece ve sadece şirket içi performans ölçümü ve yeni teknolojilerin geliştirilmesi için “anonim” olarak kullanabilirler. Ayrıca, bu verilerin kesinlikle ve kesinlikle belirli bir süre sonra silinecek diyerek 3. şahıslarla paylaşılması veya satılması (ben buna da karşıyım ama söylemekte yarar var; eğer kullanıcı aksini belirtmemişse ve izinli pazarlama için onayı varsa verebilirler) söz konusu dahi olamaz. Bu konuda gelecek en temel itirazlardan bazıları şunlar; “eğer biz hesap silindikten sonra o hesaba ait tüm verileri (mesela banka için hesap numarası) de silersek ilerde o hesap numarası boşta kalacağı için başkasına verilebilir, (internet için) kullanıcı adı (ya da banka için hesap numarası) başkası tarafından alınıp kötüye kullanılabilir (inceleme yapılırsa eski kullanıcı bundan dolaylı olarak etkilenebilir) ve kullanıcı tekrar geri dönmek isterse bu onu olumsuz (kullanıcı adım alınmış, hesap numaram başkasının vs.) etkileyebilir…“. Eğer böyle sıkıntıların doğabileceğinden bahsedilebiliyorsa konuyla ilgili en temel çözüm; hesap silinmişse ve kullanıcı, verinin unutulma süresi içinde dönmemişse hesap numarasını, kullanıcı adını vs. tamamen bloklansın ve bir daha kullanılamasın. Bu kadar basit. “O zaman bir sürü ölü hesap, kullanıcı adı vs olur.” safsatasını geçelim. Çünkü ciddiye almayacağım.

Son olarak Almanya’dan bir örnek verelim. İki kişi birlikte ünlü birini öldürüyor ve mahkemeye çıkartılıp yargılandıktan sonra suçlu bulunup hapse gönderiliyor. Ceza süreleri tamamlanıp hapisten çıktıktan sonra Wikipedia‘da öldürdükleri ünlü kişinin sayfasına girdiklerinde “tarafından öldürüldü” şeklinde kendi isimlerini de görüyorlar. Wikipedia’yı “Biz hapiste cezamızı çektik, topluma olan borcumuzu ödedik ve bu kazanın unutulmasını istiyoruz.” diyerek isimlerinin kaldırılması için dava ediyorlar. Peki, Tarih, unutulma hakkı için bu iki kişiyi silebilir mi? Geçmişe bu nedenle müdahale edilmeli mi? Orwell’den gelsin; “geçmişi kontrol eden geleceği kontrol eder.” Tüm bunlar bir hikaye değil, yaşanmış ve yaşanmakta olan durumlar.

Sonuçta, unutulma hakkı çok detaylı ve detaylandıkça da zorlaşan bir yapıya sahip. Bunun üzerine ne kadar çok çalışma yapılırsa bizim için o kadar iyi olacak, o kadar çok farklı fikir üretilecek ve değerlendirilecek ve bu çalışmalar herkes için yararlı olacaktır.

Tagged , , , , , , , , , , , , , , , , , , , , ,