Tag Archives: yacy

YaCy – P2P Arama Motorunuz

Twitter‘ın erişime engellemesi ile ilgili mesajım için buraya tıklayabilirsiniz.

YaCy, p2p mantığı üzerine kurulu ücretsiz, açık kaynak, özgür bir arama motoru yazılımdır. Genel olarak Java dili ile yazılmıştır ve platform bağımsızdır. Yani, illa GNU/Linux kullanmanıza gerek yoktur. P2P ağlarda olduğu gibi YaCy’de de birçok istemci vardır. Her YaCy-istemcisi birbirlerinden bağımsız olarak bir Internet sayfasını tarayabilir, analiz edebilir, sonuçları YaCY-istemcilerinin erişebilmesi için ortak bir indeks veritabanında tutup paylaşabilir. Tüm YaCy-istemcileri eşittir ve arama portallarında (Google, Bing, Yandex vs) merkezi bir sunucusu yoktur. Kısaca, YaCy için merkezsizleştirilmiş arama motoru da denilmektedir.

Merkezsizleştirilmiş arama motoru nedir?

merkezsizleştirme

Özel mülkiyet bir arama motoru düşünün. Bir merkezi ve yönetici(leri) mevcuttur. Bu arama motorunun sizin kontrolünüz dışında olan özel sunucularının bir merkezi vardır, sizin aramalarınızla ilgili bilgi toplar, sonuçları çeşitli gerekçelerle (telif vs.) sansürleyebilir, sizin arama sorgularınız ve eriştiğiniz sonuçlarla ilgili profil oluşturup bunu reklam için kullanabilir veya satabilir. YaCy’de ise bu durum tamamen farklıdır. Öncelikle, böyle bir merkeze bağlı değilsiniz. Kendi arama motorunuzun hem yöneticisi hem de kullanıcısısınız. Diğer yandan arama portallarındaki gibi içeriğiniz sansürlenmez, yöneticiler tarafından gözetlenmez ve herhangi bir reklam yoktur. Kendi içeriğinizi oluşturabilir, istediğiniz siteleri indeksleyebilir ve 600’den fazla istemcinin düzenli olarak katkı yaptığı 1.4 milyardan fazla dökümana sorunsuz, herhangi bir engele ve kısıtlamaya takılmadan erişebilirsiniz.

Kurulum ve ilk çalıştırma

İlk önce sistemimize Java kurmalıyız. Ardından YaCy’i kurabilir ve çalıştırabiliriz. Windows kullanıcıları buradan MacOS kullanıcıları da buradan indirip kurabilirler. Paket yöneticiniz ve dağıtımınız ne olduğunu bilmediğim için Debian türevi dağıtımlara uygun bir Java kurulumu gösterdim. Diğer kurulum ve çalıştırma dağıtım bağımsızdır.

kame - $ apt-get install openjdk-7-jre
kame ~ $ wget -c http://yacy.net/release/yacy_v1.68_20140209_9000.tar.gz
kame ~ $ tar xzv yacy_v1.68_20140209_9000.tar.gz && mv yacy ~/.yacy
kame ~ $ cd ~/.yacy && sh startYACY.sh

Temel ayarlar

Tarayıcınızdan localhost:8090‘a girdiğinizde YacY’nin durum (status) ana sayfasını göreceksiniz. Şimdi ilk olarak yanındaki Basic Configuration‘a tıklayarak bizi ilgilendiren birkaç ayarı yapalım. 1. seçenek dil seçeneği. Buradan size uygun olan bir dili seçebilirsiniz. 2. seçenek kullanım amacı. Üç seçenek mevcut. İlki, topluluk tabanlı arama. YaCy-istemcileri üzerinden arama yaparsınız. İkincisi, YaCy’i diğer YaCy-istemcilerinden bağımsız olarak yapılandırır, kendi indekslediğiniz ve robotlarla taradığınız siteler üzerinde arama yapılacak şekilde yapılandırabilirsiniz. Üçüncüsü, kendi ağınız ve siteniz için bir arama moturu oluşturabilirsiniz. 3. seçenek kullanıcı adınız. Herhangi bir şey yazabilirsiniz. 4. seçenek ise diğer YaCy istemcilerinin de erişebilmesi için port ayarı. Çok şart değil, port erişilebilir olursa hem performans açısından hem de diğer istemcilere indeks katkısı açısından biraz daha iyi olacaktır. Ayarlarınız tamamsa Set Configuration diyerek kaydedebilirsiniz. iptables’da port açmak isterseniz:

kame ~ $ iptables -I INPUT -p tcp --dport 8090 --syn -j ACCEPT
kame ~ $ iptables -I INPUT -p udp --dport 8090 -j ACCEPT

Bir arama gerçekleştirelim

yacy_arama

Görüldüğü üzere çok kapsamlı bir sonuç (daha devam ediyordu fakat ben yarıda kestim) elde edemedik. Bunun temel nedeni çok taze bir konuyu aratmak istememdi, ayrıca daha çok robotlarla taramaya ve indekslemeye ihtiyacı olduğundandır. Diğer bir deyişle, YaCy’nin birçok istemciye ihtiyacı vardır. Fakat, bu arama YaCy’nin yetersiz olduğu fikri oluşturmasın. Şu ana kadar beni pek üzdüğünü söyleyemem. Sorgularıma verdiği yanıtlar hep yeterliydi.

Arama motoruma herkes erişebilir mi?

Evet. Herkes erişebilir. Bu ister YaCy istemcisi olsun, ister Internette arama moturunuzun açık 2014-03-21-170646_1920x1080_scrotadresini bilen olsun veya diğer arama portallarının örümcekleri olsun erişebilirler. Status sayfasında, sağ köşede bir kutu göreceksiniz. Address kısmına baktığınızda sunucu (host), açık adres (public adress) ve YaCy adreslerinizi (yacy address) görebilirsiniz. Açık adresinize herkes (örümcekler dahil ve adresinizi dağıttığınız sürece) erişebilir. Bu yüzden Account ayarlarında Acces only with qualified account seçeneği ile bir yönetici (admin) şifresi belirleyebilirsiniz. Local robots.txt bölümünden de örümceklerin neye erişemeyeceklerini de ayarlayabilirsiniz.

2014-03-21-170630_1920x1080_scrotBen de indeks yapmak istiyorum

Sol menüde Index Production alt menüsünü göreceksiniz. Crawler/Harvester‘a tıkladığınızda açılan sayfa üzerinden indekslemek istediğiniz sayfanın linkini girerek bu işlemi gerçekleştirebilirsiniz.

Son sözler

YaCy çok detaylı ve kapsamlı bir arama motorudur. Burada çok temel birkaç şeyden bahsettim. Genel anlamda dört temel özelliği vardır. Tarama (crawl), indeksleme, arama ve yönetici arayüzü ve veritabanı. Merkezi bir sunucusu yoktur, sansür, reklam, gözetim gibi durumlardan arındırılmıştır. Yüksek derecede gizlilik sağlar. Çeşitli sıkıntılara sahip olsa da kesinlikle desteklenmelidir. Son olarak, YaCy ne kadar çok istemci sahibi olursa o kadar çok etkin, güvenli, sansürsüz, reklamsız bir arama motoru olacaktır.

Tagged , , , , , , , , , , , , , , , , , , , , , , ,

Budala Son Kullanıcı

Sevgili dostum Ahmet, blogunda [İnternet Notları] İnternetin de Özel Hayatın da Sonu Gelmedi başlıklı bir yazı yayımlamış. Ahmet’in de affına sığınarak yazıya ufak tefek eleştiriler getirmek isterim.

Bazı insanların tabiri caizse “budala” olduğunu herkes söyleyebilir. Aslında buna tüm insanlar budaladır desek daha doğru olacak. Ben de budalayım, sen de budalasın, o da budala. Bunu şöyle örneklendireyim, bir şeye küçüktür diyorsanız; onun başka bir şeyden küçük ama aynı şekilde başka bir şeyden de büyük olduğunu söylüyorsunuz. Bir şeyi ne kadar iyi bildiğinizi düşünürseniz düşünün, muhakkak bir hata yapıyorsunuz. Burada sıkıntı kullanıcının herhangi bir servisin hesabına sahip olup her şeyi ondan beklemesinden de kaynaklanıyor. Bir diğer deyişle de sermaye olsun, bazı geliştiriciler olsun, bazı yazarlar olsun, bazı “budalalar” olsun, sürekli bir ürünün kolay kullanıma sahip olması için o kadar çok yaygara kopardılar ki ve insanları o kadar çok rahata alıştırdılar ki, artık sermaye, güvenlik konusunda da kullanıcıların “budala” olmasını beklemeye başladı. Kimse kullanıcıda çok basit bir bilgi düzeyinden başka bir şey istemiyor. O yüzden reklamlar “tek tıkla işinizi halledin” noktasına kaydı. Bu ayrıca bir pazarlama yöntemidir. Sermaye, hedef pazarını seçerken öncelikle bu rahata alıştırılmış ve kendini üreticiye emanet etmiş kullanıcıları seçiyor ve onlardan da istediği gibi faydalanabiliyor. Kim ne derse desin, bu rahatlık, kolay kullanım herkesin işine geliyor.

Hepimiz budala olduğumuza göre bunun sorumlusu bir anlamda da bizleriz. Steam, GNU/Linux’a gelirken -ben de dahil- heyecanlanmış ve desteklemiştim (alın size bir hata). Peşinden DRM’yi oyunlarla sokmaya başladı, Stallman’ın deyimiyle bir sürü kapalı kaynak kodu açık kaynak bir sisteme soktu. Şimdi birileri çıkıp “o zaman kullanma kardeşim, seçim senin” diyebilir. Seçim benim ama bu sadece benim bilgisayar kullanmayı bilip bilmememle alakalı değil. Başında düştüğüm bir hata var. Karşımda art niyetli bir sermaye var. Onu da geçtim bunu destekleyen bir sürü ileri düzey kullanıcı da var. Bu, ayrıca, sermayenin kullanıcılara zoraki bir dayatmasıdır.

Duckduckgo mu Duckduckdon’t mu? Startpage daha bir alternatif olarak gözüküyor ve Avrupa lokasyonlu. Amerikan mahkemelerinin kapsama alanı dışında. Madem bir seçim yapacağız, o zaman neden Startpage değil? Başka biri de neden YaCy değil diyebilir. Tor, %100 güvenli değil. Bazı Exit nodlarından veri örnekleri toplayan servisler var. Bu dediklerim güvensizler anlamına gelmesin. Peki bunların sizin iyi bir bilgisayar kullanıcısı olmanız veya olmamanızla ilişkisi var mı? Sermaye, istediği gibi hareket ettiği sürece, siz sadece belirli bir oranda kendinizi koruyabilirsiniz. Yazının hedef kitlesi budala son kullanıcının “gizliliğimiz elden gidiyor vay vay” diye ağlaması ve insanları ümitsizliğe itmesi olabilir. Unutulmamalı ki teknoloji de tek bir tarafa hizmet etmiyor. Siz ne kadar gizlilik ve güvenlik üzerine kendinizi geliştirirseniz geliştirin, sermaye de onu bertaraf etmek için elinden geleni yapacaktır.

Tagged , , , , , , ,