Web Crawling Nedir?
Eylül 15, 2020

Web Crawling Nedir?

ile domain broker

Web Crawling nedir? Web tarayıcıları örümcekler, robotlar ve botlar da dahil olmak üzere birçok isme sahiptir ve bu açıklayıcı isimler yaptıklarını özetler. Arama motorları adına sayfaları dizine almak için World Wide Web’de gezinirler.

Web Crawling

Arama motorları, İnternet’te hangi web sitelerinin bulunduğunu sihirli bir şekilde bilmez. Programların, anahtar kelimeler ve kelime öbekleri için doğru sayfaları veya insanların yararlı bir sayfa bulmak için kullandıkları kelimeleri yayınlayabilmesi için önce bunları taraması ve dizine eklemesi gerekir.

Yeni bir mağazada alışveriş yapmak gibi düşünün. Bu mağazada nerede ne olduğunu bilmiyorsunuz vce keşfetmeniz gerekiyor. İhtiyacınız olanı seçmeden önce koridorlardan aşağı inmeniz ve ürünlere bakmanız gerekir.

Aynı şekilde, arama motorları gelecekteki aramalarda kullanmak üzere bu sayfa verilerini saklamadan önce sayfalar için İnternet’te gezinmek üzere yardımcıları olarak arama robotlarını kullanır. Bu benzetme, tarayıcıların bağlantıdan sayfalara nasıl seyahat ettikleri için de geçerlidir.

Öndeki kutuyu kaldırıncaya kadar, market rafında bir kutu yığınının arkasında ne olduğunu göremezsiniz. Arama motoru robotlarının bir sonraki sayfayı ve bir sonraki bağlantıyı bulabilmeleri için bir başlangıç ​​yerine, yani bir bağlantıya da ihtiyaçları vardır.

Bir Arama Robotu Nasıl Çalışır?

Arama robotları sayfalardaki bağlantılar arasında dolaşarak siteleri tarar veya ziyaret eder. Bununla birlikte, sayfalarınızı başkalarına bağlayan yeni bir web siteniz varsa, URL’nizi Google Search Console’a göndererek arama motorlarından sitenizi taramasını isteyebilirsiniz.

Arama robotları yeni bir ülkede kaşif olarak hareket eder.

Her zaman sayfalarda keşfedilebilir bağlantılar ararlar ve özelliklerini anladıktan sonra haritalarına not verirler. Ancak web sitesi robotları yalnızca web sitelerindeki genel sayfaları gözden geçirebilir ve tarayamadıkları özel sayfalar “karanlık web” olarak etiketlenir.

Arama robotları sayfadayken kopya ve meta etiketler gibi sayfa hakkında bilgi toplar. Ardından, robotlar sayfaları dizinde saklar, böylece Google’ın algoritması bunları daha sonra getirmek ve kullanıcılara göstermek üzere sıralayabilir. SEO, burada devreye girmektedir. Arama motoru optimizasyonu sayesinde sitenin içerdiği kelimeler arama motorlarının siteyi anahtar kelimelerle arandığında kolaylıkla bulabilmesini kolaylaştırmak için düzenlenebilir.

Bazı Arama Robotu Örnekleri Nelerdir?

Popüler arama motorlarının hepsinde bir arama robotu vardır ve büyük olanların belirli odaklara sahip birden çok robotu vardır.

Örneğin, Google’ın mobil ve masaüstü taramasını kapsayan ana robotu Googlebot vardır. Ancak Google için Googlebot Images, Googlebot Videos, Googlebot News ve AdsBot gibi birkaç ek bot daha bulunmaktadır.

Karşılaşabileceğiniz Diğer Arama Robotları

  1. DuckDuckGo için DuckDuckBot
  2. Yandex için Yandex Bot
  3. Baidu için Baiduspider
  4. Yahoo! İçin Slurp
  5. Bing ayrıca Bingbot adında standart bir arama robotuna ve MSNBot-Media ve BingPreview gibi daha spesifik botlara sahiptir. Ana tarayıcısı, eskiden standart tarama için bir arka plana sahip olan ve şimdi sadece küçük tarama görevlerini kapsayan MSNBot’du.