Semalt jep këshilla se si të merren me bots, merimangat dhe zvarritësit

Përveç krijimit të URL-ve miqësore të motorit të kërkimit , skedari .htaccess lejon që webmasterët të bllokojnë bote specifike nga qasja në faqen e tyre të internetit. Një mënyrë për të bllokuar këto robotë është përmes skedarit robots.txt. Sidoqoftë, Ross Barber, Menaxheri i Suksesit të Klientëve të Semalt , deklaron se ai ka parë disa zvarritës që injorojnë këtë kërkesë. Një nga mënyrat më të mira është të përdorni skedarin .htaccess për t'i ndaluar ata të indeksojnë përmbajtjen tuaj.

Cilat janë këto bots?

Ata janë një lloj softueri i përdorur nga motorët e kërkimit për të fshirë përmbajtje të reja nga interneti për qëllime indeksimi.

Ata kryejnë detyrat e mëposhtme:

  • Vizitoni faqet në internet me të cilat keni lidhur
  • Kontrolloni kodin tuaj HTML për gabime
  • Ata ruajnë atë që faqet në internet po lidhni dhe shikoni se cilat faqe të internetit lidhen me përmbajtjen tuaj
  • Ata indeksojnë përmbajtjen tuaj

Sidoqoftë, disa bote janë me qëllim të keq dhe kërkojnë në faqen tuaj për adresat e emailit dhe format që zakonisht përdoren për t'ju dërguar mesazhe ose spam të padëshiruar. Të tjerët madje kërkojnë boshllëqe të sigurisë në kodin tuaj.

Isfarë është e nevojshme për të bllokuar crawlers në internet?

Para se të përdorni skedarin .htaccess, duhet të kontrolloni gjërat e mëposhtme:

1. Faqja juaj duhet të funksionojë në një server Apache. Në ditët e sotme, madje edhe ato kompani të mbajtura në internet gjysmë të mirë në punën e tyre, ju japin mundësinë e hyrjes në skedarin e kërkuar.

2. Ju duhet të keni hyrje në ju që jeni regjistrat e serverëve të papërpunuar të faqes tuaj, në mënyrë që të gjeni se çfarë bote kanë qenë duke vizituar faqet tuaja në internet.

Vini re se nuk ka asnjë mënyrë që ju të jeni në gjendje të bllokoni të gjitha bots të dëmshme nëse nuk i bllokoni të gjitha, madje edhe ato që i konsideroni të dobishme. Bote të reja vijnë çdo ditë, dhe ato më të vjetra modifikohen. Mënyra më efikase është të siguroni kodin tuaj dhe ta keni të vështirë që bots të ju spam.

Identifikimi i bots

Bots mund të identifikohen ose nga adresa IP ose nga "Struktura e tyre e agjentit", të cilën ata i dërgojnë në kokat HTTP. Për shembull, Google përdor "Googlebot".

Ju mund të keni nevojë për këtë listë me 302 bots nëse keni emrin e botëve që dëshironi ta mbani larg duke përdorur .htaccess

Një mënyrë tjetër është që të shkarkoni të gjithë skedarët e logave nga serveri dhe t'i hapni ato duke përdorur një redaktues teksti. Vendndodhja e tyre në server mund të ndryshojë në varësi të konfigurimit të serverit tuaj. Nëse nuk mund t'i gjeni, kërkoni ndihmë nga hosti juaj në internet.

Nëse e dini se cila faqe është vizituar, ose ora e vizitës, është më lehtë të vini me një bot të padëshiruar. Ju mund të kërkoni në skedarin log me këto parametra.

Pasi të keni vërejtur se çfarë bote duhet të bllokoni; atëherë mund t'i përfshini ato në skedarin .htaccess. Ju lutemi vini re se bllokimi i botëve nuk është i mjaftueshëm për ta ndaluar atë. Mund të kthehet me një IP ose emër të ri.

Si t’i bllokoni ato

Shkarkoni një kopje të skedarit .htaccess. Bëni kopje rezervë nëse kërkohet.

Metoda 1: bllokimi nga IP

Ky copë kod bllokon botin duke përdorur adresën IP 197.0.0.1

Urdhëroni të mohoni, të lejoni

Refuzoni nga 197.0.0.1

Rreshti i parë do të thotë që serveri do të bllokojë të gjitha kërkesat që përputhen me modelet që keni specifikuar dhe të lejojë të gjithë të tjerët.

Rreshti i dytë i thotë serverit të lëshojë një faqe 403: të ndaluar

Metoda 2: Bllokimi nga agjentët e përdoruesit

Mënyra më e lehtë është të përdorni motorin e rishkrimit të Apache

Rishkruaj Ngjarje Ndezur

RishkruajCond% {HTTP_USER_AGENT} BotUserAgent

Rishkruaj Rregulloren. - [F, L]

Rreshti i parë siguron që moduli i rishkrimit të jetë i aktivizuar. Rreshti i dytë është kushti të cilit i zbatohet rregulli. "F" në rreshtin 4 i thotë serverit të kthejë një 403: të ndaluar ndërsa "L" do të thotë se ky është rregulli i fundit.

Atëherë do të ngarkoni skedarin .htaccess në serverin tuaj dhe do të prishni atë ekzistues. Me kohën, do t'ju duhet të azhurnoni IP-në e botit. Në rast se bëni një gabim, thjesht ngarkoni rezervën që keni bërë.

mass gmail