Miten sanoa ei yli-innokkaalle robobotille?

Viime päivinä olen päässyt opettelemaan paljon enemmän nörttijuttuja kuin kertaakaan sitten yläasteen. (Silloin mulla oli parhaan ystäväni kanssa Geocities-nettisivut, joilla oli kuvat muun muassa meidän polkupyöristä ja lompakoista, ja opettelin html-kielen alkeita. 2002 in memoriam.)

Blogini kaatui viime viikolla. Ei sen takia, että joku olisi kaapannut sivuston (onneksi), eikä siksi, että se olisi yhtäkkiä muuttunut Suomen luetuimmaksi blogiksi (höh). Syynä oli se, että internetin botit ovat yhtäkkiä alkaneet rakastaa tätä sivustoa niin paljon, että sivunäyttöjä alkoi yhtäkkiä kertyä kymmeniä tuhansia päivässä.

Kiva, botit, että olette kiinnostuneita tekemisistäni, mutta vähän vähempikin riittäisi.

freelancerin_kotitoimisto2

Taisi olla viime viikon perjantai, kun sähköpostini lauloi hoosiannaa: sivustosi on alhaalla ja ollut jo tunnin pois käytöstä! Katastrofi! (Oikeasti varmaan kukaan muu kuin minä ja ne botit eivät ehtineet edes asiaa huomata.)

Otin sitten paniikissa yhteyttä webhotellin tarjoajaani, Hostingpalveluun. Sain sieltä muutamassa minuutissa vastauksen. Ekassa viestissä tosin tarjottiin mahdollisuutta hankkia lisää kaistanleveyttä. Kun kuitenkin ihmettelin, voiko ihan tavallinen kävijäliikenne oikeasti olla noin suurta, selvisikin, että asialla ovat isolta osin botit.

Siitä eteenpäin sain tosi rivakkaa ja asianmukaista palvelua – ja lisää kaistanleveyttä ilmaiseksi. Saitti rupesi taas pelaamaan.

Kuva: Matan Segev / Pexels / CC0

Sitten piti alkaa sen oikean robobotin metsästykseen.

Koitin googlata ohjeita tähän, mutta ne olivat aika vähissä. Yhdessä muutaman vuoden takaisessa blogikirjoituksessa kerrottiin, että kannattaa mennä Google Analyticsiin, ja katsoa sieltä, mistä IP-osoitteesta liikennettä tulee. Mutta eihän Google Analytics seuraa bottiliikennettä, eikä siellä ollut mitään hyödyllistä tietoa.

WordPressiin asennettava WP Statistics -lisäosa seuraa kuitenkin myös botteja. Pian selvisikin, että sivustooni rakastuneen yli-innokkaan botin nimi on Linguee.

Koska Linguee on niin sanottu hyvä botti, jonka pitäisi kunnioittaa sitä, kun sanot ei, sen omalla sivustolla on ohjeet sen vierailujen rajoittamiseen ja blokkaamiseen kokonaan.

1. Ensiksi yritin rajoittaa botin lähestymisyrityksiä robots.txt-tiedoston avulla. Se on siis tiedosto, johon annetaan ohjeita boteille: saat käydä kaikilla sivuillani tai sitten et. Ja sellainen olisi ehkä kannattanut olla olemassa jo ennen tätä episodia, mutta kröhöm, parempi vähän myöhään vissiin.

Robots.txt-tiedosto tehdään sivuston juurihakemistoon (public_html), joka esimerkiksi minun tapauksessani löytyy Hostingpalvelun hallintapaneelista (jossa en normaalisti kauheasti käy mitään ihmettelemässä). Niin sanottujen hyvien bottien pitäisi ainakin kunnioittaa robots.txt-tiedostoa.

2. Mutta Linguee ei näyttänyt niin tekevän, joten kokeilin seuraavaksi lähettää heille sähköpostia pyytääkseni, että he poistaisivat sivustoni tiedoistaan. No, ei toiminut ainakaan lyhyellä aikavälillä, ja minulla oli kiire.

3. Niinpä päätin lopulta blokata Lingueen IP-osoitteet. Ne on kaikki listattu tänne. Minun blogiini liikennettä oli oikeastaan tullut vain yhdestä ja samasta IP-osoitteesta, mutta päätin silti blokata varoiksi kaikki.

Blokkaaminenkin onnistuu webhotellin hallintapaneelissa. Hostingpalvelulla ainakin sen voi tehdä valmiilla työkalulla, johon syötetään vain kyseinen IP-osoite, tai sitten koodilla, mikä on ehkä nopeampi tapa, kun blokattavia osoitteita on monta.

freelancerin_kotitoimisto4

Nyt blogi toimii taas, ja tarinan hyvä puoli on, että olen oppinut taas yrityksen ja erehdyksen kautta uutta. Ja tämän postauksenhan kirjoitin taas lähinnä siksi, jos joku muu aloitteleva nörtti pähkäilee samojen ongelmien kanssa.

Loppuun vielä pari ylistyksen sanaa Hostingpalvelulle, josta sain moniin viesteihini nopean vastauksen. Lisäksi blogilleni lisättiin kaistanleveyttä parikin kertaa viikon aikana pyytämättä, jotta se saatiin taas toimimaan. Suurkiitos entisille kotikulmille Helsingin Pitäjänmäkeen!

(Tämä ei ole maksettu mainos vaan minä olen maksanut Hostingpalvelulle heidän palveluistaan jo kohta kolme vuotta – ja aion maksaa tyytyväisenä asiakkaana tulevaisuudessakin.)

Tekijä: Anu

Olen Alankomaissa asuva vapaa kirjoittaja ja psykologian opiskelija. Blogini keskittyy ihmettelemään hollantilaista arkea ja opiskelijaelämää kolmekymppisen näkökulmasta. Lisäksi kirjoitan paljon arkeani piristävistä asioista, kuten kirjoista, matkailusta ja ravintoloista. Tervetuloa seuraamaan blogiani!

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *