Pikaopas Robots.txt-tiedoston kirjoittamiseen

Ainoa tapa saada yhteyttä hakukoneen hämähäkkiin tai tela, on tiedoston kautta robots.txt. Tai parempi. Kun lähetät verkkosivustoehdotuksesi Googlelle, se kohtaa yksinkertaisesti valtavan määrän tietoa.

Kuinka voit käyttää niin suurta oppikirjaa, että sinusta tuntuu, ettet koskaan löydä kaikkea tarvitsemaasi? Sinä neuvottelet vihje. No: robots.txt-tiedosto on verkkosivustosi hakemisto.

Tämä on helposti täytettävä asiakirja, joka kertoo hakukoneen indeksointirobotille, mitä etsiä. Lyhyesti sanottuna: autat häntä ymmärtämään, mistä sivustosi on tehty, jotta algoritmi voi antaa sinulle tekemäsi työn kannalta sopivan sijoituksen.

Voiko kukaan kirjoittaa robots.txt-tiedoston?

Lyhyt vastaus on kyllä. Rehellinen vastaus on ei. Vaikka robots.txt-tiedoston kielioppi on äärimmäisen yksinkertainen ja sen kokoonpano koostuu muutamasta rivistä, on parempi luottaa ammattitaitoisen verkkovastaavan huolenpitoon, joka tietää, minne kätensä laittaa. Loppujen lopuksi pieni virhe riittää vaarantamaan verkkosivustosi sijainnin, ja siksi kaikki SEO-toiminnot keskeytetään ennen edes aloittamista.

Ennen kuin aloitat, tiedä yksi asia: kuka tahansa voi tarkastella minkä tahansa sivuston robots.txt-tiedostoa kirjoittamalla /robots.txt-tiedoston verkkotunnuksen perään. Voit jopa ottaa yhteyttä Googleen!

Voit kirjoittaa tällaisen tiedoston lataamatta erityisiä ohjelmistoja. Itse asiassa riittää, kun käytät muistilehteäsi ja tallennat, arvaa mitä, .txt-muodossa.

Kirjoitetaan yhdessä robots.txt: otsikko

Aloitetaan alusta, kuten on aina loogista tehdä. Tiedoston avaus tai pikemminkin otsikko on kokonaan omistettu hämähäkin nimelle, jota edeltää pieni sanamuoto, joka on aina sama. Oletetaan, että haluat saada Googlen huomion. Ensimmäinen rivi on siis:

Käyttäjäagentti: Googlebot

Tämä hyvin lyhyt merkkijono kertoo Googlelle, että kaikki seuraava kiinnostaa varmasti sitä. Jos haluat, että kaikki tämän tyyppistä tiedostoa lukevat indeksointirobotit voivat tarkastella asiakirjaa, korvaa Googlebot yksinkertaisella *, tähtimerkki.

Nyt kun olet ilmoittanut, mikä hämähäkki, eli KUKA, sinun on ilmoitettava myös MITÄ hänen tulee lukea.

Jokainen koodirivi vastaa määritelmän mukaan koneen toimintaa. On sanomattakin selvää, että jokainen robots.txt-tiedoston komento vastaa sitä, mitä koneen ei pitäisi tehdä. Ja tämä on avain, jonka avulla voit kirjoittaa todella tehokkaan. Puhumme DISALLOW-komennosta.

Mikä on DISALLOW-komento?

Il hylkää komento antaa sinun perustella poissulkemalla. Toisin sanoen, kun sanotaan, että on ensin sanottava, mitä ei saa tehdä – no, te perustelet poissulkemalla. Kiellon lisäksi on myös sallittu, joka on poikkeus estosta.

Jos haluat kirjoittaa hyvän robots-tiedoston, sinun on ajateltava toisin päin, joten sinun on kerrottava Googlelle, mitä sen ei pitäisi lukea. Jos kirjoitat:

Disallow:

Hämähäkki lukee koko sivustosi ilman jarruja.

Jos lisäät "Disallow:" jälkeen vinoviivan (täten Disallow: /), sivustoa ei syötetä hakukoneisiin, piste.

Disallow: /hakemistot/

Korvaa sanahakemisto kansiolla, jonka hämähäkkinäkymästä haluat estää. Voit tehdä saman tietyn tiedoston kanssa.

Disallow: /omatiedosto.html

Huomiota välimerkit ja kirjaimet, isot tai pienet kirjaimet. Tämäntyyppiset tiedostot arvostavat tällaisia ​​"pikkuasioita", mutta niillä on suuri ero.

Miksi estäisit Googlea lukemasta suurta osaa sivustostasi? Kun kirjoitat tämäntyyppistä tiedostoa, on tärkeää ymmärtää, mitkä tiedostot eivät saa näkyä hakukoneessa, mutta niitä ei saa käyttää väärin. Muista kuitenkin, että kuka tahansa, joka tietää kyseisen tiedoston tarkan osoitteen, voi käyttää sitä joka tapauksessa.

Mikä on ALLOW-komento?

Voit lisätä tiedostoon poikkeuksen komennolla SALLIA. Kielioppi on identtinen, mutta se luo joitakin poikkeuksia DISALLOW:iin, mikä mahdollistaa mielenkiintoisten tutkimusmarginaalien avaamisen hämähäkille.

Pieni esimerkkitiedosto:

Käyttäjäagentti: Googlebot

Disallow: /images/

Salli: /images/holidays.jpg

Periaatteessa kerroimme Googlebotille, ettei se harkitse kuvakansiota lukuun ottamatta tiettyä valokuvaa sen sisällä, nimittäin sitä, joka on otettu lomasta.

Ja siinä se, pojat. Kirjoitimme ensimmäisen robots.txt-tiedostomme. Toki se, mitä aiomme tehdä todelliselle sivustolle, saattaa olla hieman erilainen, mutta ei paljon. Jos olet epävarma, pyydä aina neuvoja erikoistuneelta verkkovastaavalta. Suosittelemme, että yrität kirjoittaa sen ensin itse ja lähettää se hänelle tarkistettavaksi, jotta hallitset alkeet ja ymmärrät paremmin, kuinka sivustosi toimii.

Mikä on korrelaatio robots.txt-tiedoston ja sivustokarttojen välillä?

Sivustokartta on erityisten lisäosien luoma tiedosto, joka sisältää kaikki sivustolla olevat linkit. Kun hämähäkki tulee sivustolle, se lukee ensin robotit ja sitten indeksoi sivuston. Jos robotti löytää indeksoinnin aikana sivustokartan osoitteen, koko prosessi on paljon helpompi.

Lisää yllä olevaan koodiin seuraava:

Sivukartta: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

Tiivistettynä

Kaikki robottitiedostot ovat samoja. Tämä tarkoittaa, että Googlelle kirjoitettu Robots-tiedosto toimii hyvin myös Bingissä ja noudattaa samaa kielioppia.

Hyvin järjestetty robots.txt-tiedosto mahdollistaa sen säästää indeksointiaikaa. Älä lannistu: tämä on ensimmäinen askel kohti menestystä!