Slik fjerner du et nettsted eller dets fragmenter fra Google-indeksen

Ifølge indeksering konseptet vedtatt av Google, sto for fullstendighet, objektivitet informasjon og det er i samsvar med søket i utstedelse av resultatene. Hvis indeksen faller nettsted med ulovlig innhold, eller ressurs for spam, vil sidene av dette området ikke merkes i det felles database søkemotor. For oss er det viktig å lære hvordan du fjerner et nettsted fra utstedelse av resultatene av søket serveren.

Varianter av null indeksering Google

Når søket robot - et program for å samle inn informasjon om nye ressurser - vil skanne området side for side, da, når under Google politiske krav til analyse, det vil bli indeksert. Men vi viser deg også hvordan du fjerner nettstedet ditt eller fragmenter for søkemotorer gjennom en robots.txt - indeksere og søke på samme tid stopp.

Å ekskludere fra utstedelse av ressursen som en helhet, i rotmappen på serveren der nettstedet er plassert, skaper en viss tekstområde - sa robots.txt. Denne sonen er behandlet med søkemotorer og handle i henhold til instruksjonene lese.

Husk at søkemotoren Google indekserer siden, selv om en bruker har tilgang til å se utestengt. Når nettleseren svarer med 401 eller 403 "Access er ugyldig", gjelder det bare for besøkende, snarere enn programmer som samler for denne søkemotoren.

For å forstå hvordan du fjerner området fra søkemotorindeksering, må en tekst peker inn følgende linjer:

User-agent: Googlebot

Disallow: /

Dette indikerer til crawler å indeksere forbud mot alt innhold på nettstedet. Her er hvordan du fjerner et nettsted Google, slik at sistnevnte ikke cache ressursen i listen over funnet.

Utførelser av skanning for forskjellige protokoller

Hvis du trenger å liste opp individuelle kommunikasjonsstandarder, som du ønsker å bruke spesielle regler for indeksering av Google, for eksempel, separat for hyper protokoller http / https, er det også nødvendig å registrere i robots.txt på følgende måte (eksempel).

(Http://yourserver.com/robots.txt) - et domenenavn på nettstedet ditt (noen)

User-agent: * - en søkemotor

Tillat: / - tillate full indeksregulering

Hvordan fjerne et nettsted fra problemet helt til https-protokollen

(Https://yourserver.com/robots.txt):

User-agent: *

Disallow: / totalforbud mot indeksering

Fremskyndet fjerning URL- ressurs adresser fra Google SERPs

Hvis du ikke ønsker å vente på re-indeksering, og området du ønsker å skjule liker, anbefaler jeg å bruke tjenesten http://services.google.com/urlconsole/controller snart som mulig. Pre robots.txt må plasseres i rotkatalogen på nettstedet serveren. Det bør være foreskrevet riktige instruksjonene.

Hvis pekeren eller annen grunn ikke kan redigeres i rotkatalogen, skaper det nok i mappen med mål som du ønsker å skjule fra søkemotorene. Når du gjør dette, og henviser til tjenesten automatisk fjerne hyper adresser, vil Google ikke skanne mapper som stavet ut en feil i robots.txt.

Perioden med denne usynlighet er satt i 3 måneder. Etter denne perioden vil katalogen trukket fra problemet, igjen behandles av Google server.

H ow for å fjerne et område for å skanne delvis

Når et søk bot leser innholdet i robots.txt, er at enkelte beslutninger fattes på grunnlag av innholdet. La oss si at du ønsker å utelukke fra å vise hele katalogen kalt Anatom. Det er nok til å foreskrive slike forskrifter:

User-agent: Googlebot

Disallow: / Anatom

Eller, for eksempel, du vil ikke indeksere alle bildetyper Gif. For å gjøre dette, legg til følgende liste:

User-agent: Googlebot

Forby: /*.gif$

Her er et annet eksempel. La dem bli slettet fra parsing informasjon om dynamisk genererte sider, mens du legger til indeksoppføring Type:

User-agent: Googlebot

Disallow: / *?

Det er omtrent, og staver ut reglene for søkemotorer. En annen ting er at det er mye mer praktisk å bare bruke denne META tag. Og webmastere bruker ofte nettopp en slik standard som regulerer driften av søkemotorer. Men vi vil diskutere dette i fremtidige artikler.