Издөө системалары веб -баракчаларды сойлотуп жана индекстеген жөргөмүштөр же боттор деп аталган роботтор менен жабдылган. Эгерде сиздин сайтыңыз же баракчаңыз иштелип жатса же купуя мазмунду камтыса, анда боттордун сайтыңызды сойлоп, индекстешине бөгөт коюңуз. Бүтүндөй веб -сайттарды, барактарды жана шилтемелерди robots.txt файлдары менен бөгөөнү жана html тегдери менен белгилүү бир барактарды жана шилтемелерди бөгөөнү үйрөнүңүз. Белгилүү бир боттордун мазмунуңузга кирүүсүн кантип бөгөө керектигин билүү үчүн окуңуз.
Кадамдар
Метод 1дин 2: robots.txt файлдары менен издөө системаларын бөгөө
Кадам 1. robots.txt файлдарын түшүнүңүз
Robots.txt файлы - бул издөө системасынын жөргөмүштөрүнө сиздин сайтыңызга кирүүгө уруксат берилген нерселерди маалымдаган жөнөкөй же ASCII текст файлы. Robots.txt файлында тизмеленген файлдар жана папкалар издөө системасынын жөргөмүштөрү тарабынан сойлоп жана индекстелбеши мүмкүн. Сизге robots.txt файлы керек болушу мүмкүн, эгер:
- Сиз издөө системасынын жөргөмүштөрүнөн белгилүү бир мазмунду бөгөттөгүңүз келет.
- Сиз жандуу сайтты иштеп жатасыз жана издөө системасынын жөргөмүштөрү сойлоп, сайтты индекстөөгө даяр эмессиз
- Сиз кадыр -барктуу ботторго кирүүнү чектөөнү каалайсыз.
Кадам 2. Түзүү жана сактоо жана robots.txt файл
Файлды түзүү үчүн жөнөкөй текст редакторун же код редакторун иштетиңиз. Файлды төмөнкүдөй сактаңыз: robots.txt. Файлдын аты кичине тамга менен жазылышы керек.
- "С" дегенди унутпаңыз.
- Файлды сактап жатканда, "'.txt" кеңейтүүсүн тандаңыз. Эгерде сиз Word колдонуп жатсаңыз, "Жөнөкөй текст" опциясын тандаңыз.
3-кадам. Толук тыюу салынган robots.txt файлын жазыңыз
Ар бир кадыр-барктуу издөө жөргөмүшүнүн сайтты "толук тыюу салуу" robots.txt менен сойлоп жана индекстешине бөгөт коюу мүмкүн. Текст файлыңызга төмөнкү саптарды жазыңыз:
Колдонуучу-агент: * Тыюу сал: /
Кадам 4. Шарттуу түрдө уруксат берген robots.txt файлын жазыңыз
Бардык ботторду бөгөөнүн ордуна, сайтыңыздын белгилүү жерлеринен белгилүү жөргөмүштөрдү бөгөөнү карап көрүңүз. Жалпы шарттуу-уруксат берүүчү буйруктарга төмөнкүлөр кирет:
- Белгилүү бир ботту бөгөттөө: жанындагы жылдызчаларды алмаштыруу Колдонуучу-агент менен googlebot, googlebot-кабар, googlebot-сүрөт, bingbot, же teoma.
-
Каталогду жана анын мазмунун бөгөттөө:
Колдонуучу-агент: * тыюу салуу: /sample-directory /
-
Веб баракты бөгөттөө:
Колдонуучу-агент: * Тыюу сал: /private_file.html
-
Сүрөттү бөгөттөө:
Колдонуучу-агент: googlebot-image тыюу салуу: /images_mypicture.jpg
-
Бардык сүрөттөрдү бөгөттөө:
Колдонуучу-агент: googlebot-image тыюу салуу: /
-
Белгилүү бир файл форматын бөгөттөө:
Колдонуучу-агент: * Тыюу сал: /p*.gif$
Кадам 5. Ботторду сайтыңызды индекстөөгө жана сойлоп чыгууга үндөңүз
Көптөгөн адамдар тосуп алгысы келет, издөө системасынын жөргөмүштөрү, анткени алар бүткүл сайтын индекстештирүүнү каалашат. Муну ишке ашыруу үчүн сизде үч вариант бар. Биринчиден, сиз robots.txt файлын түзүүдөн баш тарта аласыз, качан робот robots.txt файлын таппаса, ал сиздин сайтыңызды сойлото жана индекстей берет. Экинчиден, бош robots.txt файлын түзсөңүз болот-робот robots.txt файлын табат, анын бош экенин моюнга алат жана сайтыңызды сойлоп индекстөөнү улантат. Акырында, сиз robots.txt файлына толук уруксат бере аласыз. Кодду колдонуңуз:
Колдонуучу-агент: * Тыюу салуу:
Кадам 6. txt файлын домениңиздин тамырына сактаңыз
Сиз robots.txt файлын жазгандан кийин, өзгөртүүлөрдү сактаңыз. Файлды сайтыңыздын түп каталогуна жүктөңүз. Мисалы, эгер сиздин домен болсоңуз www.yourdomain.com, robots.txt файлын жайгаштырыңыз www.yourdomain.com/robots.txt.
Метод 2 2: мета тегдер менен издөө системаларын бөгөө
Кадам 1. HTML роботторунун мета тегдерин түшүнүңүз
Роботтордун мета теги программисттерге боттордун параметрлерин же издөө системасынын жөргөмүштөрүн коюуга мүмкүнчүлүк берет. Бул тегдер ботторду бүтүндөй сайтты же сайттын айрым бөлүктөрүн индекстөө жана сойлотуудан бөгөт коюу үчүн колдонулат. Сиз ошондой эле белгилүү бир издөө жөргөмүшүнүн мазмунуңузду индекстештирүүсүнө бөгөт коюу үчүн бул тэгдерди колдоно аласыз. Бул тегдер HTML файлыңыздын башында пайда болот.
Бул ыкма көбүнчө веб -сайттын түп каталогуна кире албаган программисттер тарабынан колдонулат
Кадам 2. Ботторду бир барактан бөгөттөө
Баардык ботторго баракчаны индекстөөнү же барактын шилтемелерин ээрчитип барууга тыюу салуу мүмкүн. Бул тег көбүнчө жандуу сайт иштелип жатканда колдонулат. Сайт бүткөндөн кийин, бул тегди алып салуу сунушталат. Эгер тегди алып салбасаңыз, баракчаңыз индекстелбейт же издөө системалары аркылуу изделбейт.
- Сиз ботторду баракчаны индекстөөнү жана шилтемелердин бирин ээрчүүнү бөгөттөй аласыз:
- Сиз бардык ботторду баракты индекстөөгө бөгөт коё аласыз:
- Сиз бардык ботторду баракчанын шилтемелерине кирүүсүнө бөгөт коё аласыз:
Step 3. Ботторго баракты индекстөөгө уруксат бериңиз, бирок анын шилтемелерин ээрчибеңиз
Эгер боттордун баракты индекстешине уруксат берсеңиз, баракча индекстелет; эгер сиз жөргөмүштөрдүн шилтемелерди ээрчишине жол бербесеңиз, анда бул барактын башка баракчаларга шилтеме жолу бузулат. Төмөнкү кодду башыңызга киргизиңиз:
Кадам 4. Издөө системасынын жөргөмүштөрү шилтемелерди ээрчип, бирок баракты индекстебесин
Эгер сиз боттордун шилтемелерди ээрчүүсүнө уруксат берсеңиз, бул белгилүү бир барактан башка барактарга шилтеме жолу сыпайы бойдон калат; эгер сиз аларды баракты индекстөөнү чектесеңиз, сиздин веб баракчаңыз индексте көрүнбөйт. Төмөнкү кодду башыңызга киргизиңиз:
Кадам 5. Бир чыгуучу шилтемени бөгөттөө
Баракка бир шилтемени жашыруу үчүн, кыстарыңыз rel шилтеме тегинин ичинде тег. Сиз бөгөттөгүңүз келген конкреттүү бетке алып баруучу башка барактардагы шилтемелерди бөгөө үчүн бул тегди колдонууну кааласаңыз болот.
Бөгөттөлгөн баракка шилтемени кыстарыңыз
Кадам 6. Белгилүү бир издөө системасынын жөргөмүшүн бөгөттөө
Веб -баракчаңыздагы бардык ботторду бөгөттөөнүн ордуна, бир боттун баракты сойлоп, индекстешине жол бербешиңиз мүмкүн. Бул үчүн мета тегдин ичиндеги "роботту" белгилүү бир боттун атына алмаштырыңыз. Мисалдар төмөнкүлөрдү камтыйт: googlebot, googlebot-кабар, googlebot-сүрөт, bingbot, жана teoma.
7 -кадам. Ботторду баракчаңызды сойлоп, индекстөөгө үндөңүз
Эгер сиз баракчаңыздын индекстелишине жана анын шилтемелеринин аткарылышына кепилдик бергиңиз келсе, анда сиз кийинки уруксатты киргизе аласыз мета "робот" башыңызга белгилеңиз. Төмөнкү кодду колдонуңуз:
