1222222222222


...
 Делаем грамотно robots.txt.


Файл Robots.txt - размяшчаецца ў каранёвай тэчцы сайта (напрыклад, site.ru/robots.txt). Ён патрэбны выключна для правільнай індэксацыі сайта пошукавымі сістэмамі. Звычайнаму карыстачу ўсё адно, што там напісана. Робім пісьменна robots.txt Асноўныя магчымасці robots.txt: зачыняць ад індэксацыі старонкі (раздзелы сайта) ўказваць люстэрка сайта ўказваць host паказваць спасылку на xml-карту сайта Давайце для прыкладу створым файл robots.txt для Яндэкса: User-agent: Yandex Disallow: / cgi-bin Host: www.VASH-SITE.ru Sitemap: http://www.VASH-SITE.ru/sitemap.xml Калі б мы стваралі файл robots.txt для Google, то трэба было напісаць: User-agent: Googlebot Disallow: / cgi-bin Host: www.VASH-SITE.ru Sitemap: http://www.VASH-SITE.ru/sitemap.xml Каб ўлічыць ўсіх пошукавых робатаў, трэба прапісаць так: User-agent: * Disallow: / cgi-bin Host: www.VASH-SITE.ru # Тут можна напісаць каментар Sitemap: http://www.VASH-SITE.ru/sitemap.xml Цяпер растлумачу, што мы прапісалі вышэй. Disallow: / cgi-bin - кажа пра тое, што пошукавыя робаты не павінны індэксаваць ўсе змесціва тэчкі cgi-bin. Напрыклад, дакумент www.VASH-SITE.ru/cgi-bin/1.html або www.VASH-SITE.ru/cgi-bin/papka/1.html - не будуць праіндэксаваныя. Аднак, Google можа адыходзіць ад дадзенага правілы, паколькі ён успрымае гэта толькі як рэкамендацыю. Заўвага У процівагу дырэктыве Disallow ёсць дырэктыва Allow, яна наадварот дазваляе індэксаванне. Праўда яе актуальнасць практычна адсутнічаюць, таму што па змаўчанні ўвесь сайт і так даступны да индесации. Host: www.VASH-SITE.ru - указваецца галоўнае люстэрка Вашага сайта. Напрыклад, я не люблю прапісваць www і на ўсіх сваіх сайтах прапісваю host без www. Калі Вы напішыце некалькі host-аў, то выкарыстоўвацца будзе першы. См. Які варыянт выбраць: сайт з www або без www http://www.VASH-SITE.ru/sitemap.xml - указваецца карта сайта ў фармаце xml. Дадзены фармат пошукавыя сістэмы ўспрымаюць вельмі добра, таму ўладальнікам рухавічкоў варта выкарыстоўваць такую ​​карту сайта. Для ўладальнікаў статычных сайтаў прапісваць усё ў фармаце xml я не бачу сэнсу. См. Як стварыць карту сайта # - З'яўляецца прыкметай пачатку каментара. Распаўсюджваецца толькі на адзін радок. Выкарыстанне * ў robots.txt Па змаўчанні ў канцы кожнага правіла аўтаматычна дадаецца "*", аднак часам бывае важна канкрэтызаваць нешта. User-agent: Yandex Disallow: /php-script/*.php Disallow: / * lichnoe У дадзеным прыкладзе ўсе файлы, якія ўтрымліваюцца ў тэчцы (і падтэчку) / php-script і маюць пашырэння .php не будуць праіндэксаваныя. Усе тэчкі, якія маюць назву lichnoe, забароненыя да індэксацыі. Г.зн. папкі / articles / lichnoe, / 2011 / lichnoe, / lichnoe - будуць забароненыя да індэксацыі. Выкарыстанне $ у robots.txt User-agent: Yandex Disallow: / primer $ У дадзеным выпадку будзе забароненая індэксацыя / primer, але /primer.php - дазволены. Файл robots.txt з'яўляецца адкрытай інфармацыяй для кожнага. Любы карыстальнік можа паглядзець яго па адрасе сайта са сканчэннем robots.txt: site.ru/robots.txt

заработок в интернете | биржа etxt | плотность ключевых слов | оптимизация |
Делаем грамотно robots.txt
  24-08-2016, 09:24
Seo-day.ru - Питерский СЕОшник, Раскрутка сайта, Заработок на SEO, Деньги в интернете.
Как заработать? 66666666666666
Сцепление TRIALLI | Деловая газета ру новости экономики
...