Gusto mo bang i-optimize ang iyong WordPress robots.txt file? Hindi sigurado kung bakit at kung paano ang robots.txt file ay mahalaga para sa iyong SEO? Nakuha namin ang sakop mo. Sa artikulong ito, ipapakita namin sa iyo kung paano i-optimize ang iyong WordPress robots.txt para sa SEO at tulungan kang maunawaan ang kahalagahan ng robots.txt na file.
Kamakailan lamang, tinanong kami ng isang user kung kailangan nila ng robots.txt file at ano ang kahalagahan nito? Ang file robots.txt ng iyong site ay may mahalagang papel sa pangkalahatang pagganap ng iyong site. Ito ay karaniwang nagbibigay-daan sa iyo upang makipag-usap sa mga search engine at ipaalam sa kanila kung aling mga bahagi ng iyong site ang dapat nilang i-index.
Kailangan ko ba ng isang Robots.txt File?
Ang kawalan ng isang robots.txt file ay hindi titigil sa mga search engine mula sa pag-crawl at pag-index sa iyong website. Gayunpaman, lubos itong inirerekomenda na lumikha ka ng isa. Kung nais mong isumite ang XML sitemap ng iyong site sa mga search engine, pagkatapos ito ay kung saan ang mga search engine ay tumingin para sa iyong XML sitemap maliban kung iyong tinukoy ito sa Google Webmaster Tools.
Lubos naming inirerekomenda na kung wala kang robots.txt na file sa iyong site, pagkatapos ay agad kang lumikha ng isa.
Nasaan ang file na Robots.txt? Paano Gumawa ng isang Robots.txt file?
Ang file na Robots.txt ay karaniwang naninirahan sa root folder ng iyong site. Kakailanganin mong kumonekta sa iyong site gamit ang isang FTP client o sa pamamagitan ng paggamit ng cPanel file manager upang tingnan ito.
Ito ay tulad ng anumang karaniwang file ng teksto, at maaari mo itong buksan sa isang plain text editor tulad ng Notepad.
Kung wala kang isang file na robots.txt sa direktoryo ng root ng iyong site, maaari kang laging lumikha ng isa. Ang kailangan mo lamang gawin ay lumikha ng isang bagong file ng teksto sa iyong computer at i-save ito bilang robots.txt. Susunod, i-upload lang ito sa root folder ng iyong site.
Paano Magagamit ang file na Robots.txt?
Ang format para sa robots.txt file ay talagang medyo simple. Ang unang linya ay kadalasang nagngangalang isang user agent. Ang user agent ay talagang ang pangalan ng search bot na sinusubukan mong makipag-usap. Halimbawa, ang Googlebot o Bingbot. Maaari mong gamitin ang asterisk * upang turuan ang lahat ng mga bot.
Ang sumusunod na linya ay sumusunod sa Payagan o Huwag Itigil ang mga tagubilin para sa mga search engine, kaya alam nila kung anong mga bahagi ang nais mong i-index, at kung alin ang hindi mo nais na ma-index.
Tingnan ang isang sample na robots.txt na file:
User-Agent: * Payagan ang: / wp-content / upload / Huwag pahintulutan: / wp-content / plugins / Huwag pahintulutan: /readme.html
Sa sample na robots.txt file na ito para sa WordPress, inatasan namin ang lahat ng bot upang i-index ang aming direktoryo ng pag-upload ng larawan.
Sa susunod na dalawang linya pinawalang-bisa namin ang mga ito upang i-index ang aming direktoryo ng WordPress plugin at ang readme.html file.
Pag-optimize ng iyong Robots.txt File para sa SEO
Sa mga alituntunin para sa mga webmaster, pinapayuhan ng Google ang mga webmaster na huwag gumamit ng robots.txt file upang itago ang mababang kalidad ng nilalaman. Kung nag-iisip ka tungkol sa paggamit ng file na robots.txt upang pigilan ang Google na i-index ang iyong kategorya, petsa, at iba pang mga pahina ng archive, kung gayon maaaring hindi ito isang matalino na pagpipilian.
Tandaan, ang layunin ng robots.txt ay upang turuan ang mga bot kung ano ang gagawin sa nilalaman na kanilang hinahabol sa iyong site. Hindi ito huminto sa mga bot mula sa pag-crawl sa iyong website.
May mga iba pang mga plugin ng WordPress na nagbibigay-daan sa iyo upang magdagdag ng mga meta tag tulad ng nofollow at noindex sa iyong mga pahina ng archive. Pinapayagan din ng WordPress SEO plugin na gawin mo ito. Hindi namin sinasabing dapat mong deindexed ang iyong mga pahina ng archive, ngunit kung nais mong gawin ito, pagkatapos na ang tamang paraan ng paggawa nito.
Hindi mo kailangang idagdag ang iyong pahina ng WordPress login, direktoryo ng admin, o pahina ng pagpaparehistro sa robots.txt dahil ang mga pahina ng pag-login at pagpaparehistro ay may idinagdag na noindex tag bilang meta tag ng WordPress.
Inirerekomenda mong huwag payagan ang readme.html file sa iyong robots.txt na file. Ang readme file na ito ay maaaring gamitin ng isang tao na sinusubukan upang malaman kung aling bersyon ng WordPress na iyong ginagamit. Kung ito ay isang indibidwal, maaari nilang madaling ma-access ang file sa pamamagitan lamang ng pag-browse dito.
Sa kabilang banda kung ang isang tao ay nagpapatakbo ng isang malisyosong query upang mahanap ang mga site ng WordPress gamit ang isang tukoy na bersyon, maaaring maprotektahan ka ng tag ng hindi babagong tag na ito mula sa mga pag-atake sa masa na iyon.
Maaari mo ring i-disallow ang iyong WordPress plugin direktoryo. Patatagin nito ang seguridad ng iyong site kung may naghahanap ng isang partikular na mahina na plugin upang magamit para sa isang mass attack.
Pagdaragdag ng Iyong Sitemap sa XML sa File ng Robots.txt
Kung gumagamit ka ng WordPress SEO plugin ng Yoast o ilang iba pang plugin upang bumuo ng iyong sitemap ng XML, pagkatapos ay subukan ng iyong plugin upang awtomatikong idagdag ang iyong mga kaugnay na linya ng sitemap sa robots.txt file.
Gayunpaman kung nabigo ito, ipapakita sa iyo ng iyong plugin ang link sa iyong Mga XML na Sitemap na maaari mong idagdag sa iyong robots.txt file nang manu-mano tulad nito:
Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Ano ang Dapat Tulad ng isang Perpekto Robots.txt File?
Matapat, maraming mga sikat na blog ang gumagamit ng mga simpleng robots.txt file. Iba’t iba ang mga nilalaman nito, depende sa mga pangangailangan ng partikular na site:
User-agent: * Huwag pahintulutan: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Sinasabi lamang ng robots.txt na file na ito ang lahat ng bot upang i-index ang lahat ng nilalaman at nagbibigay ng mga link sa XML sitemap ng site.
lugar
User-Agent: * Payagan: /? Display = lapad Payagan ang: / wp-content / upload / Huwag pahintulutan: / wp-content / plugins / Huwag pahintulutan: /readme.html Huwag pahintulutan: / sumangguni / Sitemap: http://www.site.com/post-sitemap.xml Sitemap: http://www.site.com/page-sitemap.xml Sitemap: http://www.site.com/deals-sitemap.xml Sitemap: http://www.site.com/hosting-sitemap.xml