Blogger에서 사용자 지정 Robots.txt 파일을 추가하는 방법은 무엇입니까?

게시 됨: 2020-11-10

이전 게시물 중 하나에서 블로거를위한 사용자 지정 로봇 헤더 태그 설정에 대해 논의했습니다.

그 게시물을 읽었다면 검색 순위에서 그 중요성을 알고 있기를 바랍니다.

오늘 저는 매우 유용하고 Robots.txt라는 블로그 용어를 알고 있어야합니다.

블로거에서는 Custom Robots.txt로 알려져 있습니다. 즉, 이제 원하는대로이 파일을 사용자 지정할 수 있습니다.

오늘의 자습서에서는이 용어에 대해 자세히 논의하고 그 사용법과 이점에 대해 알게 될 것입니다. 블로거에서 사용자 지정 robots.txt 파일을 추가하는 방법도 알려 드리겠습니다.

이제 가이드를 시작하겠습니다.

더…

Robots.txt 란 무엇입니까?

Robots.txt를 간단한 코드 몇 줄이 포함 된 텍스트 파일입니다.

웹 크롤러에게 검색 결과에서 블로그를 색인화하고 크롤링하는 방법을 지시하는 웹 사이트 또는 블로그의 서버에 저장됩니다.

즉, 블로그 레이블 페이지, 데모 페이지 또는 색인 생성이 중요하지 않은 다른 페이지와 같은 검색 엔진에서 색인이 생성되지 않도록 웹 크롤러에서 블로그의 모든 웹 페이지를 제한 할 수 있습니다.

검색 크롤러는 웹 페이지를 크롤링하기 전에 robots.txt 파일을 스캔한다는 점을 항상 기억하십시오.

블로거에서 호스팅되는 각 블로그에는 다음과 같은 기본 robots.txt 파일이 있습니다.

User-agent : Mediapartners-Google

금지 :

사용자 에이전트: *

금지 : / search

허용하다: /

사이트 맵 : http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

설명

이 코드는 세 부분으로 나뉩니다. 블로그 스팟 블로그에 사용자 정의 robots.txt 파일을 추가하는 방법을 배우고 나서 각각을 먼저 살펴 보겠습니다.

User-agent : Mediapartners-Google

이 코드는 블로그에 더 나은 광고를 게재하는 데 도움이되는 Google Adsense 로봇 용입니다. 블로그에서 Google Adsense를 사용하고 있거나 그대로 두지 마십시오.

사용자 에이전트: *

별표 (*)로 표시된 모든 로봇에 적용됩니다. 기본 설정에서 블로그의 라벨 링크는 검색 크롤러에 의해 색인 생성되도록 제한됩니다. 즉, 웹 크롤러는 아래 코드로 인해 라벨 페이지 링크의 색인을 생성하지 않습니다.

금지 : / search

즉, 도메인 이름 바로 뒤에 키워드 검색이 있는 링크는 무시됩니다. SEO라는 레이블 페이지의 링크 인 아래 예를 참조하십시오.

http://www.bloggertipstricks.com/ search / label / SEO

그리고 위 코드에서 Disallow : / search 를 제거하면 크롤러는 전체 블로그에 액세스하여 모든 콘텐츠와 웹 페이지의 색인을 생성하고 크롤링합니다.

여기서 허용 : / 는 웹 크롤러가 블로그 홈페이지를 크롤링하고 색인을 생성 할 수 있음을 의미하는 홈페이지를 나타냅니다.

특정 게시물 금지

이제 인덱싱에서 특정 게시물을 제외하려는 경우 코드에서 아래 줄을 추가 할 수 있습니다.

금지 : /yyyy/mm/post-url.html

여기서 yyyymm 는 각각 게시물의 게시 연도와 월을 나타냅니다. 예를 들어 2013 년 3 월에 게시물을 게시 한 경우 아래 형식을 사용해야합니다.

금지 : /2013/03/post-url.html

이 작업을 쉽게 수행하려면 게시물 URL을 복사하고 처음부터 블로그 이름을 제거하면됩니다.

특정 페이지 금지

특정 페이지를 허용하지 않으려면 위와 동일한 방법을 사용할 수 있습니다. 페이지 URL을 복사하고 다음과 같은 블로그 주소를 제거하기 만하면됩니다.

금지 : /p/page-url.html

사이트 맵 : http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

이 코드는 블로그의 사이트 맵을 나타냅니다. 여기에 사이트 맵 링크를 추가하면 블로그의 크롤링 속도를 최적화하는 것입니다.

웹 크롤러가 robots.txt 파일을 스캔 할 때마다 게시 된 게시물의 모든 링크가있는 사이트 맵 경로를 찾습니다.

웹 크롤러는 모든 게시물을 쉽게 크롤링 할 수 있습니다.

따라서 웹 크롤러가 하나의 블로그 게시물을 무시하지 않고 모든 블로그 게시물을 크롤링 할 가능성이 더 높습니다.

참고 :이 사이트 맵은 최근 25 개의 게시물에 대한 정보 만 웹 크롤러에게 알려줍니다. 사이트 맵의 링크 수를 늘리려면 기본 사이트 맵을 아래로 바꾸십시오. 처음 500 개의 최근 게시물에서 작동합니다.

사이트 맵 : http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

블로그에 게시 된 게시물이 500 개가 넘으면 아래와 같이 두 개의 사이트 맵을 사용할 수 있습니다.

사이트 맵 : http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500Sitemap : http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max- 결과 = 1000

Blogger에 사용자 지정 Robots.txt 추가

이제이 자습서의 주요 부분은 블로거에서 사용자 지정 robots.txt를 추가하는 방법입니다. 그래서 아래는 그것을 추가하는 단계입니다.

  1. 블로거 블로그로 이동하십시오.
  2. 설정 >> 검색 기본 설정 ›› 크롤러 및 색인 생성 ›› 사용자 지정 robots.txt ›› 편집 ›› 예
  3. 이제 상자에 robots.txt 파일 코드를 붙여 넣으십시오.
  4. 변경 사항 저장 버튼을 클릭합니다.
  5. 완료되었습니다!

blogger custom robots txt
  • 저장

Robots.txt 파일을 확인하는 방법?

웹 브라우저의 블로그 URL 끝에 /robots.txt 를 추가하여 블로그에서이 파일을 확인할 수 있습니다. 예를 들면 :

http://www.yourblogurl.blogspot.com/ robots.txt

robots.txt 파일 URL을 방문하면 맞춤 robots.txt 파일에서 사용중인 전체 코드를 볼 수 있습니다.

아래 이미지를 참조하십시오.

robots txt
  • 저장

마지막 단어!

이것은 blogger에서 사용자 정의 robots.txt 파일을 추가하는 방법대한 오늘의 완전한 튜토리얼입니다.

이 튜토리얼을 최대한 간단하고 유익하게 만들기 위해 최선을 다했습니다. 그러나 여전히 의심이나 질문이 있으시면 아래 댓글 섹션에서 저에게 자유롭게 물어보십시오.

알지 못하는 사이에 맞춤 robots.txt 설정에 코드를 입력하지 마세요. 질문을 해결해달라고 요청하시면됩니다. 모든 것을 자세히 말씀 드리겠습니다.

이 튜토리얼을 읽어 주셔서 감사합니다. 마음에 드 셨다면 소셜 미디어 프로필에이 게시물을 공유하여 제 말을 전파 할 수 있도록 응원 해주세요. 행복한 블로깅!