국내 사이트를 위한 대표적인 검색로봇 종류와 robots.txt 작성법 1가지

글로벌 사이트가 아닌 이상 대상은 내국인을 상대로한 웹마케팅을 기획해야 합니다. 지난 주말 작성을 어떻게 하는게 좋은지에 대한 고민도 하고 검색도 해봤습니다. 내가 내린 나만의 결론을 이야기하려 구글 검색이나 구글 SEO에 관심이 있으신 분들에게 조금이라도 도움이 되었으면 합니다. 물론 검색 로봇이 사이트에 방문을 잘 할 수 있게 사이트맵 설정이나 구글 서치콘솔 등록도 사전에 준비되어야 합니다.

검색로봇 robots.txt 작성으로 구글 SEO 상승효과를 기대하자

검색로봇이 뭔지? robots.txt 가 무엇인지에 대한 설명은 생략하겠습니다. 필요하신 분들은 다음 포스팅을 참고 하시면 됩니다.

우리가 구글 검색결과에 관심이 많으니 구글에서 이야기하는 것 위주로 참고하는 것이 좋을 것입니다.

국내 사이트를 위한 대표적인 검색로봇?

User-agent: Googlebot
User-agent: Yeti
User-agent : DAUM
User-agent: Bingbot
User-agent: AhrefsBot
User-agent: SemrushBot

운영자에따라 달라질 수 있지만 구글, 네이버, 다음, 빙 정도는 허용하지 않을까?란 생각을 해봅니다. 그리고 나머지 2개도 필요 한 분들은 추가 하겠죠.

국내 사이트용 robots.txt 샘플

내가 사용하는 국내 쇼핑몰을 위한 샘플 입니다.

User-agent: Googlebot
User-agent: Yeti
User-agent : DAUM
User-agent: Bingbot
User-agent: AhrefsBot
User-agent: SemrushBot
Disallow: /admin/

User-agent: *
Disallow: /

1) 모든 검색로봇의 크롤링을 막습니다.
2) 구글, 네이버, 다음, 빙, ahrefsbot, semrushbot만 admin 폴더를 제외하고 크롤링을 허용.
위 두 조건을 동시에 만족하는 샘플 입니다.

# Prevent all search engines from accessing any part of the site
User-agent: *
Disallow: /

# Allow Google and Bing robots to access all parts of the site except /admin/ folder
User-agent: Googlebot
User-agent: Bingbot
Disallow: /admin/

단축주소: https://zeze.kr/5EWb

1 thought on “국내 사이트를 위한 대표적인 검색로봇 종류와 robots.txt 작성법 1가지”

Leave a Comment

함께보면 유용한 글


마우스오버 툴팁 나타내기 1가지 방법

텍스트나 이미지에 마우스를 가져다 가면 추가 설명처럼 툴팁 박스가 보이게 하는 소스(마우스오버 툴팁스) 입니다. 마우스오버 툴팁 나타내기 소스코드 인터넷에서 또는 챗GPT를 통해 필요한 소스를 기록형으로 남기고 있습니다. 다른 글은 여기서 확인 가능 합니다. Tooltips 관련 ... Read more

Cloudflare(클라우드플레어)에 도메인 추가하는 방법 1가지

클라우드플레어에 도메인 추가 하는 방법에 대해 알아보려 합니다. 왜 이 작업이 필요 했을까요? 저 같은 경우는 사이트에 이상한 접속이 보여서 추가하기 시작 했습니다. 서버 디비 로그에 1.5기가 쌓여서 쉐어호스팅 업체의 경고 메일을 받았었고, 최근에 추가 ... Read more

폼 제출 버튼 비밀번호 적용하기 1가지 방법

폼 제출 버튼 비밀번호 적용하는 1가지 방법을 자바스크립트로 구현했습니다. updated: 24시간 내 쿠키 적용해 비밀번호를 1번만 입력하면 됩니다. 필요한 경우 아래와 같이 입력 폼이 있을 때 관리자만 입력을 할 수 있게 하고 싶을 경우가 있습니다. ... Read more

MySQL 문자열 대체 사이트 내용 수정을 쉽게 하는 SQL 쿼리문 1개

ChatGPT가 코딩을 할때 많은 도움이되다보니 생각만 했던 것들을 이젠 실행으로 옮기는 일들이 많네요. 그래서 오늘도 MySQL 문자열 대체 사이트 내용 수정을 쉽게 하는 SQL 쿼리문을 만들어 달라고 요청했고 만족할 만한 결과물을 얻어서 그 과정을 기록형으로 ... Read more