웹 접속 로그 추출 후 로그 분석해 트래픽 사용 여부를 확인하는 방법 1가지

웹 접속 로그 추출 후 로그를 분석해 트래픽 사용 여부를 확인하는 방법을 오늘 익혀 기록형으로 남기려 합니다.

상황

서버 내 특정 사이트에 방문자도 별로 없고 로봇 접속도 별로 안보이는데 트래픽이 설정한 값 이상으로 초과되었다고 나와 로그 분석을 통한 트래픽 사용 여부를 확인해 보기로 했습니다. 다양한 방법이 가능 하겠지만 제가 오늘 배운 방법은 개인적인 용도이니 참고만 해주세요.

쉘에서 로그 분석 명령어

grep 도메인명 /var/log/httpd/access_log > log.txt

쉘에서 위와 같이 명령어를 주면 웹 접속 로그를 추출 할 수 있고 추출한 데이터로 어떤 접속이 트래픽 초과의 원인이였는지 분석 할 수 있습니다. 무조건 정답을 찿을 수 있는것은 아니지만 그래도 추측은 할 수 있습니다. 결론적으로 오늘 제가 찾은 것은 아마존 로봇이 원이였습니다.

위와 같이 명령을 주고 ftp로 접속해 위 경로에 가면 log.txt 파일이 있고 다운 받은 후 파일을 열어 봅니다. 아래 이미지처럼 정리가 안된 상태 입니다. 난감하죠 ㅠㅠ.

그래도 방법은 있습니다. 제가 사용하는 방법은 엑셀을 이용하는 것입니다. 분석해 보면 대부분 검색로봇 때문입니다. 국내 전용 사이트는 국내용 검색로봇만 들어오면 얼마나 좋겠습니까? 하지만 그게 맘같이 되나요? ㅋㅋ

로그분석을 위해 다운받은 웹 접속 로그 파일 샘플

엑셀로 로그 자료 다듬기

엑셀을 이용하면 아래와 같이 보기 좋게 정리가 되고 로그 분석하기 편합니다. 아래와 같은 방법으로 정리 할 수 있습니다.

데어터 > 텍스트 나누기 > 구분기호로 분리됨 선택 > 다음 > 탭, 공백 체크 > 다음 > 일반 선택 > 마침
robot

원인은 아래와 같이 아마존 봇이였습니다. 그래서 아마존 봇을 robots.txt 파일에 추가해서 차단 했습니다.

User-agent: Amazonbot
Disallow: /
amazonbot

단축주소: https://zeze.kr/eBud

Leave a Comment

함께보면 유용한 글


마우스오버 툴팁 나타내기 1가지 방법

텍스트나 이미지에 마우스를 가져다 가면 추가 설명처럼 툴팁 박스가 보이게 하는 소스(마우스오버 툴팁스) 입니다. 마우스오버 툴팁 나타내기 소스코드 인터넷에서 또는 챗GPT를 통해 필요한 소스를 기록형으로 남기고 있습니다. 다른 글은 여기서 확인 가능 합니다. Tooltips 관련 ... Read more

Cloudflare(클라우드플레어)에 도메인 추가하는 방법 1가지

클라우드플레어에 도메인 추가 하는 방법에 대해 알아보려 합니다. 왜 이 작업이 필요 했을까요? 저 같은 경우는 사이트에 이상한 접속이 보여서 추가하기 시작 했습니다. 서버 디비 로그에 1.5기가 쌓여서 쉐어호스팅 업체의 경고 메일을 받았었고, 최근에 추가 ... Read more

폼 제출 버튼 비밀번호 적용하기 1가지 방법

폼 제출 버튼 비밀번호 적용하는 1가지 방법을 자바스크립트로 구현했습니다. updated: 24시간 내 쿠키 적용해 비밀번호를 1번만 입력하면 됩니다. 필요한 경우 아래와 같이 입력 폼이 있을 때 관리자만 입력을 할 수 있게 하고 싶을 경우가 있습니다. ... Read more

국내 사이트를 위한 대표적인 검색로봇 종류와 robots.txt 작성법 1가지

글로벌 사이트가 아닌 이상 대상은 내국인을 상대로한 웹마케팅을 기획해야 합니다. 지난 주말 작성을 어떻게 하는게 좋은지에 대한 고민도 하고 검색도 해봤습니다. 내가 내린 나만의 결론을 이야기하려 구글 검색이나 구글 SEO에 관심이 있으신 분들에게 조금이라도 도움이 ... Read more

MySQL 문자열 대체 사이트 내용 수정을 쉽게 하는 SQL 쿼리문 1개

ChatGPT가 코딩을 할때 많은 도움이되다보니 생각만 했던 것들을 이젠 실행으로 옮기는 일들이 많네요. 그래서 오늘도 MySQL 문자열 대체 사이트 내용 수정을 쉽게 하는 SQL 쿼리문을 만들어 달라고 요청했고 만족할 만한 결과물을 얻어서 그 과정을 기록형으로 ... Read more