현재 내 블로그의 실제 사람의 방문은 매우 적다.
그럼에도 불구하고 조회수는 상당히 많이 측정되고 있었는데, 크롤링 봇이 만들어내는 트래픽으로 추정된다.
이를 확인하기 위해 크롤러 방문을 수집하는 모델을 새로 만들어보게 되었고, 그 샘플이 바로 위의 이미지다.
구글이나 야후같은 해외 검색엔진에서 사용하는 크롤러면 몰라도, semrushbot, bidswitchbot이나 ahrefsbot같은 경우에는 들어본 적도 없는 생소한 크롤러다.
이런 것들을 모아서 그냥 서버 단위에서 차단해버릴까 고민 중이다.