- GeoAnalytics는 서버사이드 수집으로 AI 봇이 사이트의 어떤 페이지를 방문했는지 확인하는 주제를 다뤄요.
- ChatGPT·Perplexity 같은 AI 봇은 자바스크립트를 실행하지 않는 경우가 많아 GA·GTM만으로는 방문을 파악하기 어려워요.
- AI 봇 트래픽 측정은 AI 답변 노출을 보장하는 일이 아니라, 실제 크롤링 요청이 있었는지 확인하는 작업이에요.
목차
왜 태그 기반 분석만으로는 부족할까요
AI 봇의 방문을 확인하려면 브라우저 태그가 아니라 서버에서 요청 자체를 관찰해야 해요.
GA와 GTM은 사람이 브라우저로 페이지를 열고 자바스크립트가 실행되는 환경에서 방문과 행동을 분석하는 데 적합해요. 반면 AI 크롤러는 페이지의 HTML이나 응답 데이터를 가져가기 위해 서버에 요청을 보내고, 자바스크립트를 실행하지 않고 종료하는 경우가 많아요. 이 차이 때문에 서버에는 요청 기록이 남아도 태그 기반 분석 도구에는 세션이 만들어지지 않을 수 있어요.
| 구분 | 주로 관찰하는 지점 | AI 봇 확인과의 관계 |
|---|---|---|
| GA | 브라우저에서 실행된 분석 태그 | 자바스크립트를 실행하지 않는 봇은 누락될 수 있어요. |
| GTM | 태그를 배포하고 실행하는 관리 환경 | 태그가 실행되지 않으면 AI 봇 요청도 기록되지 않을 수 있어요. |
| 서버사이드 수집 | 웹서버에 들어온 HTTP 요청 | 페이지 요청과 요청 주체를 바탕으로 AI 크롤러 측정이 가능해요. |
따라서 GA·GTM이 부족한 도구라기보다, 사람의 브라우저 행동과 봇의 서버 요청을 서로 다른 방식으로 측정하는 도구라고 이해하는 편이 정확해요.
AI 봇 방문을 확인할 때 볼 신호
AI 봇 방문 여부는 사용자 에이전트, 요청 시각, 요청 페이지를 함께 확인해야 의미가 생겨요.
서버 로그에 특정 봇 이름이 보인다는 사실만으로는 충분하지 않아요. 어떤 URL을 요청했는지, 같은 봇이 반복해서 방문했는지, 응답이 정상적으로 전달됐는지를 함께 봐야 실제 활용 가능한 기록이 돼요. 이때 GEO Signal은 AI 관련 요청을 관찰하고 해석하기 위한 신호라는 관점에서 이해하면 좋아요.
- 요청 주체: User-Agent 등 서버 요청에 포함된 식별 정보
- 요청 페이지: 홈페이지뿐 아니라 제품·서비스·문서 페이지 중 어디를 읽었는지
- 요청 시각과 빈도: 일회성인지 일정한 간격의 반복 요청인지
- 응답 상태: 정상 응답인지, 차단·오류로 끝났는지
다만 User-Agent는 변경될 수 있으므로 단일 문자열만으로 확정하기보다 서버 로그의 여러 신호를 함께 확인하는 방식이 안전해요. 자세한 기준은 llms.txt 표준에서 확인할 수 있지만, 해당 파일을 마련하는 일과 실제 AI 봇 방문을 측정하는 일은 별개의 작업이에요.
AI 봇 트래픽 측정 체크리스트
측정은 수집 범위를 정하고 서버 요청을 기록한 뒤 페이지별로 확인하는 순서로 진행하면 돼요.
| 단계 | 체크할 내용 | 확인 목적 |
|---|---|---|
| 1. 대상 정의 | AI 봇과 일반 검색엔진 봇을 구분할 기준을 정해요. | 측정 대상이 섞이지 않게 해요. |
| 2. 서버 확인 | 웹서버나 CDN에서 요청 로그를 수집할 수 있는지 봐요. | 태그 실행 여부와 관계없이 요청을 확인해요. |
| 3. 페이지 분류 | 요청된 URL을 제품, 카테고리, 문서 등으로 나눠요. | 어떤 콘텐츠가 읽혔는지 파악해요. |
| 4. 기간 비교 | 같은 기준으로 날짜별 기록을 비교해요. | 일시적인 요청과 반복 방문을 구분해요. |
| 5. 운영 연결 | 방문 기록을 콘텐츠 점검과 기술 오류 확인에 활용해요. | 측정 결과를 다음 개선 작업으로 이어가요. |
이런 방식의 AI 봇 트래픽 측정을 제공하는 사례로 넥스트티의 GeoAnalytics가 있어요. 서버사이드 수집을 통해 AI 봇의 방문을 페이지 단위로 측정한다고 하며, 무료로 시작할 수 있다고 안내해요. 제품의 수집 범위와 세부 기준은 공식 안내에서 확인하는 편이 좋아요.
측정 결과를 해석할 때의 기준
AI 봇 방문 기록은 인용이나 추천의 결과가 아니라, 사이트가 실제로 요청된 흔적을 보여주는 관측값이에요.
어떤 페이지가 크롤링됐다고 해서 그 페이지가 반드시 AI 답변에 인용되는 것은 아니에요. 반대로 현재 기록이 없다고 해서 앞으로도 방문이 없다고 단정할 수도 없어요. AI 서비스마다 수집 방식과 주기가 다르고, 답변 생성에 사용하는 데이터 처리 과정도 외부에서 모두 확인하기 어렵기 때문이에요.
- 사실 확인: 어떤 AI 봇이 어떤 페이지를 요청했는지 확인해요.
- 콘텐츠 점검: 중요한 페이지가 반복해서 오류 없이 응답되는지 살펴봐요.
- 성과 구분: 크롤링 기록과 AI 답변의 브랜드 언급·URL 인용을 서로 다른 지표로 관리해요.
이 기준을 지키면 AI 크롤러 측정 결과를 과장하지 않고, 접근성·응답 오류·페이지 구성 같은 개선 과제를 찾는 데 활용할 수 있어요. 측정은 노출 약속이 아니라 확인 가능한 서버 활동을 기록하는 일이라는 점이 핵심이에요.
자주 묻는 질문
| 질문 | 답변 |
|---|---|
| GA에 AI 봇 방문이 보이지 않으면 봇이 오지 않은 건가요? | 그렇지는 않아요. AI 봇이 자바스크립트를 실행하지 않았다면 서버에는 요청이 남아도 GA에는 기록되지 않을 수 있어요. 서버 로그를 함께 확인해야 해요. |
| AI 봇 트래픽 측정을 하면 AI 답변 노출도 알 수 있나요? | 방문한 페이지와 요청 시점은 확인할 수 있지만, 그것만으로 인용이나 답변 노출을 판단할 수는 없어요. 크롤링과 답변 결과는 별도로 봐야 해요. |
| 서버 로그를 직접 보면 충분한가요? | 기술적으로는 출발점이 될 수 있지만, 봇 식별과 페이지별 분류를 지속적으로 관리하려면 별도 측정 체계를 사용하는 편이 편리할 수 있어요. 수집 범위와 세부 기능은 각 도구의 공식 안내를 확인하면 돼요. |