가게 문 앞에 손님이 줄을 섰는데, 그중 절반은 물건을 사러 온 사람이 아니라 진열대를 사진으로 찍어 가는 사람이라면 어떨까요? 웹사이트 운영자들이 요즘 느끼는 고민이 조금 이와 비슷해요. 방문 기록은 늘어나는데, 그 방문이 사람인지, 검색엔진인지, AI 학습용 크롤러인지 구분하기가 점점 어려워지고 있거든요.
이런 고민 한가운데로 Cloudflare의 정책 변화 소식이 들어왔어요. Cloudflare가 2026년 9월 15일부터 새로 적용되는 기본 설정에서 검색 봇은 허용하되, 학습용 봇과 AI 에이전트 봇은 광고가 표시되는 페이지를 중심으로 차단하는 방향을 예고했어요. 보안 설정 한 줄의 변화처럼 보여도, 콘텐츠 노출과 수익 보호의 균형을 다시 생각하게 만드는 소식이에요.
검색 봇, 학습용 봇, AI 에이전트는 어떻게 다를까요?
세 봇 모두 웹페이지에 접근하지만 목적은 꽤 달라요. 이번 기본값 변화도 모든 봇을 한꺼번에 막는 게 아니라, 봇의 목적과 페이지 성격을 나눠 다루는 데 초점이 있어요.
| 구분 | 주요 목적 | 운영자에게 주는 영향 |
|---|---|---|
| 검색 봇 | 페이지 발견과 색인 | 검색 노출과 유입에 직접 영향 |
| 학습용 봇 | AI 모델 학습 데이터 수집 | 원문 유입 감소 우려 |
| AI 에이전트 | 사용자 대신 탐색·비교·작업 | 광고·전환 흐름 우회 가능 |
| 악성 봇 | 스크래핑·공격 | 보안·비용 부담 |
검색 봇은 검색 노출의 기본 통로라서 대부분의 사이트가 허용해요. 학습용 봇은 공개된 글과 이미지를 모아 AI 학습에 쓸 수 있는데, 사람처럼 광고를 보지 않으면서 서버 자원과 콘텐츠 가치를 쓴다는 문제가 제기돼 왔어요. AI 에이전트는 사용자의 요청에 따라 페이지를 탐색하고 비교하고, 때로는 양식 입력이나 예약을 돕는 자동화 시스템이에요. 편리하지만 운영자의 의도와 다르게 광고 노출 구조를 건너뛸 수 있어서 검색 봇과 같은 방식으로 다루기 어려워요.
왜 하필 광고 페이지가 중심일까요?
광고 페이지는 사람이 읽고 머무는 것을 전제로 설계돼요. 그런데 AI 봇은 광고를 인지하지도, 구매를 고민하지도 않아요. 대량으로 들어오면 수익에는 도움이 안 되면서 서버 자원만 쓰게 되죠. AI가 핵심만 뽑아 외부 답변으로 제공하면 사람은 원문을 방문하지 않을 수도 있고요. 이런 일이 쌓이면 검색 노출은 그대로인데 실제 페이지뷰와 광고 수익만 줄어드는 상황이 생길 수 있어요.
여기서 기억할 점은 검색 봇 허용과 AI 봇 제한이 함께 갈 수 있다는 거예요. 검색엔진의 색인은 유지하면서 광고 페이지의 AI 활용 접근만 제한하는 식의 분리 운영이 가능해질 수 있어요. 다만 봇 식별이 늘 정확한 건 아니에요. 봇이 일반 브라우저처럼 보이게 접근할 수도 있어서, Cloudflare 설정 하나에 기대기보다 서버 로그와 robots.txt, 콘텐츠 정책을 함께 관리하는 편이 현실적이에요.
GEO 관점에서는 무엇을 열고 무엇을 닫아야 할까요?
GEO(Generative Engine Optimization)는 생성형 AI 검색과 답변 엔진에서 콘텐츠가 발견되고 인용되도록 다듬는 접근이에요. 이번 변화로 GEO는 '일단 AI 봇을 다 열어 두자'가 아니라 '어떤 콘텐츠를 AI 생태계에 보여 줄지 고르는 일'이 되어 가고 있어요. AI 검색에 노출되고 싶은데 관련 봇을 다 막으면 인용 기회가 줄고, 반대로 모두 열면 콘텐츠 통제력이 약해지거든요.
크로스디자인랩이 페이지를 분류할 때 쓰는 기준은 대략 이래요.
- 브랜드 소개와 기본 정보: AI 노출 가치가 높아서 비교적 열어 두기
- 전문 가이드와 해설: 요약 인용은 허용하되 원문 방문을 이끄는 구조 강화하기
- 광고 중심 콘텐츠: 기본값과 수익 데이터를 함께 보며 판단하기
- 유료 자료와 독점 데이터: 접근 제한과 라이선스 정책 분명히 하기
- 예약·결제 페이지: AI 에이전트 접근 범위를 따로 관리하기
예전에는 보안팀이 악성 트래픽을 막고 마케팅팀이 검색 최적화를 따로 했다면, 이제 두 영역이 서로 맞물려요. 기술 설정과 콘텐츠 전략이 한 테이블에서 논의되어야 하는 이유예요. 기본기에 대한 이야기는 AI 검색 GEO 페이지에도 정리해 두었어요.
이 소식이 병·의원 홈페이지에는 어떤 의미일까요?
대부분의 병원 홈페이지는 광고를 싣는 사이트가 아니라서, 광고 페이지 중심의 차단 정책과는 거리가 있어 보여요. 하지만 Cloudflare 같은 서비스를 쓰는 홈페이지라면 기본값이 바뀌었을 때 검색 봇이 정상적으로 들어오는지는 꼭 확인해 볼 필요가 있어요. 그리고 AI 에이전트가 예약 조회나 상담 문의를 돕는 시대가 오면, 예약 페이지와 문의 양식에 어떤 접근을 허용할지가 새로운 과제가 돼요.
병원 홈페이지 제작 전문 에이전시로 일하며 저희가 정리한 원칙은 단순해요. 진료 안내, 의료진 소개, 질환 설명처럼 환자에게 알려야 하는 정보는 검색과 AI가 잘 읽을 수 있게 열어 두고, 예약과 개인정보가 오가는 페이지는 사람의 확인을 거치도록 따로 관리하는 거예요. 크로스디자인랩이 병원 홈페이지 제작 전문 관점에서 점검할 때는 robots.txt와 보안 설정이 서로 엇갈리지 않는지, 대량 자동 조회에 대한 방어가 있는지도 함께 봐요.
지금 해 볼 수 있는 일
9월 15일 적용 전후로 데이터를 비교할 수 있게 지금부터 준비해 두시면 좋아요.
- 서버 로그와 분석 화면에서 봇 트래픽 비중과 접근 페이지를 확인해요.
- robots.txt는 '의사 표시', Cloudflare는 '실제 제어'라는 역할 차이를 이해하고 함께 써요.
- 광고가 붙은 페이지, 제휴 링크가 있는 페이지, 전환용 랜딩 페이지를 구분해 목록으로 만들어요.
- 적용 후 검색 색인 상태와 크롤링 오류, 광고 수익 변화를 비교해요.
병원 홈페이지 제작 전문 팀으로서 크로스디자인랩은 이런 설정 점검과 페이지 분류를 함께 도와드리고 있어요. 열어 둘 문과 지켜야 할 문을 구분하는 일, 그게 AI 봇 시대의 새로운 기본기예요.
