리뉴얼 회의에서 원장님이 이런 말씀을 하신 적이 있어요. "새 홈페이지가 훨씬 예쁜데, 왜 예전 홈페이지보다 검색이 안 될까요?" 화면만 보면 이해하기 어려운 일이에요. 그런데 검색 로봇의 눈으로 보면 이유가 보여요. 집을 새로 지으면서 예전 주소로 찾아오던 손님에게 길 안내를 하지 않은 거예요.
오늘은 그 '검색 로봇의 발걸음', 크롤링 이야기를 해 볼게요. 특히 리뉴얼할 때 무엇을 챙겨야 하는지에 집중했어요.
크롤링은 어떤 과정일까요?
크롤링은 검색엔진의 로봇, 즉 크롤러가 웹페이지를 돌아다니며 텍스트, 이미지, 링크 같은 정보를 모으는 과정이에요. 로봇은 링크를 따라가며 새 페이지를 발견하고, 그 내용이 이미 본 것과 겹치는지, 기존 정보와 얼마나 다른지 비교해요.
이렇게 모은 정보가 검색엔진의 데이터베이스에 저장되고, 누군가 검색했을 때 이 페이지를 보여줄지 판단하는 바탕이 돼요. 이 단계에서 사이트가 정보를 제대로 전하지 못하면, 좋은 콘텐츠를 갖고도 검색 결과 앞쪽에 서기 어려워요. 크롤링은 로봇이 잠깐 다녀가는 일이 아니라 사이트의 품질과 바로 연결되는 단계예요. 크롤링 다음에는 모은 정보를 정리해 검색 목록에 올리는 인덱싱이 이어져요. 크롤링이 '방문'이라면 인덱싱은 '등록'에 가까워요. 방문이 원활해야 등록도 제대로 이루어져요.
같은 글이 여러 곳에 있으면 왜 문제일까요?
원문 필자가 운영하던 사이트에서 이런 일이 있었어요. 게시판 글 여러 개가 다른 주소로 중복 노출되면서, 검색엔진이 같은 내용을 반복해서 읽게 되었고 노출 순위가 크게 떨어졌어요. 링크 구조를 고치고 중복 콘텐츠를 정리하자 검색 결과가 점차 안정되고 방문자도 다시 늘었어요.
병원 홈페이지에서도 비슷한 일이 자주 생겨요.
- 같은 이벤트를 공지와 이벤트 게시판에 각각 올려 두는 경우
- 진료과목 페이지 문구를 복사해 여러 페이지에 거의 그대로 쓰는 경우
- 예전 홈페이지 페이지와 새 페이지가 함께 살아 있는 경우
리뉴얼할 때는 이런 중복을 먼저 목록으로 만들어 하나의 주소로 정리해요. 지울 수 없는 페이지라면 대표 주소를 지정해, 검색엔진이 어느 쪽을 기준으로 삼아야 하는지 알려 주는 방법도 있어요.
로봇이 들어가면 안 되는 곳도 있을까요?
있어요. 크롤링을 무작정 열어 두면 생각지 못한 문제가 생길 수 있어요. 로그인이 필요한 개인정보 페이지나 민감한 데이터를 다루는 영역에는 로봇이 들어가지 않도록 막아야 해요. 검색 결과에 한 번 노출된 정보는 지우는 데 시간이 걸리기 때문에, 처음부터 막아 두는 편이 훨씬 안전해요.
원문에서는 한 병원 홈페이지를 리뉴얼할 때 진료 기록을 다루는 일부 영역에 검색엔진이 들어오지 않도록 robots.txt로 접근을 막고, 공개해야 할 부분만 정교하게 노출하도록 설정한 경험을 소개해요. robots.txt는 로봇에게 들어가도 되는 곳과 안 되는 곳을 알려 주는 안내판이에요. 병원 홈페이지에서는 예약 확인이나 회원 정보처럼 환자의 정보가 오가는 영역이 여기에 해당해요.
리뉴얼할 때 길 안내는 어떻게 할까요?
처음 이야기로 돌아가 볼게요. 새 홈페이지가 검색이 안 됐던 이유는 대부분 주소가 바뀌었기 때문이에요. 검색엔진은 예전 주소를 기억하고 있는데, 그 주소로 가 보면 페이지가 사라져 있는 거예요.
그래서 리뉴얼 때는 이렇게 챙겨요. 예전 주소와 새 주소의 대응표를 만들고, 바뀐 주소마다 301 리디렉션을 걸어 '이 페이지는 이쪽으로 영구히 옮겼다'고 알려 줘요. 그러면 방문자와 로봇 모두 새 페이지로 자연스럽게 이동하고, 예전 페이지가 쌓아 온 평가도 이어받을 수 있어요. 대응표는 엑셀 한 장이면 충분해요. 왼쪽에 예전 주소, 오른쪽에 새 주소를 적고, 오픈 뒤 하나씩 눌러 보며 제대로 이동하는지 확인해요. 사라지는 페이지라면 가장 가까운 내용의 새 페이지로 이어 주는 게 좋아요.
여기에 사이트맵을 제출하고, 메타 태그와 페이지 사이의 링크 구조를 정리해요. 제품이나 진료 항목이 많다면 카테고리별로 묶어, 로봇이 체계적으로 이동할 수 있는 길을 만들어 줘요. 주소를 바꿀 때는 병원에도 미리 알려 드려요. 블로그나 지도, 광고에 걸어 둔 예전 링크가 있다면 함께 바꾸거나 리디렉션 목록에 넣어야 하니까요.
크롤링을 챙기면 무엇이 달라질까요?
검색 로봇이 편하게 다닐 수 있는 사이트는 정보가 빠르고 정확하게 수집돼요. 사이트가 커져도 원하는 페이지가 검색에서 잘 찾아지고요. 반대로 이 준비를 소홀히 하면 노출 기회를 조용히 잃게 돼요.
크로스디자인랩은 리뉴얼 첫 주에 예전 주소 목록부터 받아 두어요. 화면 시안보다 먼저요. 리뉴얼을 앞두고 계시다면 검색 SEO 안내에서 리뉴얼 때 함께 점검할 항목을 더 살펴보실 수 있어요.
