색인

색인 단계에서 일어나는 일#

크롤러가 페이지를 가져오면 검색엔진은 그 내용을 이해하는 작업을 시작합니다.

• 콘텐츠 분석 — 본문 텍스트, <title> 요소, 이미지와 영상 등 페이지가 담고 있는 것을 분석해 무엇에 관한 페이지인지 파악합니다.
• 중복 정리와 대표 선택 — 내용이 같거나 매우 유사한 URL을 묶고 검색 결과에서 대표로 사용할 URL을 선택합니다. 이 대표가 Canonical URL입니다. 운영자가 지정한 canonical은 대표 선택에 쓰이는 신호입니다.
• 신호 수집 — 페이지의 언어, 관련 지역, 사용성 같은 정보를 함께 수집해 이후 검색 결과를 구성할 때 활용합니다.

색인되지 않는 이유#

Google은 색인이 보장되지 않으며 처리한 모든 페이지를 색인하는 것은 아니라고 설명합니다. 대표적인 비색인 상태와 원인은 다음과 같습니다.

이 표는 대표 원인을 요약한 것이며 모든 상태를 포괄하지는 않습니다. 유사한 URL이 여러 개 발견되면 검색엔진은 대표 canonical을 선택할 수 있고, 다른 URL은 대표 검색 결과로 선택되지 않을 수 있습니다. 다만 대체 URL이 항상 모든 맥락에서 배제된다는 뜻은 아닙니다.

색인을 의도적으로 막아야 할 때#

검색 결과에 둘 필요가 없는 내부 검색 결과나 인쇄용 페이지 등은 noindex로 색인을 제외할 수 있습니다.

<meta name="robots" content="noindex" />

HTML이 아닌 PDF·영상·이미지 같은 리소스에는 HTTP 응답 헤더의 X-Robots-Tag: noindex를 사용할 수 있습니다. noindex는 접근 제어 수단이 아닙니다. 실제로 비공개여야 하는 콘텐츠는 로그인이나 비밀번호 같은 인증으로 보호해야 합니다.

색인 상태 확인하기#

Google Search Console의 Page indexing report는 사이트 전체의 색인·비색인 URL 수와 원인 패턴을 확인하는 데 적합합니다. 특정 URL 하나의 현재 색인 정보, 크롤링 상태, Google이 선택한 canonical을 조사할 때는 URL Inspection을 사용합니다. 네이버 서치어드바이저에서도 검색 수집과 색인 반영 현황을 확인할 수 있습니다.

자주 생기는 오해#

• "색인되면 상위에 노출된다" — 색인은 검색 결과에 나타날 수 있는 상태가 된 것일 뿐입니다. 실제 노출 여부와 순서는 검색어와의 관련성 등 별도의 평가가 결정합니다.
• "sitemap에 넣으면 반드시 색인된다" — sitemap은 발견을 돕는 힌트이지 색인 보증서가 아닙니다.
• "robots.txt 차단과 noindex는 같다" — robots.txt는 크롤링 접근을 제어하고 noindex는 색인 여부를 제어합니다. 목적과 동작 조건이 다릅니다.

관련 개념과 이어서 보기#

색인은 크롤링과 검색 결과 제공 사이에 있는 단계입니다. SEO의 상당 부분은 이 파이프라인이 막히지 않게 만드는 일입니다. 중복 URL을 정리하는 관점에서는 Canonical URL을, 사이트 전체 점검 순서는 홈페이지 SEO 기본 가이드를 참고하세요.