구글이 우리 병원 사이트를 다 안 긁어간다? '크롤 예산'은 대부분 병원과 무관합니다

핵심 요약

• "구글이 우리 사이트를 다 안 긁어가서 페이지가 안 뜬다"며 크롤 예산을 걱정하는 경우가 많지만, 구글은 크롤 예산이 사실상 대형 사이트만의 문제라고 명시합니다.
• 공식 기준은 페이지 100만 개 이상(주 단위 변경)이거나 1만 개 이상(일 단위 변경)입니다. 페이지 수십~수백 개인 병원 사이트는 여기에 해당하지 않습니다.
• 병원 사이트에서 페이지가 안 뜨는 진짜 이유는 크롤 예산 고갈이 아니라 발견 경로(사이트맵·내부링크)와 품질·색인 문제인 경우가 훨씬 많습니다.
• robots.txt로 페이지를 막으면 크롤 예산을 아끼는 게 아니라 색인 자체를 막습니다. 크롤 예산 절약 목적의 차단은 병원 사이트에 오히려 해가 됩니다.

"구글이 페이지를 다 안 긁어가는 것 같다"

홈페이지를 새로 만들었는데 검색에 몇 페이지밖에 안 뜹니다. 어디선가 "구글에는 크롤 예산이라는 게 있어서, 페이지가 많으면 다 못 긁어간다"는 이야기를 듣습니다. 그래서 사이트를 가볍게 만들고, 안 중요한 페이지는 막고, 크롤 예산을 아껴야 한다는 조언까지 받습니다.

여기서 "우리 병원 페이지가 안 뜨는 건 크롤 예산이 부족해서"라고 알고 계시다면, 대부분의 경우 틀렸습니다. 크롤 예산은 실재하는 개념이지만, 구글은 그것이 극소수 대형 사이트에만 해당하는 문제라고 분명히 선을 긋고 있습니다.

Google Search Central의 크롤 예산 관리 가이드는 문서 첫머리에서 이렇게 안내합니다. "사이트에 빠르게 바뀌는 페이지가 많지 않거나, 페이지가 게시된 당일에 크롤링되는 것으로 보인다면 이 가이드를 읽을 필요가 없다"(Google Search Central, Large site owner's guide to managing crawl budget). 병원 사이트 대부분이 바로 여기에 해당합니다.

크롤 예산이 무엇인지부터

크롤 예산을 오해 없이 이해하려면 정의부터 봐야 합니다. Google은 크롤 예산을 "구글이 크롤링할 수 있고, 크롤링하고자 하는 URL의 집합"으로 정의하고, 이를 두 가지가 결정한다고 설명합니다.

• 크롤 용량 한계(crawl capacity limit): 구글이 여러분의 서버에 부담을 주지 않으면서 가져갈 수 있는 양. 서버가 느리거나 오류가 잦으면 구글은 크롤링을 줄입니다.
• 크롤 수요(crawl demand): 구글이 그 사이트를 얼마나 자주 보고 싶어 하는가. 인기 있고 자주 바뀌는 페이지일수록 수요가 큽니다.

즉 크롤 예산은 "구글이 무한정 긁어갈 수는 없으니 우선순위를 둔다"는 개념입니다. 이 우선순위가 문제가 되려면, 애초에 페이지가 아주 많아야 합니다. 페이지가 수십~수백 개인 사이트는 구글이 며칠이면 전부 훑을 수 있어, 예산을 나눠 쓸 일 자체가 거의 없습니다.

우리 병원 사이트는 크롤 예산을 걱정할 대상인가

Google이 제시한 "크롤 예산을 관리해야 하는 사이트" 기준은 구체적입니다(Google Search Central, 위 가이드).

• 페이지 100만 개 이상이고 콘텐츠가 어느 정도 자주(주 1회 정도) 바뀌는 대형 사이트
• 페이지 1만 개 이상이고 콘텐츠가 매우 빠르게(매일) 바뀌는 중간~대형 사이트
• 전체 URL 중 상당수가 Search Console에서 "발견됨 - 현재 색인되지 않음"(Discovered - currently not indexed)으로 분류된 사이트

일반적인 병원 홈페이지는 진료안내·의료진·오시는 길·블로그 몇십 편을 합쳐도 페이지가 수백 개 안쪽입니다. 위 기준의 100만, 1만과는 자릿수가 다릅니다. 그래서 병원 사이트에서 "크롤 예산 때문에 페이지가 안 긁힌다"는 진단은 대개 성립하지 않습니다.

그럼 페이지가 안 뜨는 진짜 이유

크롤 예산이 아니라면, 병원 사이트에서 페이지가 검색에 안 나오는 원인은 보통 두 갈래입니다.

첫째, 구글이 그 페이지의 존재를 아직 모릅니다(발견 경로 문제). 사이트맵에 없거나, 다른 페이지에서 링크로 이어지지 않으면 구글은 그 페이지를 발견하지 못합니다. 크롤 용량이 남아돌아도 "갈 곳을 모르면" 안 갑니다.

둘째, 발견은 했지만 색인할 만하다고 판단하지 않았습니다(품질·중복 문제). 내용이 얇거나, 다른 페이지와 사실상 같으면 구글은 크롤은 하되 색인은 미룹니다.

저희가 운영하는 정보 사이트 한 곳(약 471페이지, 소형 사이트)의 색인 상태를 2026년 9월 URL 전수 조회로 확인해 봤습니다. 색인된 페이지는 76개(16.1%)였고, 나머지 395개(83.9%)는 "구글에 아직 알려지지 않은 URL" 상태였습니다. 반대로 구글이 실제로 크롤에 도달한 페이지는 100% 색인돼 있었습니다. 정리하면, 안 뜨는 페이지의 원인은 "구글이 긁다가 예산이 떨어져서"가 아니라 "애초에 그 페이지까지 발견해 도달하지 못해서"였습니다. 소형 사이트의 미색인은 크롤 예산이 아니라 발견 경로의 문제라는 것을, 우리 사이트 데이터가 그대로 보여준 셈입니다.

이 대목은 구글에 우리 병원 페이지가 색인됐는지 확인하기와 진료시간을 바꿨는데 옛날 정보가 그대로일 때: 재크롤링·재색인에서 이어서 다뤘습니다.

크롤 예산을 정말 낭비시키는 것들 (대형이든 소형이든 위생 차원)

크롤 예산이 병원 사이트의 병목은 아니지만, Google이 "크롤을 낭비시킨다"고 지목한 요소들은 그 자체가 SEO 위생 문제라 규모와 무관하게 정리해 두는 게 좋습니다. Google은 다음을 크롤 낭비 요인으로 꼽습니다(위 가이드).

• 중복 콘텐츠: 사실상 같은 페이지가 주소만 다르게 여러 개 있으면 크롤 시간을 크게 낭비한다고 명시합니다. 정렬·필터로 생기는 URL 변형이 대표적입니다. 이 문제는 표준 URL(canonical)과 중복 콘텐츠에서 다뤘습니다.
• soft 404: 실제로는 없는 페이지인데 200 응답을 주는 경우, 구글이 계속 다시 크롤링하며 예산을 소모한다고 밝힙니다. 404·410·soft 404와 HTTP 상태 코드에서 정리했습니다.
• 무한 스크롤·끝없이 생성되는 URL: 같은 내용을 정렬만 바꾼 페이지, 무한 스크롤 등도 크롤을 흘려보냅니다. 페이지네이션·무한 스크롤과 구글 크롤링을 참고하시기 바랍니다.

병원 사이트에서 이런 문제를 정리하는 이유는 "예산을 아끼려고"가 아니라, 중복·soft 404·엉뚱한 URL 자체가 검색 품질을 떨어뜨리기 때문입니다. 결과적으로 크롤도 깔끔해지지만, 목적과 이유를 바꿔 이해해야 합니다.

robots.txt로 막으면 크롤 예산을 아낀다? — 병원 사이트엔 오히려 독

크롤 예산 이야기에서 가장 위험한 오해가 "안 중요한 페이지는 robots.txt로 막아서 크롤 예산을 아끼자"입니다. Google은 robots.txt로 URL을 막으면 "구글이 그 URL을 크롤링하지 못하게 되고, 해당 URL이 처리될 가능성이 크게 줄어든다"고 설명합니다. 즉 차단은 크롤을 아끼는 동시에 색인 가능성까지 없앱니다.

대형 사이트라면 정말 불필요한 파라미터 URL을 막아 크롤을 정돈할 여지가 있습니다. 하지만 페이지가 수백 개인 병원 사이트에서 "예산 절약"을 이유로 페이지를 막으면, 아끼는 예산은 미미한 반면 검색에서 사라지는 페이지만 생깁니다. 병원 사이트에서 robots.txt 차단은 예산 관리 수단이 아니라, 정말 색인되면 안 되는 페이지(관리자 화면 등)에만 쓰는 도구로 봐야 합니다. 이 구분은 robots.txt·noindex로 검색에서 빼기에서 다뤘습니다.

한편 Google은 "페이지를 더 빠르게 로드·렌더링할수록 더 많은 콘텐츠를 읽을 수 있다"고도 안내합니다. 속도는 크롤에도 도움이 되지만, 병원 사이트에서는 예산보다 사용자 경험 관점에서 챙기는 편이 맞습니다. 자바스크립트로만 내용을 그려 구글이 못 읽는 경우와도 연결되므로 구글이 자바스크립트 사이트를 읽는 방식을 함께 보시면 좋습니다.

그래서 병원이 실제로 할 일

크롤 예산은 잊어도 됩니다. 병원 사이트가 챙길 것은 정반대입니다. 구글이 페이지를 잘 발견하고, 색인할 만하다고 판단하도록 돕는 일입니다.

• 사이트맵을 최신으로 유지하고 Search Console에 제출한다.
• 중요한 페이지끼리 내부링크로 이어, 구글이 발견 경로를 찾게 한다.
• 얇거나 중복인 페이지를 정리해 색인 판단을 돕는다.

Google이 대부분의 사이트에 권하는 것도 이 수준입니다. "사이트맵을 최신으로 유지하고 (Search Console) 보고서를 정기적으로 확인하는 것으로 충분하다"(위 가이드).

오늘 바로 점검할 것

• 우리 사이트 총 페이지 수를 대략 세어 본다. 수백 개 안쪽이면 크롤 예산은 걱정할 대상이 아니다.
• Search Console 색인 생성 보고서에서 "발견됨 - 현재 색인되지 않음" 페이지가 있는지 확인한다(있다면 발견·품질 문제이지 예산 문제가 아니다).
• 사이트맵이 최신인지, 검색에 나와야 할 주요 페이지가 사이트맵에 다 들어 있는지 확인한다.
• "크롤 예산 절약"을 이유로 robots.txt에 막아 둔 페이지가 없는지 점검한다(관리자 화면이 아닌 실제 콘텐츠를 막고 있으면 해제 검토).
• 정렬·필터로 생기는 중복 URL, soft 404가 쌓여 있지 않은지 확인한다.

페이지가 검색에 안 뜨는 원인이 발견 경로인지, 품질인지, 정말 크롤 문제인지 판단이 서지 않는다면 문의하기로 현재 색인 상태를 함께 진단해 드리겠습니다.

참고 자료

• Google Search Central, "Large site owner's guide to managing crawl budget"(크롤 예산 정의·대상 사이트 기준·낭비 요인·robots.txt·속도) https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget
• Google Search Central, "Ask Google to Recrawl Your URLs"(재크롤링 요청·소요 시간) https://developers.google.com/search/docs/crawling-indexing/ask-google-to-recrawl
• Google Search Central, "Build and Submit a Sitemap"(사이트맵·발견 경로) https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap
• Search Console Help, "Page indexing report"(발견됨 - 현재 색인되지 않음 등 상태 정의) https://support.google.com/webmasters/answer/7440203