CODESHIFT무료 진단
CODESHIFT
블로그로 돌아가기

병원 SEO/GEO · 2026-09-16 · 8분

홈페이지는 멀쩡한데 검색에 안 나온다면: 병원 방화벽이 구글봇을 막고 있는 경우

보안 설정·WAF가 구글봇을 봇으로 오인해 차단하면 사이트가 멀쩡해도 검색에서 빠집니다. 403/401 신호 읽는 법과 구글봇 진위 확인법을 Google 공식 문서로 정리했습니다.

핵심 요약

  • 홈페이지를 잘 만들어도, 병원 사이트의 방화벽·WAF·보안 플러그인이 구글봇을 "수상한 봇"으로 보고 막으면 검색에서 통째로 빠질 수 있습니다.
  • 이 상태는 대개 서버가 구글봇에게 403(접근 거부)이나 401(인증 요구)을 돌려주는 형태로 나타나며, Search Console 페이지 색인 보고서에서 확인됩니다.
  • Google은 403에 대해 "Googlebot은 자격 증명을 제출하지 않으므로, 이 오류는 서버가 잘못 반환하는 것"이라고 명시합니다.
  • 그렇다고 모든 봇을 열어주면 안 됩니다. 스크레이퍼가 구글봇 이름을 사칭하기 때문입니다. Google은 user-agent 문자열이 아니라 역DNS + 정방향 DNS 이중 확인으로 진위를 판별하라고 안내합니다.

"홈페이지 잘 만들었는데 왜 검색에 안 나오죠?"

병원 홈페이지를 새로 단장하고 나면 이런 문의가 종종 들어옵니다.

"디자인도 새로 하고 진료 정보도 다 채웠는데, 구글에 병원 이름을 쳐도 우리 사이트가 안 나와요. 콘텐츠가 부족한 걸까요?"

콘텐츠 문제일 때도 있습니다. 하지만 페이지가 멀쩡하게 잘 만들어져 있는데도 검색에 안 나오는 경우, 원인이 콘텐츠가 아니라 보안 설정인 사례가 의외로 많습니다. 홈페이지 제작을 맡은 업체나 IT 담당자가 "봇 차단"을 켜두면서, 하필 구글의 크롤러(구글봇)까지 함께 막아버린 것입니다.

"보안을 강화했으니 검색에도 안전하겠지"라고 알고 계시다면, 절반만 맞습니다. 악성 봇을 막는 것과 검색 크롤러를 들여보내는 것은 별개의 문제이고, 이 둘을 구분하지 못한 보안 설정은 오히려 병원을 검색에서 지워버립니다.

왜 멀쩡한 사이트가 크롤링에서 막히나

구글봇도 결국 자동으로 페이지를 긁어가는 프로그램입니다. 사람이 브라우저로 들어오는 것과 다르게 보이기 때문에, 봇을 걸러내도록 설정된 방어막에 함께 걸리기 쉽습니다. 병원 사이트에서 실제로 자주 나오는 경로는 이렇습니다.

  • WAF(웹 방화벽)나 보안 플러그인이 "정체불명의 자동 접속"을 차단하도록 되어 있고, 구글봇이 그 규칙에 걸림
  • 특정 국가·지역 IP 차단을 걸었는데, 구글의 크롤링 서버 IP가 그 범위에 포함됨
  • 접속 빈도 제한(rate limit)이 너무 빡빡해서, 구글봇이 여러 페이지를 읽으려 하면 곧바로 차단됨
  • 관리자 보호용 인증(로그인) 벽이 공개 페이지에까지 잘못 적용됨
  • 호스팅 업체의 기본 보안 정책이 자동으로 봇을 거르고 있음

이런 설정은 대부분 "악성 봇을 막자"는 좋은 의도에서 나왔습니다. 문제는 구글봇처럼 꼭 들어와야 하는 크롤러까지 같은 그물에 걸린다는 점입니다. Google은 크롤링과 색인의 관계를 이렇게 정리합니다. 구글봇이 페이지를 크롤링하지 못하면, 그 페이지는 Google 검색은 물론 이미지·동영상·뉴스·Discover 등 Google의 여러 노출 표면에서 함께 영향을 받습니다.

진짜 신호: Search Console의 403과 401

이 문제가 일어나고 있는지는 감으로 알 수 없습니다. Google Search Console의 '페이지' 색인 보고서를 보면 정확한 신호가 뜹니다. 특히 두 가지 상태를 눈여겨봐야 합니다.

차단됨: 접근이 금지됨(403)

Google 공식 문서는 이 상태를 이렇게 설명합니다.

"HTTP 403은 user agent가 자격 증명을 제출했지만 접근이 허용되지 않았음을 의미한다. 그러나 Googlebot은 자격 증명을 제출하지 않으므로, 서버가 이 오류를 잘못 반환하고 있는 것이다."

풀어 쓰면, 구글봇은 로그인 같은 걸 시도하지 않는데도 서버가 "너는 권한 없어"라며 문을 닫아걸었다는 뜻입니다. 대개 방화벽이나 보안 규칙이 IP·접속 빈도·봇 점수를 근거로 구글봇을 수상한 방문자로 오판한 경우입니다. Google의 권장 조치는 로그인하지 않은 방문자에게도 페이지를 보여주거나, 인증 없이 구글봇의 접근을 명시적으로 허용하되 그 진위를 확인하라는 것입니다.

차단됨: 승인되지 않은 요청(401)

"이 페이지는 인증 요청(401 응답)에 의해 Googlebot에게 차단되었다."

이 경우 Google의 안내는 두 가지입니다. 이 페이지의 인증 요구 자체를 없애거나, 아니면 구글봇의 신원을 확인해 접근을 허용하라는 것입니다. 공개되어야 할 진료 안내·의료진 소개 페이지에 인증 벽이 잘못 걸려 있다면, 그 벽을 공개 영역에서 걷어내야 합니다.

두 상태 모두 결론은 같습니다. 사이트가 아니라 문지기(서버·방화벽)가 문제라는 신호입니다. 이럴 때 콘텐츠를 아무리 더 써넣어도 검색에는 나오지 않습니다. 문이 닫혀 있으니까요. 같은 보고서에서 robots.txt로 막힌 경우는 별도 상태로 뜨는데, 그건 특정 페이지를 검색에서 빼는 방법에서 따로 다뤘습니다. 방화벽 차단과 robots.txt 차단은 원인도 해법도 다릅니다.

그럼 모든 봇을 열어주면 되나 — 아니요, 사칭이 있습니다

"그럼 봇 차단을 다 꺼버리면 되겠네"라고 생각하기 쉽습니다. 그런데 여기서 반대쪽 함정이 있습니다. 나쁜 스크레이퍼들이 구글봇의 이름(user-agent 문자열)을 그대로 베껴 쓰며 접속하기 때문입니다. user-agent에 Googlebot이라고 적혀 있다고 해서 진짜 구글봇이라는 보장이 없습니다.

그래서 필요한 것이 구글봇 진위 확인입니다. "구글봇이라고 주장하는 접속"과 "진짜 구글 서버에서 온 접속"을 구분해, 진짜만 통과시키는 것입니다. 이렇게 하면 보안은 유지하면서 검색 크롤러만 정확히 들여보낼 수 있습니다.

구글봇 진위를 확인하는 공식 방법

Google은 두 가지 방법을 문서로 제공합니다. IT 담당자나 홈페이지 업체에 그대로 전달하면 됩니다.

방법 1 — 역DNS + 정방향 DNS 이중 확인(개별 IP 점검용)

서버 접속 로그에 남은 IP가 진짜 구글봇인지 확인하는 절차입니다.

  1. 문제의 접속 IP를 대상으로 역DNS 조회를 실행합니다. host 명령을 씁니다.
  2. 그 결과로 나온 도메인이 googlebot.com, google.com, googleusercontent.com 중 하나로 끝나는지 확인합니다.
  3. 다시 그 도메인으로 정방향 DNS 조회를 실행해, 처음의 IP와 일치하는지 확인합니다.
host 66.249.66.1
# → crawl-66-249-66-1.googlebot.com 처럼 googlebot.com 도메인이 나와야 함

host crawl-66-249-66-1.googlebot.com
# → 다시 66.249.66.1 이 나오면 진짜 구글봇

세 단계가 모두 맞아떨어질 때만 진짜 구글봇입니다. user-agent 문자열이 아니라 이 DNS 확인이 판별의 기준입니다.

방법 2 — 공식 IP 범위 목록으로 자동 확인(대량·자동화용)

접속 IP가 많아 하나씩 확인하기 어렵다면, Google이 공개하는 크롤러 IP 범위 목록(JSON)과 대조하면 됩니다. Google은 크롤러 유형별로 IP 범위를 CIDR 형식으로 게시합니다.

  • 일반 크롤러(구글봇): common-crawlers.json
  • 특수 크롤러(AdsBot 등): special-crawlers.json
  • 사용자 트리거 페처: user-triggered-fetchers.json, user-triggered-fetchers-google.json

방화벽·WAF의 허용 목록(allowlist)을 이 IP 범위에 맞춰 두면, 이름을 사칭한 가짜는 걸러내고 진짜 구글봇만 통과시킬 수 있습니다. 다만 IP 범위는 바뀔 수 있으므로 고정값으로 하드코딩하지 말고, Google이 게시한 목록을 주기적으로 갱신해 참조하는 방식이 안전합니다.

병원 사이트에서 자주 나오는 실수 세 가지

  • user-agent만 보고 차단·허용을 결정한다. 사칭이 가능하므로 이름만으로는 안 됩니다. 허용은 위의 DNS·IP 확인을 거쳐야 합니다.
  • 국가 IP 차단에 구글 서버가 휩쓸린다. "해외 접속을 다 막자"는 규칙이 구글의 크롤링 IP까지 함께 막는 경우가 있습니다. 차단 정책을 넣을 때 구글봇 IP 범위는 예외로 두어야 합니다.
  • 속도 제한을 너무 빡빡하게 건다. 구글봇이 페이지를 연달아 읽으려 할 때 곧바로 429·503으로 막으면, 크롤링이 중단되고 색인이 밀립니다. 정상적인 크롤링을 감당할 여유를 둬야 합니다.

이런 설정을 손볼 때는 HTTPS와 서버 보안 같은 기본 보안은 유지하면서, 크롤러 접근만 정확히 열어주는 균형이 중요합니다. 보안을 낮추는 게 아니라, 진짜 구글봇을 식별해 예외 통로를 만드는 일입니다.

지금 막혀 있는지 바로 확인하는 법

Search Console의 URL 검사 도구에 문제 페이지 주소를 넣고 실제 URL 테스트(Test Live URL)를 실행하면, 지금 이 순간 구글이 그 페이지를 가져올 수 있는지 즉석에서 확인할 수 있습니다. 여기서 403·401·5xx가 뜨거나 "가져올 수 없음"이 나오면, 콘텐츠가 아니라 접근 자체가 막혀 있다는 뜻입니다. 색인 상태 전반을 어떻게 읽는지는 Search Console 색인 상태 확인법에 정리해두었습니다.

CodeShift가 이 문제를 보는 관점

CodeShift는 병원의 AI 검색 노출을 측정하는 도구(포도체크)를 월 3회 주기로 운영하고 있습니다(2026-08 기준). 여러 병원의 상태를 반복해서 보면, "왜 검색·AI 검색에 안 나오느냐"의 원인이 콘텐츠보다 앞단에 있는 경우가 자주 나옵니다. 크롤러가 아예 들어오지 못하는 상태인 것입니다.

그래서 "검색에 안 나온다"는 요청을 받으면, 저희는 글부터 늘리지 않습니다. 먼저 구글봇이 공개 페이지에 정상적으로 도달하는지, 서버가 403·401로 문을 닫고 있지 않은지부터 확인합니다. 크롤링 도달이 확보돼야 그다음 단계(정보를 텍스트로 제공하기, 신뢰 정보 갖추기)가 의미를 갖기 때문입니다. 순서가 바뀌면 안 됩니다.

오늘 바로 점검할 것

원장님 병원 사이트에서 지금 바로 확인할 수 있는 항목입니다.

  1. Search Console 페이지 색인 보고서 열기: '차단됨: 접근이 금지됨(403)'이나 '차단됨: 승인되지 않은 요청(401)' 상태에 공개 페이지가 들어 있는지 확인하세요.
  2. URL 검사 도구로 라이브 테스트: 대표 진료 안내 페이지 주소를 넣고 '실제 URL 테스트'를 눌러, 지금 구글이 그 페이지를 가져올 수 있는지 즉석에서 확인하세요.
  3. 보안 담당자에게 질문하기: 홈페이지 업체나 IT 담당자에게 "WAF·방화벽·국가 IP 차단에서 구글봇 IP 범위를 예외로 두고 있나요?"라고 물어보세요.
  4. 속도 제한 확인: 접속 빈도 제한이 구글봇의 정상 크롤링을 429·503으로 막고 있지 않은지 점검하세요.
  5. 허용은 진위 확인으로: 봇을 허용할 때는 user-agent 이름이 아니라 역DNS·IP 범위 확인을 거치도록 설정돼 있는지 확인하세요.

이 다섯 가지에서 하나라도 걸리면, 콘텐츠를 더 만들기 전에 그 문부터 열어야 합니다. 어디가 막혔는지 판단이 서지 않으신다면 문의하기로 현재 상태부터 함께 점검하겠습니다.

결론

검색에 안 나오는 이유가 늘 콘텐츠에 있는 것은 아닙니다. 잘 만든 병원 사이트가 방화벽·WAF·보안 설정 때문에 구글봇에게 문을 닫고 있다면, 아무리 좋은 글도 검색에 닿지 못합니다. 먼저 Search Console에서 403·401 신호를 확인하고, 봇을 무작정 열지 말고 Google 공식 방식(역DNS·IP 범위)으로 진짜 구글봇만 식별해 들여보내세요. 보안을 지키면서 검색도 여는 길은, 이 진위 확인 위에서 열립니다.

참고 자료