웹사이트 주소는 영구적으로 유지되지 않는다.
서비스 운영자가 도메인을 변경하기도 하고, 웹사이트 구조를 개편하거나 서버를 이전하면서 기존 URL을 새로운 주소로 연결하기도 한다.
일반 사용자는 검색을 통해 변경된 주소를 다시 찾을 수 있다.
하지만 수백 개 이상의 외부 웹사이트 주소를 관리하는 주소모음사이트나 웹 디렉터리 서비스에서는 상황이 다르다.
등록된 모든 웹사이트에 매일 접속하고, 주소 변경 여부를 확인하고, 새로운 주소를 검증하는 작업을 수동으로 처리하기에는 한계가 있다.
그렇다고 HTTP 요청 결과만 확인하고 자동으로 주소를 변경하는 것도 위험하다.
정상적인 도메인 이전과 일시적인 리디렉션, 서버 점검, 접속 제한, 광고 페이지 이동을 구분해야 하기 때문이다.
이번 글에서는 외부 웹사이트의 주소 변경을 자동으로 감지하고 검증하기 위한 시스템의 설계 방법을 살펴본다.
1. 웹사이트 주소 변경은 왜 발생할까?
웹사이트의 주소가 변경되는 이유는 다양하다.
- 서비스 브랜드 변경
- 새로운 도메인으로 이전
- 기존 도메인 사용 종료
- HTTP에서 HTTPS로 전환
- 웹사이트 경로 구조 변경
- 서버 및 호스팅 환경 변경
- 기존 서비스 통합
예를 들어 다음 세 가지 URL 변경을 생각해 보자.
http://example.com https://example.com https://www.example.com 세 주소는 서로 다른 URL이지만 동일한 서비스를 제공할 수 있다.
반면 다음과 같은 변경은 다른 등록 도메인으로 이동하는 사례다.
https://example.com ↓ https://example.net 이 경우에는 실제 서비스가 이전한 것인지, 기존 도메인이 다른 운영자에게 넘어간 것인지 확인할 필요가 있다.
URL이 달라졌다는 사실과 웹사이트가 이전했다는 사실은 동일하지 않다.
주소 변경 감지 시스템은 이 차이를 구분해야 한다.
2. HTTP 상태 코드로 주소 변경 확인하기
웹사이트에 HTTP 요청을 보내면 서버는 요청 처리 결과를 상태 코드로 반환한다.
URL 관리 시스템에서 주로 확인해야 하는 상태 코드는 다음과 같다.
| 상태 코드 | 의미 | 시스템 판단 기준 |
|---|---|---|
| 200 | 요청 성공 | 실제 페이지 내용 추가 확인 |
| 301 | 영구 리디렉션 | 주소 변경 후보 |
| 302 | 임시 리디렉션 | 기존 주소 유지 및 재검사 |
| 303 | 다른 리소스 참조 | 이동 목적 확인 |
| 307 | 임시 리디렉션 | 기존 주소 유지 및 재검사 |
| 308 | 영구 리디렉션 | 주소 변경 후보 |
| 403 | 접근 거부 | 접속 제한 가능성 |
| 404 | 리소스를 찾을 수 없음 | 페이지 또는 경로 변경 확인 |
| 410 | 리소스 제거 | 기존 페이지 제거 여부 확인 |
| 429 | 요청 횟수 제한 | 검사 간격 조정 |
| 500 | 서버 내부 오류 | 일정 시간 후 재검사 |
| 503 | 서비스 이용 불가 | 일시적인 장애 가능성 |
여기서 주의해야 할 부분은 HTTP 200이다.
HTTP 200 응답이 반환됐다고 해서 해당 웹사이트의 기존 서비스가 정상적으로 제공되고 있다는 뜻은 아니다.
다음과 같은 페이지에서도 HTTP 200이 반환될 수 있다.
- 도메인 판매 페이지
- 서버 기본 설치 페이지
- 서비스 종료 안내 페이지
- 오류 안내 페이지
- 로그인 요구 페이지
- 보안 인증 페이지
따라서 HTTP 상태 코드는 웹사이트 상태를 판단하는 첫 번째 검사 단계로 활용해야 한다.
3. 리디렉션 체인 전체를 기록해야 하는 이유
웹사이트에 접속하면 한 번 이상의 리디렉션이 발생할 수 있다.
예를 들어 다음과 같은 구조다.
http://example.com ↓ 301 https://example.com ↓ 301 https://www.example.com ↓ 302 https://www.example.com/home ↓ 200 최종 페이지 최종 URL만 저장하면 중간에 어떤 이동이 발생했는지 확인하기 어렵다.
특히 주소 변경의 원인을 분석하려면 각 단계에서 반환된 상태 코드와 Location 헤더를 기록하는 것이 중요하다.
리디렉션 기록 예시
{ "original_url": "http://example.com", "final_url": "https://www.example.com/home", "redirect_chain": [ { "status": 301, "from": "http://example.com", "to": "https://example.com" }, { "status": 301, "from": "https://example.com", "to": "https://www.example.com" }, { "status": 302, "from": "https://www.example.com", "to": "https://www.example.com/home" } ], "final_status": 200 } 이런 구조를 사용하면 최종 접속 결과뿐 아니라 URL 이동 과정도 분석할 수 있다.
관리자는 HTTPS 전환인지, 서브도메인 변경인지, 다른 도메인으로의 이동인지 구분할 수 있다.
주의해야 할 리디렉션 루프
리디렉션이 잘못 설정된 경우 동일한 주소 사이에서 반복적으로 이동할 수도 있다.
https://example.com ↓ https://www.example.com ↓ https://example.com ↓ 반복 이러한 상황을 방지하려면 이미 방문한 URL을 기록하고 최대 리디렉션 횟수를 설정해야 한다.
4. Python으로 리디렉션 정보 분석하기
Python의 requests 라이브러리를 사용하면 HTTP 응답과 리디렉션 정보를 확인할 수 있다.
다만 외부 URL을 자동으로 요청하는 시스템에서는 보안 검증이 중요하다.
아래 코드는 네트워크 요청을 직접 실행하는 크롤러가 아니라, 별도의 안전한 HTTP 수집기가 반환한 정보를 분석하는 예시다.
from urllib.parse import urlsplit, urljoin PERMANENT_REDIRECTS = {301, 308} TEMPORARY_REDIRECTS = {302, 303, 307} def analyze_response(url, status_code, location=None): result = { "original_url": url, "status_code": status_code, "candidate_url": None, "decision": "CHECK_NEEDED" } if status_code == 200: result["decision"] = "CONTENT_CHECK_REQUIRED" elif status_code in PERMANENT_REDIRECTS: if location: candidate = urljoin(url, location) parsed = urlsplit(candidate) if ( parsed.scheme in {"http", "https"} and parsed.hostname and not parsed.username and not parsed.password ): result["candidate_url"] = candidate result["decision"] = "REDIRECT_CANDIDATE" elif status_code in TEMPORARY_REDIRECTS: result["decision"] = "TEMPORARY_REDIRECT" elif status_code == 403: result["decision"] = "ACCESS_RESTRICTED" elif status_code == 429: result["decision"] = "RATE_LIMITED" elif status_code in {404, 410}: result["decision"] = "RESOURCE_NOT_FOUND" elif 500 <= status_code < 600: result["decision"] = "SERVER_ERROR" return result result = analyze_response( "https://example.com", 301, "https://example.net" ) print(result) 예상 출력은 다음과 같다.
{ "original_url": "https://example.com", "status_code": 301, "candidate_url": "https://example.net", "decision": "REDIRECT_CANDIDATE" } 여기서 중요한 부분은 새로운 주소를 발견하더라도 즉시 기존 주소를 변경하지 않는다는 것이다.
새로운 주소는 검증이 필요한 후보 URL로 저장한다.
또한 이 예제의 URL 형식 검사는 기본적인 입력 검사일 뿐이며, 실제 네트워크 요청을 안전하게 실행하기 위한 SSRF 방어를 대체하지 않는다.
5. HTTP 검사와 브라우저 검사를 분리하기
일반적인 HTTP 클라이언트는 서버가 반환한 응답을 처리한다.
하지만 실제 웹브라우저는 HTML을 렌더링하고 JavaScript를 실행하며 추가적인 리소스를 불러온다.
이 차이 때문에 동일한 웹사이트에서 서로 다른 결과가 발생할 수 있다.
| 검사 방식 | HTTP 검사 | 브라우저 검사 |
|---|---|---|
| 상태 코드 확인 | 가능 | 가능 |
| HTTP 리디렉션 확인 | 가능 | 가능 |
| JavaScript 실행 | 불가능 | 가능 |
| 렌더링된 콘텐츠 확인 | 제한적 | 가능 |
| 화면 스크린샷 | 불가능 | 가능 |
| 처리 비용 | 상대적으로 낮음 | 상대적으로 높음 |
모든 웹사이트를 브라우저로 검사하면 많은 CPU와 메모리가 사용될 수 있다.
따라서 두 가지 검사 방식을 단계적으로 적용하는 구조를 고려할 수 있다.
[웹사이트 URL 목록] | v [HTTP 검사] | v [응답 결과 분석] / \ / \ 정상 후보 추가 확인 필요 | | v v 결과 기록 브라우저 검사 | v 렌더링 결과 분석 | v 최종 상태 분류 일반적인 HTTP 검사 결과가 불명확하거나 페이지 내용이 의심스러운 경우 브라우저 검사를 수행한다.
브라우저 검사에는 Playwright나 Selenium 같은 자동화 도구를 사용할 수 있다.
다만 인증이 필요하거나 자동 접근을 제한하는 웹사이트에 대해서는 해당 접근 제한을 존중해야 한다.
검사 시스템의 목적은 접근이 가능한지 확인하는 것이지, 보안 인증이나 차단 정책을 우회하는 것이 아니다.
6. 변경된 도메인이 동일한 웹사이트인지 검증하기
웹사이트 주소가 다음과 같이 변경됐다고 가정해 보자.
기존 주소: https://example.com 변경 후보: https://example.net 기존 주소에서 새로운 주소로 301 리디렉션이 발생한다고 해서 동일한 서비스라고 확정할 수는 없다.
기존 도메인이 다른 운영자에게 이전되었거나, 광고 페이지로 연결되도록 설정되었을 수도 있기 때문이다.
따라서 몇 가지 추가적인 확인 기준이 필요하다.
웹사이트 식별 정보
- HTML Title
- Meta Description
- 서비스 이름
- 로고 및 파비콘
- 주요 카테고리
- 페이지 구조
- 운영자 공지사항
- 기존 서비스의 공식 이전 안내
이 중 하나만으로 동일한 웹사이트인지 판단하는 것은 위험하다.
예를 들어 파비콘은 다른 웹사이트에서 복제할 수 있고, 웹사이트 제목도 동일하게 설정할 수 있다.
여러 정보를 조합하고 가능한 경우 신뢰할 수 있는 공식 이전 안내를 확인하는 것이 중요하다.
콘텐츠 유사도 분석
웹사이트에서 특징적인 텍스트를 추출한 뒤 기존에 저장된 정보와 비교할 수도 있다.
아래는 Python 표준 라이브러리를 이용한 단순 텍스트 유사도 비교 예시다.
from difflib import SequenceMatcher def calculate_similarity(previous, current): return round( SequenceMatcher( None, previous.lower(), current.lower() ).ratio() * 100, 2 ) previous_title = "Example Developer Community" current_title = "Example Developer Community - Home" score = calculate_similarity( previous_title, current_title ) print(score) 이 방식은 제목이나 짧은 텍스트의 변경 정도를 확인하는 보조 수단으로 사용할 수 있다.
다만 높은 유사도가 동일한 운영자나 동일한 서비스임을 증명하지는 않는다.
콘텐츠 유사도는 주소 변경을 확정하는 기준이 아니라 추가 검토의 우선순위를 결정하는 참고 지표로 활용해야 한다.
7. 웹사이트 상태를 어떻게 분류해야 할까?
주소 관리 시스템에서 모든 검사 결과를 정상과 오류 두 가지로만 분류하면 관리하기 어렵다.
접속 제한과 도메인 변경, 서버 장애는 서로 다른 문제이기 때문이다.
예를 들어 다음과 같은 상태 체계를 구성할 수 있다.
| 상태 | 의미 | 후속 처리 |
|---|---|---|
| ACTIVE | 기존 주소 및 콘텐츠 확인 | 기존 주소 유지 |
| ADDRESS_CHANGE | 새로운 주소로 이전 확인 | 변경 승인 및 반영 |
| REDIRECT_CANDIDATE | 리디렉션으로 새 주소 발견 | 동일 서비스 여부 검증 |
| CHECK_NEEDED | 검사 결과 불명확 | 추가 검사 |
| ACCESS_RESTRICTED | 검사 환경에서 접근 제한 | 제한 상태 기록 |
| NOT_OPENING | 정상 응답을 얻지 못함 | 재검사 |
| RATE_LIMITED | 요청 횟수 제한 | 검사 간격 조정 |
| SERVICE_REMOVED | 서비스 종료 또는 제거 확인 | 등록 상태 검토 |
이 상태는 HTTP 표준에서 직접 정의한 상태 코드가 아니라 주소 관리 시스템을 위해 별도로 설계한 운영 상태다.
예를 들어 HTTP 403이 발생했다면 ACCESS_RESTRICTED로 분류할 수 있다.
하지만 해당 웹사이트에 모든 사용자가 접근할 수 없다는 결론을 내려서는 안 된다.
검사 환경에 따라 결과가 달라질 수 있기 때문이다.
8. 주소 변경 감지 시스템의 전체 아키텍처
지금까지 설명한 검사 단계를 하나의 시스템으로 구성하면 다음과 같다.
[URL Database] | v [Scheduler] | v [Task Queue] | v [HTTP Check Worker] | v [Redirect Analyzer] | v [Decision Engine] / \ / \ [결과 명확] [추가 검사 필요] | | | v | [Browser Worker] | | | v | [Content Comparison] | | +---------+---------+ | v [Result Database] | v [Admin Dashboard] | v [Human Validation] | v [URL Update History] 각 구성 요소의 역할은 다음과 같다.
Scheduler
등록된 웹사이트의 검사 일정을 관리한다.
HTTP Check Worker
HTTP 응답 상태와 헤더, 리디렉션 정보를 수집한다.
Redirect Analyzer
URL 이동 경로와 주소 변경 후보를 분석한다.
Browser Worker
브라우저에서 실제로 렌더링되는 페이지를 확인한다.
Content Comparison
기존 웹사이트의 식별 정보와 신규 주소의 정보를 비교한다.
Decision Engine
수집된 정보를 기반으로 검사 상태를 분류한다.
Admin Dashboard
관리자가 검사 결과와 주소 변경 후보를 확인할 수 있도록 제공한다.
Human Validation
자동으로 확인하기 어려운 주소 변경을 운영자가 최종 검토한다.
이 구조의 핵심은 검사, 판단, 실제 데이터 변경을 서로 분리하는 것이다.
9. 주소 변경 이력을 저장하는 데이터베이스 설계
현재 URL만 저장하는 시스템은 과거 주소를 확인하기 어렵다.
주소 변경 과정에서 잘못된 URL이 등록됐을 경우 복구에도 문제가 생긴다.
따라서 기본 웹사이트 정보와 주소 변경 이력을 분리하는 구조가 적합하다.
웹사이트 기본 테이블
CREATE TABLE websites ( id BIGSERIAL PRIMARY KEY, name TEXT NOT NULL, category TEXT NOT NULL, current_url TEXT NOT NULL, status TEXT NOT NULL DEFAULT 'CHECK_NEEDED', last_checked_at TIMESTAMPTZ, created_at TIMESTAMPTZ NOT NULL DEFAULT NOW() ); URL 변경 이력 테이블
CREATE TABLE website_url_history ( id BIGSERIAL PRIMARY KEY, website_id BIGINT NOT NULL REFERENCES websites(id), previous_url TEXT NOT NULL, new_url TEXT NOT NULL, change_reason TEXT, approved_at TIMESTAMPTZ NOT NULL DEFAULT NOW() ); 검사 결과 테이블
CREATE TABLE website_check_results ( id BIGSERIAL PRIMARY KEY, website_id BIGINT NOT NULL REFERENCES websites(id), checked_url TEXT NOT NULL, http_status INTEGER, detected_url TEXT, result_status TEXT NOT NULL, redirect_chain JSONB, checked_at TIMESTAMPTZ NOT NULL DEFAULT NOW() ); 이렇게 관리하면 현재 주소와 이전 주소, 검사 결과를 각각 확인할 수 있다.
잘못된 주소가 등록되더라도 이전 이력을 참고해 복구할 수 있다.
실제 주소를 변경할 때는 현재 URL 업데이트와 변경 이력 저장을 하나의 데이터베이스 트랜잭션으로 처리하는 것이 좋다.
10. 수백 개의 웹사이트를 검사할 때 발생하는 문제
등록된 웹사이트 수가 증가하면 검사 요청량도 증가한다.
900개 웹사이트를 각각 하루에 한 번 검사한다고 가정해 보자.
HTTP 요청 한 건에 평균 3초가 걸린다면 모든 작업을 순차적으로 실행할 경우 약 45분이 필요하다.
동시 작업을 10개로 실행한다면 이상적인 조건에서 약 4분 30초까지 줄어들 수 있다.
하지만 실제 환경에서는 네트워크 지연, 리디렉션, 타임아웃, 브라우저 검사 등으로 인해 더 많은 시간이 필요할 수 있다.
처리량과 검사 안정성의 균형
| 검사 방식 | 예상 특징 |
|---|---|
| 순차 검사 | 구현이 간단하지만 느림 |
| 제한된 병렬 HTTP 검사 | 처리 효율 개선 |
| 전체 브라우저 검사 | 높은 CPU 및 메모리 사용 |
| HTTP와 브라우저 혼합 검사 | 비용과 확인 정확도의 균형 추구 |
동시 작업 수를 높인다고 반드시 좋은 결과를 얻는 것은 아니다.
특정 도메인에 요청이 집중되면 서버 부하가 증가하거나 요청 횟수 제한에 걸릴 수 있다.
따라서 다음과 같은 기준이 필요하다.
- 전체 동시 작업 수 제한
- 도메인별 요청 수 제한
- 연결 및 응답 타임아웃
- 최대 리디렉션 횟수
- 응답 데이터 크기 제한
- 실패 유형별 검사 간격
- 기존 검사 결과 재사용
검사 속도보다 중요한 것은 안정적으로 반복 실행할 수 있는 구조다.
11. 외부 URL 검사 시스템의 보안 문제
외부 웹사이트에 접속하는 자동화 시스템은 SSRF(Server-Side Request Forgery) 위험을 고려해야 한다.
검사 대상 URL을 충분히 검증하지 않으면 서버가 의도하지 않은 네트워크 주소로 요청을 보낼 수 있기 때문이다.
특히 리디렉션을 자동으로 따라가는 기능은 최초 URL만 검사하는 방식의 보안 검증을 무력화할 수 있다.
프로덕션 환경에서는 다음과 같은 방어 기준을 적용해야 한다.
- HTTP와 HTTPS 프로토콜만 허용
- 루프백 및 사설 네트워크 접근 제한
- 클라우드 메타데이터 주소 접근 차단
- 리디렉션 단계별 URL 및 IP 검증
- DNS 재확인과 실제 연결 대상 검증
- 승인된 네트워크 경로만 사용
- 검사 Worker와 내부 시스템의 네트워크 분리
- 브라우저 검사 프로세스 격리
- 파일 다운로드와 불필요한 권한 제한
텍스트 형태의 URL 검사만으로는 충분하지 않다.
DNS가 반환한 IP와 실제 연결 대상까지 고려해야 하며, 네트워크 수준의 접근 제어를 함께 구성하는 것이 중요하다.
12. 실제 운영에서 발생할 수 있는 실패 시나리오
시나리오 A: 광고 페이지를 새로운 주소로 등록
기존 웹사이트가 다른 도메인으로 리디렉션되지만, 해당 도메인은 실제 서비스가 아닌 광고 페이지다.
상태 코드만 확인하면 정상적인 주소 변경으로 판단할 수 있다.
해결 방법은 신규 주소의 콘텐츠 및 서비스 식별 정보를 검증하는 것이다.
시나리오 B: 일시적인 서버 오류를 서비스 종료로 분류
기존 웹사이트가 일시적으로 HTTP 503을 반환한다.
이 상태를 즉시 서비스 종료로 처리하면 정상적으로 운영되는 웹사이트가 목록에서 사라질 수 있다.
기존 주소를 유지하고 일정 시간 후 재검사하는 방식이 필요하다.
시나리오 C: HTTP 검사와 브라우저 검사 결과가 다름
HTTP 요청은 성공하지만 브라우저에서는 로그인 화면이나 접속 제한 안내가 나타난다.
두 검사 결과를 별도로 기록하고 관리자가 필요한 경우 확인할 수 있도록 구성해야 한다.
시나리오 D: 자동 갱신으로 잘못된 URL 저장
검사 시스템이 새로운 주소를 발견한 뒤 관리자 확인 없이 기존 주소를 덮어쓴다.
새로운 주소가 잘못된 경우 사용자가 전혀 다른 웹사이트로 이동할 수 있다.
변경 후보 저장, 검증, 승인, 실제 주소 갱신을 분리해야 한다.
13. 프로덕션 적용 전 체크리스트
HTTP 검사
- [ ] 상태 코드를 정확하게 분류하는가?
- [ ] 리디렉션 체인 전체를 기록하는가?
- [ ] 최대 리디렉션 횟수를 제한하는가?
- [ ] 리디렉션 루프를 감지하는가?
- [ ] 타임아웃을 설정했는가?
웹사이트 검증
- [ ] HTTP 200 응답의 실제 내용을 확인하는가?
- [ ] 제목과 서비스 식별 정보를 비교하는가?
- [ ] 임시 리디렉션과 영구 리디렉션을 구분하는가?
- [ ] 접속 제한과 서비스 종료를 구분하는가?
- [ ] 변경 후보 URL을 별도로 관리하는가?
데이터 관리
- [ ] 기존 주소를 보존하는가?
- [ ] 주소 변경 이력을 기록하는가?
- [ ] 검사 시간을 저장하는가?
- [ ] 잘못된 주소 변경을 되돌릴 수 있는가?
- [ ] 관리자 검토가 필요한 상태를 구분하는가?
보안 및 성능
- [ ] 내부 네트워크 접근을 제한하는가?
- [ ] 리디렉션 단계별로 연결 대상을 검증하는가?
- [ ] 도메인별 요청 빈도를 제한하는가?
- [ ] 브라우저 실행 환경을 격리하는가?
- [ ] 자동 접근 제한 정책을 존중하는가?
결론
웹사이트 주소 변경 감지 시스템은 단순히 HTTP 요청을 반복하는 프로그램이 아니다.
기존 주소에 접속할 수 있는지 확인하는 것부터 리디렉션 경로 분석, 신규 도메인 검증, 브라우저 렌더링 확인, 변경 이력 관리까지 여러 단계가 필요하다.
특히 주소모음사이트나 웹 디렉터리처럼 외부 웹사이트 정보를 지속적으로 관리하는 서비스에서는 정확한 URL을 유지하는 것이 중요한 운영 과제다.
자동화는 반복적인 검사 작업을 줄이는 데 도움이 된다.
하지만 자동으로 발견된 모든 주소를 신뢰할 수 있는 것은 아니다.
좋은 URL 관리 시스템은 새로운 주소를 빠르게 발견하는 것뿐 아니라, 잘못된 주소가 사용자에게 전달되지 않도록 설계하는 시스템이다.
참고 자료
- RFC 9110: HTTP Semantics
- Google Search Central: Redirects and Google Search
- Google Search Central: Site Moves with URL Changes
- OWASP: SSRF Prevention Cheat Sheet
웹사이트 주소 관리와 링크모음 서비스
다양한 외부 웹사이트를 하나의 플랫폼에서 안내하는 주소모음사이트에서는 URL 변경, 링크 유효성, 카테고리 분류 등 지속적인 정보 관리가 중요하다.
레이더 링크모음은 여러 분야의 외부 웹사이트 주소를 카테고리별로 정리하고 안내하는 주소모음안내사이트다.
이러한 유형의 서비스를 살펴보면 웹사이트 주소 관리가 단순한 링크 수집을 넘어 정보의 정확성과 지속적인 유지관리까지 고려해야 하는 작업이라는 점을 이해할 수 있다.
