IDS / IPS — 침입 탐지·방어 시스템

종합 경계 보강편 — 방화벽(23~24)은 “허용/차단” 정책 판단 장비입니다. 하지만 허용된 세션 안에 악성 페이로드가 섞여 있으면? 규칙 기반으로는 못 잡습니다. IDS/IPS는 “내용을 들여다보는” 계층 — 방화벽 옆 또는 방화벽 안에서 패킷 페이로드·행위 패턴을 분석해 공격을 탐지/차단합니다.

방화벽 + IDS/IPS 조합이 현대 경계 방어의 기본. 최근 NGFW(Next-Generation Firewall)는 이 둘을 한 장비에 통합합니다.

1. IDS vs IPS — 한 글자 차이의 무게

구분	IDS (Intrusion Detection System)	IPS (Intrusion Prevention System)
배치	패시브 — SPAN/TAP으로 트래픽 복사본 분석	인라인 — 트래픽이 장비를 통과
지연	원본 트래픽 지연 없음	처리 지연 존재 (보통 마이크로초)
능력	탐지·경보만	탐지 + 차단 + 세션 리셋
장애 영향	IDS 장애 = 가시성 상실	IPS 장애 = 트래픽 차단 (Fail-open/closed 설계 필요)
현재 추세	단독 IDS는 줄어듦	NGFW에 통합된 IPS가 주류

실무 관점: “IDS만 두고 알람만 본다”는 현대에서는 드물고, 인라인 IPS가 기본이되 민감한 구간(패킷 손실을 허용 못하는 서비스)은 IDS-only 모드로 돌리는 하이브리드가 흔합니다.

2. 탐지 방식 — Signature / Anomaly / Reputation

Signature-based (시그니처 기반)

알려진 공격 패턴(바이트 시퀀스, URL 패턴, 특정 헤더 조합)과 매칭. Snort rules, Suricata rules가 대표적.


alert tcp any any -> $HOME_NET 445 (msg:"EternalBlue SMB Exploit Attempt"; 
  content:"|ff|SMB"; offset:4; depth:4; 
  content:"|72 00|"; distance:59; within:2; 
  sid:1000001; rev:1;)

장점: 오탐 낮음, 설명 가능
단점: 0-day 못 잡음, 시그니처 DB 업데이트 필수

Anomaly-based (이상 탐지)

정상 트래픽 기준선(baseline)을 학습한 뒤 통계적 이탈을 탐지. 예: 평소 1Mbps 나가던 포트에서 갑자기 100Mbps, 평소 안 쓰던 프로토콜 발생.

장점: 새로운 공격도 잡힐 수 있음
단점: 오탐 많음, 기준선 학습 기간 필요

Reputation-based (평판 기반)

외부 위협 인텔리전스로 유명한 악성 IP/URL/해시를 차단. Cisco Talos, Team Cymru, AbuseIPDB 등이 소스.

장점: 간단·즉효
단점: DB 갱신 지연, 클라우드 의존

현장 배치는 이 세 방식을 조합합니다. “Signature가 1차, Anomaly로 보완, Reputation이 저비용 차단” 정도의 스택.

3. 대표 플랫폼

Snort / Suricata (오픈소스)

Snort: Cisco가 인수한 고전. NGFW의 FirePOWER 엔진 안에 들어간 바로 그 엔진.
Suricata: 멀티스레드 설계로 고성능. Snort 룰 호환 + 자체 확장.

간단 Snort 배포:


# Suricata 설치 (Ubuntu)
apt install suricata
# 룰 업데이트
suricata-update
# 인터페이스 지정 후 실행 (인라인: nfqueue, IDS: af-packet)
suricata -i eth0

Cisco Firepower (FTD / FMC)

Cisco의 NGFW 라인. ASA 펌웨어 위에 FirePOWER 서비스를 합친 통합 플랫폼. 관리는 FMC(Firepower Management Center) 또는 FDM(Device Manager).

IPS 엔진: Snort 3 기반
정책: Access Control Policy → IPS Policy → File Policy 계층
SSL 복호화: 암호화 트래픽을 인증서로 풀어 내용 검사(프라이버시·법적 고려 필요)

Palo Alto / Check Point / Fortinet

Cisco 외 주요 벤더. Palo Alto는 App-ID/User-ID 기반 정책, Check Point은 “Blade” 아키텍처, Fortinet은 ASIC 가속이 특징.

4. 배치 토폴로지

전통 경계 배치


Internet ── [Firewall] ── [IPS] ── [Core Switch] ── 내부망

방화벽 뒤에 IPS를 별도로 배치. 허용된 세션만 IPS가 검사 → 시그니처 처리량 부담 감소.

NGFW 통합 배치


Internet ── [NGFW (ASA+FirePOWER / Palo Alto / FortiGate)] ── 내부망

한 장비에서 L3/L4 필터 + IPS + App-ID + URL 필터 + SSL 복호화 동시 수행. 운영 단순화, 가시성 통합.

동-서 트래픽용 내부 IPS

데이터센터 내부 VM-VM 트래픽 감시용. SDN 환경에서는 마이크로세그멘테이션(예: VMware NSX, Cisco TrustSec)으로 대체하는 추세.

5. SSL/TLS 복호화 — 없으면 반만 보는 셈

오늘날 웹 트래픽의 90%+ 가 TLS. 암호화된 페이로드는 IPS가 볼 수 없어 시그니처 매칭이 껍데기만 훑습니다. 이를 해결하려면 SSL 인터셉트(MITM 스타일):

조직이 자체 CA 인증서를 만들어 클라이언트에 루트 CA로 설치
NGFW/IPS가 outbound TLS 세션을 가로채 자체 서명 인증서로 재암호화
장비 안에서 평문 분석 → 재암호화 후 전송

고려사항:

프라이버시/법적 문제: 직원 개인 트래픽도 보이게 됨 → 정책·공지 필수
인증서 피닝(Pinning): 일부 앱(모바일 은행, Dropbox 등)은 피닝으로 MITM 거부 → 예외 목록 관리
성능: 복호화·재암호화 CPU 비용 큼

6. 탐지 → 대응 워크플로

IPS가 공격을 잡았다고 끝이 아닙니다. 실제 운영 플로우:

IPS 경보 발생 (FMC/Suricata 로그)
SIEM(Splunk, Elastic, QRadar)으로 집계 — 다른 이벤트와 상관 분석
SOAR(Playbook 자동화) — 공격 IP 자동 차단, 티켓 생성
포렌식 — 패킷 캡처, 엔드포인트 조사(EDR)
업무 복구 + 사후 분석

IPS 단독으로는 “탐지만” 하고 대응은 SOC 인력 + 자동화 도구가 담당합니다.

7. IDS/IPS 설계 시 함정

“전부 차단” 모드로 시작하지 마세요. 운영 트래픽에 오탐이 섞여 서비스가 죽습니다. 처음엔 alert/log 모드 → 1~2주 튜닝 → 인라인 차단 전환.
시그니처 업데이트 자동화. 수동 업데이트는 거의 100% 잊힘.
SSL 복호화 예외 목록. 은행·의료·HR 도메인은 복호화하지 않는 것이 원칙.
Fail-open vs Fail-closed. 인라인 장비 장애 시 트래픽을 흘릴지(Fail-open, 가용성 우선) 막을지(Fail-closed, 보안 우선) 미리 결정.
PCAP 용량. 전량 PCAP은 디스크를 금방 삼킵니다. 경보 시점 ±5분 정도 선별 저장이 현실적.

8. 결론

IDS/IPS는 방화벽이 못 보는 페이로드 수준 공격을 잡습니다. 현대 경계는 둘을 결합한 NGFW가 표준.
시그니처·이상·평판 세 방식의 조합으로 동작하며, 각각 장단점이 명확하므로 단일 방식에 의존하지 않습니다.
SSL 복호화 없는 IPS는 암호화 트래픽에 대해 반쯤 눈 감은 상태. 다만 프라이버시·피닝·성능 고려 필수.
탐지는 시작일 뿐. SIEM·SOAR·EDR과 연계된 대응 워크플로가 실제 방어력을 만듭니다.
“IPS 샀으니 끝” 아닌 튜닝/업데이트/운영이 전체 비용의 70% 이상이라는 점은 사내 설득 시 빼놓지 말아야 합니다.

출처: Snort User Manual, Cisco FirePOWER Configuration Guide, NIST SP 800-94

태그: IDS, IPS, NGFW, Snort, Suricata, Security Monitoring

→ 다음 편: 26_IPv6 보안 — 지금까지의 보안 스택이 대부분 IPv4 중심. 듀얼스택 시대 IPv6 특유의 사각지대(ND 공격, RA 스푸핑, 확장 헤더)를 메웁니다.