네트워크 보안 솔루션: 어느 계층에서 무엇을 보는가

들어가며

네트워크 장비를 다룰 때 반복해서 등장한 두 가지 축이 있다. 트래픽 경로에 어떻게 놓이느냐가 첫 번째다. 통과시키거나 끊는 Inline, 곁가지에서 복사본만 들여다보는 Out of path, 연결을 대신 맺어주는 Proxy—이 셋 중 하나에 속한다. 두 번째는 어느 계층의 데이터를 보느냐다. 소켓 스트림인지, 세그먼트인지, 패킷인지, 프레임인지에 따라 볼 수 있는 식별자와 정보가 달라진다.

 

보안 솔루션도 결국 이 두 축으로 읽힌다. 방화벽이든 침입탐지 장비든 VPN이든, "세 구조 중 무엇이고, 어느 계층에서 무엇을 보는가"를 따지면 그 역할이 드러난다. 이 글에서는 지금까지 다룬 장비 구조와 계층 개념을 한자리에 모아, 대표적인 네트워크 보안 솔루션들을 그 위에 배치해 본다.

세 가지 구조 복습

먼저 장비가 트래픽 경로에 놓이는 세 구조를 정리한다.

구조	위치	다루는 데이터	동작
Inline	트래픽 경로 위	패킷 단위	통과시키거나 드롭(차단)한다
Out of path	경로 밖(미러링)	패킷 단위	복사본만 보고 탐지만 한다(read only)
Proxy	연결을 대신 맺음	소켓 스트림	유저모드 프로세스로 조립된 데이터를 본다

Inline과 Out of path는 패킷 단위 데이터를 다룬다. 반면 Proxy는 유저모드 애플리케이션 프로세스이기 때문에 소켓 수준에서 스트림 데이터, 즉 조립이 끝난 데이터를 다룬다는 점이 다르다.

계층과 데이터 단위 — 식별자로 읽기

보안 솔루션이 "어디서 무엇을 보느냐"를 따지려면, 계층마다 데이터 단위와 식별자가 어떻게 달라지는지를 기준선으로 잡아야 한다.

영역	계층	데이터 단위	주요 식별자
User mode	소켓	스트림(Stream)	—
Kernel mode	TCP·UDP	세그먼트(Segment)	포트 번호
Kernel mode	IP	패킷(Packet)	IP 주소
H/W 인접	Ethernet	프레임(Frame)	MAC 주소

위로 올라가 소켓으로 넘어가면 스트림 데이터를 다루고, 아래로 내려갈수록 세그먼트·패킷·프레임으로 단위가 바뀐다. 보안 솔루션을 분류하는 질문은 결국 이것이다. 스트림을 볼 것인가, 세그먼트를 볼 것인가, 패킷을 볼 것인가. 패킷을 본다면 그중에서도 IP를 볼 것인가 무엇을 볼 것인가.

네트워크 보안 솔루션 종류별 대응 계층

수동형 보안 인프라 — 정책 기반

여기서 한 번 선을 그을 필요가 있다. 지금부터 이어지는 솔루션들은 한마디로 보안 인프라스트럭처다. 휴전선의 철조망 같은 것이다. 매우 수동적이고, 자동화된 것은 별로 없다. 이쪽에서 중요한 것은 정책이다. 무엇을 허용하고 무엇을 막을지를 정책으로 정해 두고, 그 정책대로 통제한다.

PC 방화벽과 NAC

가장 기본적인 것은 PC 방화벽이다. 호스트에 설치되는 형태라 장비라고 하기는 어렵다.

 

장비 형태로 넘어가면 NAC(Network Access Control)가 있다. NAC는 L2 수준에서 동작하면서, IP 주소와 MAC 주소를 쌍으로 매핑해 감시한다. 프레임 단위 데이터를 보고, 허용되지 않은 IP-MAC 조합이 인지되면 그 호스트의 네트워크 접근을 차단한다. 차단 방식은 여러 가지다.

• L2 인터페이스 다운: 해당 포트의 인터페이스를 물리적으로 내려 통신 자체를 끊는다.
• ARP 스푸핑: ARP를 공격해 게이트웨이 접근을 방해한다. 다만 장애를 많이 일으켜 요즘은 거의 쓰지 않는다.
• HTTP 리다이렉트: 가장 많이 쓰는 방식이다. 유해 사이트 차단처럼, 허용되지 않은 호스트가 HTTP를 쓰면 다른 곳으로 돌려보낸다.

NAC에는 흔히 Probe라는 센서가 따라붙는다. Probe는 Out of path 구조로 L2 수준의 트래픽을 수집해 감시하고, 로컬 LAN에서 운영되므로 빠르게 반응한다. 그리고 진짜 NAC는 인증 체계와 연동된다. 컴퓨터가 네트워크에 접근하려 할 때 인증 서버가 허용 여부를 판단하는데, 대표적인 것이 RADIUS 기반 인증 체계이고 시스코의 TACACS+ 같은 것도 있다.

 

유선이 NAC라면, 무선에는 WIPS(MIPS)가 있다. 무선 네트워크 접근을 차단하는 솔루션이다. 보안 때문에 무선을 못 쓰게 하는 조직에서, 누군가 몰래 무선 랜카드를 쓰거나 정보를 유출하려는 것을 인지하고 차단한다. RADIUS·TACACS+가 정상 인증을 통과시키는 쪽이라면, WIPS는 "막겠다"는 성격이 훨씬 강하다.

방화벽 3종과 Hybrid F/W

방화벽은 동작 계층과 구조에 따라 몇 갈래로 나뉜다.

종류	계층	구조	특징
Packet Filtering F/W	L3–4	Inline	IP·포트를 보고 허용/차단. Stateful Inspection 수반
Screening Router	L3	Inline	라우터에 ACL(Access Control List) 룰로 간단한 제어
Application Proxy F/W	L7	Proxy	애플리케이션 수준에서 동작

Packet Filtering 방화벽에는 Stateful Inspection이라는 말이 늘 따라붙는다. 별것은 아니고, TCP의 상태 전이를 모니터링하는 것이다. 연결 전, 연결 중, 연결된 상태처럼 TCP는 상태가 전이되는데, 이 전이를 추적하다가 비정상적인 전이가 보이면 잘못된 것으로 인지한다. TCP 세션 추적이 필요하고, 동시에 몇 개의 세션을 관리할 수 있느냐가 방화벽 성능의 지표가 되기도 한다.

 

Packet Filtering 방화벽(L3–4)과 Application Proxy 방화벽(L7)을 한 장비가 함께 갖추면 Hybrid F/W라고 부른다.

WAF, SSL VPN, VPN GtoG

같은 수동형 인프라 안에서도 더 위쪽 계층에서 동작하는 솔루션들이 있다.

• WAF(Web Application Firewall): L7에서 Proxy 구조로 동작한다. HTTP 트래픽을 모니터링해 웹을 공격하는 행위인지 보고 대응한다. 앞단의 SSL 가속기(이것도 보통 Proxy로 구현된다)가 SSL 통신을 평문으로 디코딩하면, WAF가 그 평문을 보고 공격 여부를 판단한다.
• SSL VPN: 기존 VPN과 달리 특정 웹 서비스에 대해서만 적용되는 애플리케이션 VPN이다. Proxy 형태로 동작한다.
• VPN GtoG: 앞 글에서 다룬 IPSec 기반 망대망 VPN이다. L3에서 게이트웨이(Inline) 형태로 동작한다.

UTM

이런 기능들을 한 장비에 모두 우겨넣은 것이 UTM(Unified Threat Management)이다. 웹 방화벽도 되고, 패킷 필터링도 되고, NAT·라우팅도 되고, 보안 게이트웨이와 VPN도 되는 올인원 장비다. 기능이 많아 편하지만, 거꾸로 어느 것도 고성능을 내기 어렵다는 약점이 있다. 그래서 UTM은 중소형 환경에 하나만 두고 끝내려 할 때 많이 쓴다.

능동형 보안 — 룰 기반과 DPI

여기서 두 번째 선을 긋는다. 지금까지의 보안 인프라가 정책 중심이었다면, 이다음부터는 능동적으로 움직이는 체계다. 무게중심이 정책에서 룰(rule)로 옮겨간다.

 

이 단계의 장비는 패킷 헤더의 IP·포트·상태를 보는 데서 그치지 않고, 애플리케이션 수준까지 끌어올려 본다. 곧 DPI(Deep Packet Inspection)를 한다. 패킷의 페이로드까지 다 뜯어 그 안에 특정 패턴, 즉 시그니처가 있는지 조사한다.

IPS와 NIDS

DPI를 하는 대표적인 보안 장비가 IPS와 NIDS다. 둘은 구조가 다르다.

• IPS: 기본적으로 Inline 장비다. 침입이 탐지되면 막는 것까지 한다.
• NIDS: 같은 기능을 Out of path 형태로 설치한 것이다. 경로 밖에서 복사본만 보므로 탐지만 한다.

이 둘은 글에서 다룬 장비 3구조(Inline / Out of path / Proxy)와 정확히 맞물린다. 같은 침입탐지 능력이라도 어디에 어떻게 놓느냐에 따라 차단까지 하는 장비(IPS)가 되거나 탐지만 하는 장비(NIDS)가 된다.

NIDS 침입탐지 룰

능동형 보안에서 핵심이 되는 룰은 생각보다 단순하다. NIDS가 쓰는 룰은 대략 이렇게 생겼다.

alert TCP any any -> any 80 (
    msg: "TestAttack";
    content: "Test";
    sid: 12345;
    rev: 1;
)

각 부분의 의미는 다음과 같다.

항목	값	의미
Action	alert	매칭되면 경고(로그)를 낸다
Protocol	TCP	검사할 프로토콜
Source	any any	출발지 IP·포트는 상관하지 않음
Direction	->	트래픽 방향
Destination	any 80	목적지 IP는 무관, 포트는 80(웹)
msg	"TestAttack"	로그에 남길 메시지
content	"Test"	페이로드에서 찾을 시그니처
sid / rev	12345 / 1	룰 식별자 / 수정 버전

동작은 단순하다. 목적지 포트 80(웹)으로 가는 TCP 트래픽의 페이로드를 검사해, content에 지정한 "Test"라는 문자열이 있으면 "TestAttack"이라는 메시지로 로그를 남긴다. 헤더로 IP·포트를 보고, DPI로 페이로드 안에서 시그니처를 단순 패턴 매칭하는 것이다.

진화의 사슬 — Sandbox에서 SIEM까지

룰 기반 능동형 보안도 한계가 있다. 특히 파일 형태로 유입되는 악성코드는 막기 어렵다. 그래서 IPS에 Sandbox 기술을 더한다. Sandbox는 가상화 기술로, 네트워크로 들어온 실행 파일을 가상 머신 안에서 실제로 실행해 본다. 가상 머신이라 문제가 생겨도 안전하고, 그 안에서 이상 행위를 하는지 관찰해 알려지지 않은 위협까지 막는다. 이 개념으로 등장한 것이 MPS(Malware Prevention System)다.

 

MPS도 완벽하지는 않아서, 결국 클라우드의 평판 시스템과 연결된다. 파일이 들어오면 스스로 분석도 하지만, 클라우드에 질의해 해당 파일의 평판을 확인한다.

 

그런데 이런 장비들은 정탐·오탐을 가리는 과정에서 로그를 엄청나게 쏟아낸다. 로그가 감당하기 어려운 수준으로 불어나면서 관리 체계가 필요해진다. ESM(Enterprise Security Management)이 여기서 등장하는데, 보안 장비들의 로그 관리와 헬스 체크를 담당한다. 방대한 로그를 분석하고 사고를 역추적하는 데까지 범위를 넓히면 SIEM(Security Information and Event Management)이 된다.

룰 변경의 함정

이렇게 보안 솔루션을 정리하는 데에는 실무적인 이유가 있다. 네트워크를 이루는 구성 요소에는 보안 스위치, NIDS 같은 탐지 체계가 함께 들어가 운영된다. 이들이 같이 동작하다 보면 장애나 이상 현상이 생길 때가 있다.

룰을 건드릴 때

IPS나 NIDS는 룰 기반으로 동작한다. 룰을 변경하면 그전까지 나지 않던 장애가 발생하기도 한다. 어떤 보안 솔루션이 무엇을 하고 어느 계층에서 무엇을 보고 있는지 알아 두면, 이런 상황에서 원인을 짚기 쉬워진다.

마무리

네트워크 보안 솔루션은 종류가 많지만, 읽는 법은 두 축으로 좁혀진다. 장비가 Inline·Out of path·Proxy 중 어디에 속하는지, 어느 계층의 데이터를 보는지다. 수동형 정책 기반의 NAC·방화벽·WAF·VPN부터 룰 기반 능동형인 IPS·NIDS, 그 연장선의 Sandbox·MPS·ESM·SIEM까지—결국 이 두 축 안에서 읽힌다.