当前位置:首页 >> IT/计算机 >>

[5] 分布式网络内容监控审计系统的设计与实现

第 31 卷 增刊                      (自然科学版 )         华 中 科 技 大 学 学 报 Vol. 31   . Sup 2003 年   月     . Huazhong Univ. of Sci. & Tech. (Nat ure Science Edition)      Oct.   2003 10 J

分布式网络内容监控审计系统的设计与实现
李慧君  李建民  徐  鹰
( 南昌大学网络中心 )
摘要 : 讨 论了 高速 网络 环境 下一 种分 布式 网络 内容 监控系统的 设计与实 现. 为 了降低 丢包率和 提高性 能 ,系 统采用网络探针技术来接收数据包 , 且采用集群负载均衡的分布式体系结构 ,实现数据包重组还原 ,利用自动 机技术对敏感特征关键词进行匹配 , 从而实现对网络内容的监控和审计. 关     : 分布式 ; 集群 ; 负载均衡 ; 网络探针 ; 内容监控审计 键 词 中图分类号 : TP393    文献标识码 : A    文章编号 : 167124512 (2003) S120196203

   本文针对高速网络环境提出了一种采用网络 探针的分布式网络内容监控审计系统 , 数据采集 采用基于边界路由器的 网络探针代 替以往的网 卡 , 数据包重组以及各种协议的内容分析采用分 布式集群的方式替代以往的单机处理 , 这样大大 提高了数据处理效率 , 可以做到支持多种网络协 议的内容审计 ,它克服以往内容监控审计系统丢 包率高 、 仅支持单个协议的缺点
[ 1 ,2 ]

结构 ,交换机转发的数据由数据接收机接收 , 数据 接收机负责负载均衡的策略分配和监测集群中各 个机器的负载 , 接收数据后再转发给集群中的各 个机器进行数据包处理和内容审计 . 同传统的网 络内容监控审计系统相比 , 分布式结构能更好地 实现系统的实时性、 规模的可扩充性 , 更能满足高 速网络和多种协议内容审计的需要 .

.

1  分布式网络内容监控审计系统的

结构
   网络监控审计系统的数据采集有两种方式 :
a . 在边界路由器和内网之间设置类似防火墙的

监控主机 ,可以对出入的所有数据包进行检查 、 拦 截和阻断 ,但是高速网络下很容易影响网络性能 和网络带宽 ; b. 监听方式 , 也就是所谓的 sniffer 方式 ,传统的方式是把一台主机的网卡设置成混 杂模式 , 可以接受局域网所有的广播报 ,本文采用 支持探针技术的三层交换机 , 监听方式对原有网 络设置不做改动 , 不影响网络带宽 ,若监控主机发 生故障无法正常工作 , 也不会影响网络的正常活 动. 如图 1 所示 , 本系统采用监听方式中的探针 方式 ,支持探针技术的三层交换机可以映射一个 交换机的端口出来转发 所有经过交 换机的数据 包 , 由一台主机设置混杂模式网卡来专门接收转 发的数据包 . 由于在高速网络环境下接收数据包 的主机如果独立完成数据包的重组和内容的监测 审计 ,必定丢包率较大且负载很重 , 因此在数据处 理和内容审计模块采用负载均衡的分布式体集群
收稿日期 : 2003209221.

图1  系统结构图

2  系统功能模块及实现
2. 1   功能概述

系统主要有 4 种功能模块 : 数据采集模块 、 数 据重组模块 、 特征匹配模块和集群控制模块 . 通过 3 层交换机 来捕 获网 络上 的原 始数 据 , 然后通过 探针把这些原始数据包转发给数据接收机 , 数据 接收机不仅要设置混杂模式实现数据的接收 , 而 且要负责监视数据处理的负载均衡集群的负载和 数据包的再次转发策略 . 为了实现对传输明文的 检查 ,必须在解析数据包头的基础上进一步重组 还原完整数据 . 根据 tcp/ ip 原理中 ip 数据封 装、 数据包分 片及分片的重 组等技术对 数据进行还 原 . 数据包重组还原模块将采集的 ip 数据包重组 为 t cp 数据包 , 再进一步重组为应用层协议信息 .

作者简介 : 李慧君 (198 02) ,女 , 硕士研究生 ; 南昌 , 南昌大 学网 络中 心 (330029) .

增刊             李慧君等 : 分布式网络内容监控审计系统的设计与实现               1 97

特征匹配模块将信息过滤 , 若发现敏感信息将其 相关信息记入数据库中 , 在客户端可以实现对信 息的显示 、 查询 、 . 重组还原和特征匹配模块 统计 由负载均衡集群负责 . 功能模块原理见图 2.

本 机 器 CPU 负 载 的 Agent , Agent 通 过 WIN32A PI 调用可以 获得到 当前 Wi ndows 系统 的 C PU 负载 . 同时这些 Agent 和数据接收机上的 负载监控程序采用 CORBA 进行通信 , 负载监控 程序可以实时监控到各台机器的当前负载 . 对于集群的负载均衡策略 , 本系统采用加权 最小负载法 , 也就是由新的任务提交的情况下 ,选 用加权最小负载 ( = 当前负载 / 处理能力 ) 的处理 机为新数据包的处理者 . 2. 2. 3   数据重组模块 将捕获的数据 包一步一步 重组为 应用层数 据 . 根据 ip 包头中的信息 , 源地址 、 目的地址和标 识号等 , 可以识别出哪些 ip 包属于同一个 tcp 或 者 udp 包 ,并且将他们重组为 t cp 或者 udp 包 ; 再 根据 tcp 或者 udp 包头中的信息 ( 源端口号 、 目的 端口号 、 序号等) , 可以恢复原始会话的内容 ,经过 进一步处理可以完成应用层协议的重现 , 并对内 容还原分析 . 以电子邮件为例 : 电子邮件一般是以 编码 的 方 式 在 网 络 上 进 行 传 输 , RFC1341 (M IM E) 中有详细的说明 , 邮件的内容编码标志 域 ( cont ent2 Transfer2 Encoding) 指出了相应的编码 方式 . 邮件编码方式主要分为 5 种 : 8 bit ,7 bi t ,Bi2
nary ,Quot ed2 print able 和 BASE64 编码 . 8 bit ,7 bit 和 Binary 编码方 式的数据在邮件发 送和接收过

图2  功能模块图

2. 2   具体实现 2. 2. 1   数据采集模块

数据采集的主要 功能是由 3 层交换 机完成 的 , 由于高速交换机支持探针技术 , 因此数据包的 丢报率大大降低 . 探针技术把数据包通过交换机 的一个端口直接转发给数据接收机 . 在数据接收 机上采用 wi npcap 开发包上接收三层交换机转发 的数 据 包 . winpcap ( wi ndows packet capt ure ) 是
windows 平台下一个 免费的网络 访问系统 . wi n2 pcap 为 wi n32 应用 程序提供访问网络 底层的能

力 . 它提供了以下的各项功能 :捕获原始数据包 , 包括在共享网络上各主机发送/ 接收的以及相互 之间交换的数据包 ;在数据包发往应用程序之前 , 按照自定义的规则将某些特殊的数据包过滤掉 ; 在网络上发送原始的数据包 ; 收集网络通信过程 中的统计信息 . 捕获数据用到的两个函数 : int pcap - dispatch(pcap - t 3 p , int cnt , pcap - han2
dler callback , u - char int pcap - loop ( pcap - t call back , u - char
3 3

程中 都 是 以明 文 方 式 进行 传 输 的 ; 而 Quot ed2
printable 和 BAS E64 编码是 以非明文方 式传输 ,

是当前电子邮件中最常用的编码方式 , 根据其相 应的编码规则可以对邮件进行相应的解码 , 对邮 件报文信息进行翻译 .
2. 2. 4   特征匹配模块

user ) ;
3

敏感特征关键词的匹配速度可以说是决定系 统性能的关键 , 解决不好 , 势必成为系统瓶颈 , 严 重影响系统的性能 ,甚至导致失败 . 字符串的匹配
user ,

p , int cnt , pcap - handler
3

user ) .
3

另一个函数 :voi d pcap - dump (u - char
st ruct pcap - pkthdr

h , u - char 3 sp ) 把数据包写 到一个由 pcap - dump - open () 打开的文件中 . 2. 2. 2   集群以及负载均衡控制模块

算法直接影响系统的检测效率 . 当对网络数据包 匹配特定字节串的特征时 , 需要一个有效的字符 串搜索算法 . 利用自动机技术进行字符串匹配是 加快匹配速度的有效方法 . 将所有关键字分解成 不同的状态构成自动机 . 该自动机以文件内容字 节作为输入 , 匹配到的关键字作为输出 . 整个系统采用网络探针和分布式集群技术 , 解决了传统的监控审计系统在高速网络环境下丢 包率高 、 性能低下 、 无法支持多种协议的问题 . 但 是本系统是基于文本内容的 , 当敏感信息以图片 等其他形式出现时则无法识别 ; 对匹配的精确度 有待提高 ,需要对现有的匹配算法进行改进 , 解决

集群是指相互独立的一些系统在一台负载监 视器的控制下作为一个系统共同工作 . 构造集群 的目的是为了提高系统的可靠性和规模的可扩展 性 . 集群的核心技术就是构造负载监视器和实现 任务分配策略的算法 . 负载监视器负责监视集群 系统中的各台机器的当前负载 , 任务分配策略根 据各台机器的当前负载进行任务分配以及在各台 机器之间负载进行均衡 . 本系统采用在各个集群的机器上都安装监视

                               (自然科学版)             31 卷 1 98 华 中 科 技 大 学 学 报 第

模糊匹配问题 .
参 考 文 献

实现 . 计算机工程与应用 ,2002 , 18 : 149~150
[ 2] 翟健宏 ,刘亚维 . 基于边 界路由 器的有 害网 页动态 封

堵技 术及 实现 . 计算机工程 , 2002 ,28 (6 ) : 127~128

[ 1] 许   ,袁   ,史美林. 网络监控审计系统的 设计与 霆 萌

Design an d implemen ta tion of d istr ibuted n et wor k inf or mat ion mon itor an d a udit system
L i H uij u n  L i J ia n min   Xu Yi ng

Abstract : This paper di scusses t he design and implement at ion of dist ributed network information monitor and audit syst em in high speed net work. Dat a is collected by net work probe i n order to enhance t he perfor2 mance. Di st ri buted architect ure and clust er load balance policy are adopted to reconstruct t he packets . Au2 tomat a technology i s used to match sensitive key words. Key wor ds : distribut ed ; clust er ; load balance ; net work probe ; information monitor and audit Li Huijun  Post graduat e ; Net work Center , Nanchang U ni versit y , Nanchang 330029 , China.