子鱼 ' Blog

自2000年后,互联网技术飞速发展,邮件技术已经逐步成为了现代社会最重要的沟通工具之一。然而，予生俱来的是垃圾邮件对邮件用户的侵扰；到2006年末，这种侵扰已经成为公认的最大的互联网应用威胁之一。有许多数字让人触目惊心：每天全球产生的垃圾邮件达1000封；用户收到的邮件之中，有94％是垃圾邮件；美国、中国是全世界最大的两个垃圾邮件生产国家和消费国；中国网民每周收到的垃圾邮件数平均达到了19.4封。这些垃圾邮件充斥着各种非请求的商业广告、色情与反动内容、政治敏感话题传播、甚至计算机病毒与恶意代码，给我们正常的邮件收发增加困难，使企业的网络与邮件资源被恶意浪费，甚至有可能对组织与个人的硬件资产遭受入侵、破坏等损失。垃圾邮件最新的形式是钓鱼邮件，Spammer通过传播类似银行及会员机构邮件的方式，来骗去用户的用户名和密码，直接获取非法利益；而有些则通过恶意代码控制计算机，使网络用户的计算机变成Zombie　PC，利用这些PC来发送大量广告等垃圾邮件以获取商业价值。可以说，反垃圾邮件的斗争以及到了白热化的程度。


中国的反垃圾邮件技术研究几乎和国外同步，但产品化进程比较慢，基本上到2003年后才有初步能够应用的专业级产品与系统方案。在国际上，有两大开源社区比较权威，目前世界上大部分垃圾邮件的核心技术都来源这两个社区，一个是著名的SpamAssassin，一个是，Razor。而中国目前还没有形成比较成规模的反垃圾邮件技术开源社区。在技术上，特别是产品结构上都借鉴这些著名的先行者。


说到反垃圾邮件的技术方案，一般有三种类型的解决方案。


第一种是初级的用户级客户端方案。


大部分人都认为客户端方案效果不好，这里面其实有个误区，很多说法是包含了商业利益在里面的，所以就不能够客观的评价。客户端方案，有些人就认为是Foxmail、Outlook之类的邮件客户端自带的简单的黑白名单判别垃圾邮件功能，其实这是有误的。真正的客户端方案，不仅包含这些黑白名单功能，也包括其他类型方案一样的一些手段，象实时RBL、指纹检查、信任网络、甚至包含内容过滤等技术，由于它服务的对象是“客户端个人用户”，没有关注邮件服务器而已，然后它仍然是专业级别的反垃圾邮件防方案。关键是，需要找到专业的产品，而且这种方案在50人以下应用环境时具有很好的经济价值，在超过50人的应用环境下，这种方案就没有其他的方案更具竞争力。代表产品是全球知名的反垃圾邮件技术公司Cloudmark公司的个人版反垃圾邮件产品。


第二类技术方案是反垃圾邮件网关方案。


这种方案是目前应用最广泛，也是应用最简便的企业级反垃圾邮件方案。这种方案是各种反垃圾邮件技术综合到一台设备或者软件系统当中去，放在邮件服务器的前端，对进出邮件系统的所有邮件进行过滤、审查，对违反规则或者具有明显垃圾邮件特征的邮件予以处置。　网关型的反垃圾邮件方案，其形态可以是专用硬件产品，也可能是软件形式。需要特别强调的是，传统上认为硬件产品比软件产品好，这种认识也是有很大偏差的，需要差别的看：如果反垃圾邮件网关软件能够与邮件系统实现真正意义上的无缝结合的化，是能够大大提升系统的整体性能的，而不是象部分商业公司宣称的那样，硬件产品一定是最好的；原因很简单：　这中间节省了两个计算环节（反垃圾邮件系统在将邮件系统解包检后，可以不用打包就可以直接转给邮件系统接受；而邮件系统不需要先对邮件进行解包，就可以直接接受－－减少动作，就意味着性能的提高）。


网关方案做为最主要的企业级反垃圾邮件方案，因各商业和研究机构的技术路线不同，主要有３种：


（１）基于经验规则和内容检查技术的技术路线。这类反垃圾邮件网关，以内容检查为主，主要的检查手段包括关键字过滤、贝叶斯过滤、基于规则的评分系统、邮件指纹检查、黑白名单技术、速率控制等等。需要的是提取样本、提取内容特征等信息，来检查与过滤垃圾邮件。代表的产品是梭子鱼反垃圾邮件系统。　需要注意的是，这类产品大多数需要进行大量的内容检查计算，对产品的系统结构和硬件平台的系统资源要求比较，性能峰值不是很高，特别是部分产品是用pear编写的，程序的限制，使得性能成为其最主要的瓶颈。　这点用户在选择时是需要关注的，选型时尽量采用高一点的型号，以应对突然的邮件高峰。



（２）智能行为识别技术路线。由于认识到基于规则与内容技术路线在性能上的局限性，有部分技术人士摈弃了内容检查，而是将产品方案的主要检查手段放在了邮件的协议分析。　这类技术通过总结和分析垃圾邮件发送者的各种共性行为，比如用客户端群发软件发送、高频率发送、Dns伪装、IP欺骗等等方法，解析出这些“垃圾行为”的特征并形成规则，用这写规则来判别一封邮件是否合法。这类技术，同时包括了众多的邮件合规性认证机制；同时也包含了部分杀病毒等内容层技术。　同样需要大家注意的是，这类技术针对的是大规模的、以群发为特征的垃圾邮件，而针对单个、无规律的、甚至是合法来源发送非法内容的邮件，没有很好的解决方案。因为它不强调内容检查，而对对垃圾邮件判定最重要的标准是“内容”非法！　但，这种技术已经能够拒绝大部分垃圾邮件了，因为绝大部分垃圾邮件确实是通过群发的方式产生的。　这类产品的代表厂商是敏讯科技，以及来自台湾的硕奇公司反垃圾邮件产品（该公司更宣称完全运用行为识别技术来反垃圾邮件）。


（３）混合模式路线。这种技术路线强调过程化处理技术，利用过程化处理技术整合各种反垃圾邮件技术，既包括基于协议分析的智能行为识别，也包括基于规则与内容检查的模式对比路线。反垃圾邮件网关在智能过程化处理平台的控制下，有次序的让邮件接受各个层次的合规性检查与内容检查。综合应用行为识别技术，在协议层对TCP/IP进行分析规范发件连接行为、在SMTP层对邮件从Hello、Auth、From、To、Data等各个层次进行合规性检查，对违发正常规则的邮件进行重点分析，对明显的群发行为予以处置。而内容检查阶段，也是严格按照“过程”来进行的，病毒查杀、用户级黑白名单、关键字、贝叶斯过滤、指纹检查、以及其他的基于内容检查的技术。　这类网关的设计架构比较好，“过程化”的处理办法，让大量的垃圾邮件在“前端”就被过滤掉，而在内容阶段系统的工作量非常的少，能够大幅度的提升系统的整体工作性能和垃圾处理能力。　这类产品的代表是Commontouch反垃圾引擎，以及智海华程CyanFilter反垃圾邮件引擎。　他们共同的特点是过程化处置，都拥有自己核心的反垃圾邮件引擎。Coummontouch的反垃圾引擎采用实时检查技术，轮回检查信任网络；而CyanFilter反垃圾邮件引擎则包含了中文分词、特征进化引擎技术等等，使得青莲Cyanlotus反垃圾网关更具有强大的中文垃圾能力。　另外，Cloudmark公司的电信级反垃圾邮件网关也同样拥有这中能力，其基因算法与全球最大“可信任用户网络”更是无与伦比。


第三类是ＡＳＰ反垃圾邮件服务方案


这种方案主要针对用户数量少于500人的中小企业环境。反垃圾邮件服务提供商首先建立一个反垃圾邮件服务中心，这个中心的系统拥有同时向多域、多服务器提供反垃圾服务的能力。用户在购买了反垃圾邮件服务后，将自己邮件地址的ＭＸ记录指向该服务中心，该服务中心同时添加该用户域名，这样用户的邮件在到达用户的邮件系统（不管是购买的空间的方式，还是有独立服务器）前，首先达到ＡＳＰ反垃圾邮件服务中心进行过滤检查，达到净化垃圾的目的。这种方案比较经济、不受地域和部署方式的限制。　但，目前为止，国内还没有实际投入运营的反垃圾邮件ＡＳＰ出现。


用户，不管是个人用户还是企业级用户，在选择反垃圾邮件方案时，都需要认真考虑一下几个因素：


（１）经济性。个人用户和数量比较少的企业，可以选择采用专业客户端或者ＡＳＰ反垃圾邮件服务的解决方案，既节省投资也具有同样的反垃圾效果，而且免去了后期维护之类。


（２）反垃圾系统的反垃圾效果。对反垃圾系统效果的评价一般包括垃圾邮件识别率、漏报率，同时更需要关注垃圾邮件误报率，特别是将正常邮件判别为垃圾邮件的“假阳性”误报问题，这是反垃圾邮件系统的最关键的参考因素。我们可以容忍一天收到若干垃圾邮件（当然是数量不多的情况下），但所有人都不能忍受有正常的邮件被错误的判定为“垃圾”而遭受“丢弃”！而评价反垃圾邮件系统反垃圾效果的方法，就是实际试用！　因为每个用户受的垃圾邮件类别是不一样的，有的用户垃圾邮件主要是英文垃圾、有的是中文垃圾、有的是图片的、有的则是广告文字的、还有的是钓鱼类的、而有的则是以病毒垃圾为住。不同的垃圾邮件特征，需要采用不同的反垃圾邮件产品方案：如英文垃圾多，则我们可以首选国外专业产品；如果中文垃圾多，则首先要考虑国内的，特别是有中文分词技术（由于中、日、韩三国语言的双字节及不分词的特殊性，一般反垃圾产品能难有效应对）；而对病毒垃圾多的，则可以考虑主要由杀病毒公司提供的反垃圾邮件产品。



（３）注重系统的整体性能。反垃圾邮件产品，如果性能不过关，随着业务的增长和垃圾邮件泛滥问题的日益严重，可能会有很大问题，另外性能问题有可能会影响我们正常的邮件收发效率；由于产品在设计和硬件配置上的缺陷（特别是产品结构与设计语言的缺陷），导致邮件堵塞、溢出、正常邮件丢失、系统瘫痪等等，将会使我们损失惨重！


（４）管理简便与灵活性。一般来讲，灵活性与简便的要求是矛盾。我们的原则是，逐步减少网管人员和用户的工作量，同时又给予网管和用户最大限度的个性化需求。如每个用户都应该拥有自己的个性化黑白名单、自己个性化的关键字过滤策略等等，以使得我们反垃圾邮件系统更具有针对性和效率。选择产品时，一般要考虑web管理、参数设置简单、管理维护工作量少、拥有智能（特别是有自学习能力）的产品。同时，产品的升级要及时，特别是病毒库的升级。


综合以上的一些所述，用户在进行反垃圾邮件工作时，要全面了解各种反垃圾邮件方案与自己的实际需要想对应的程度，我们不能一味的听＊＊厂家或者组织宣称自己是最好的和唯一好的解决方案，最好与最合适只有我们自己说了算。　品牌和市场保有量在中国没有参考意义（大部分品牌都是通过大量的宣传得来的，而中国用户是出名的“随大众，爱面子”），建议的做法是“试用”用实际效果说话！特殊的，在中国反垃圾，首先要把重点放在“中文”垃圾上、图片垃圾、钓鱼垃圾上！　同时，还要看该反垃圾方案是否具有完备的“挽回”机制，有全面的日志包括垃圾邮件日志、阻断邮件日志（大部分产品没有此功能）、病毒邮件日志以及收发的正常邮件日志。


反垃圾邮件是一件任重道远的事业，需要我们大家的共同努力。