讀書心得：Symantec Spam Report ( Jan 2007)

Symantec 推出了一份 2007年關於Spam的報告，摘錄重點如下：

1. Image Spam 達到 spam 數量的35%。
2. Spam 佔了所有E-mail信件的80%。
3. Captcha technology (圖片辨識碼) 應用到 image spam，藉以迴避 OCR technology的偵測。
4. 以合法掩護非法，利用正常E-mail夾帶Spam訊息。

Spam 產出大國仍是North america、其次是europe，接下來才是asia喔！

New Spam Techniques：Captcha Image Spam
用來阻擋blogspam的技術 Captcha，果然如小弟先前在 blog 所預料的，被用來當成 spam 的技術。

Newsletter and Advertisement "Injection"
在 internet security area常見到的 SQL Injection也出現了，被拿來將Spam content插入 Newsletter / Advertisement 之中。

文件下載：[PDF] The State of Spam , A Monthly Report – January 2007

Spamassassin plugin --> FuzzyOCR 偵測圖像式垃圾郵件

垃圾郵件無所不在，由早期文字形態的信件，進化到圖文並貌的HTML格式。而由於anti-spam技術的進步，幾乎可達到九成的攔阻率。但「道高一尺、魔高一丈」，spammer開始大量運用圖片形態的方式來寄送郵件。圖像式垃圾郵件在圖片內容加入大量的雜訊資料(noisy data)，藉以迴避掃描引擎的偵測。

以目前anti-spam市場所推出的產品，若是缺少掃描圖像式垃圾郵件的功能，相信也無法在市場上生存，例如：IronPort、Sophos PureMessage等廠商皆推出具備相，關功能的產品。

中正大學 吳昇教授的研究團隊推出了「無痛式垃圾郵件過濾系統： Nopam」，其設計理念是「垃圾郵件與正常郵件最大的分野在於行為而非內容。」。等於是利用行為模式進行垃圾郵件的偵測，不知是否能有效判別圖像式垃圾郵件呢？

當然，開放源碼的SpamAssassin也不能在此一功能上缺席，也出現了不少相對應的solution，例如：OcrPlugin。

而此篇文章所要介紹的 FuzzyOCR，是一套修改自OcrPlugin的Spamassassin plugin。同樣是利用光學字元辨認(OCR)的方式，來識別圖像式郵件所包含的「文字訊息」，並利用Fuzzy word matching演算法判斷辨識出來的文字。

主要具備了下列的功能：

• Optical Character Recognition using different engines and settings
• Fuzzy word matching algorithm applied to OCR results
• Image hashing system to learn unique properties of known spam images
• Dimension, size and integrity checking of images
• Content-Type verification for the containing email

Matching and learning techniques

1. 可彈性支援不同的OCR interface，並利用fuzzy word matching演算法來處理辨識的結果。
2. 支援DB，可將處理過的圖片，以feature vectors的形態儲存在資料庫。因此相同或是類似的圖片，便可以利用儲存在DB的特徵向量來處理。
3. 能檢測不同維度、size與整合性的測試。
4. 郵件內容檢測。
   

Resource saving techniques

1. 僅掃描郵件，而非辨認該封信件是否為垃圾信件。信件的分類仍交由spamassassin所判別的分數高低來決定。
2. 對於已達到spam分數門檻的郵件，FuzzyOCR在處理該封郵件時會忽略該封信件而不進行掃描，進而減輕系統負載。(3.5版之後提供)
3. 藉由比對儲存於DB的feature vectors(dimensions and file size)。若比對成功，則忽略該封信件，而不再進行OCR辨識與處理。

Safety measures

1. 可設定掃描郵件timeout的時間，藉以避免Denial of Service的攻擊。
2. 使用word sets取代simple lists，避免FuzzyOCR錯判的可能。

列出幾張FuzzyOCR網站的範例圖片供各位參考：

An animated gif is scanned for the first time


The same gif is scanned a second time


Various tricks of Image Spammers


FuzzyOcr Debug output when running SpamAssassin with -D (or enabling debug mode in the config)

反垃圾郵件技術心得分析 (ORDB --> 反垃圾郵件計畫喊停)

雖然 ORDB 這個著名的 RBL 已經宣佈終止了、Spamhaus 也面臨官司的糾紛。但不可誨言的是，RBL的確是anti-spam technology不可或缺的一環。

如同本文所提，RBL逐漸失去它的優勢，而且經常發生誤攔的情況。個人認為 RBL 的優勢能在垃圾郵件尚未進到組織內部，便利用對方伺服主機的 helo 訊息，利用 dns query的方式，判定該IP address是否被列進黑名單之中。若是，則 reject message；反之繼續進行郵件的流程。

其他相關的anti-spam technology包含了content inspect、grey list、message digest、SURBL等，以及結合了上述技術的全方面型的open source的spamassassin。

grey list能在郵件首次到達之時，將郵件相關訊息記錄在本地端郵件主機，並給予該封信件defer的訊息；而對方主機在收到defer訊息之後，會等待一段時間之後 query run，再次寄送該封信件。而本地端主機再次接收到該封郵件，會檢查grey list DB，檢視該封信件是否重送而來，再判斷是否接收該信件。

由於 spammer在寄送spam時，通常採用的都是一次性的投遞，而無對方主機回應4.x.x defer訊息的應對機制，這相對的也減少寄送的成本。也因此 grey list 對於處理spam，能得到不錯效果的原因之一。

至於 grey list的缺點則是「時效性」，信件經過第一次的defer，而queue在本地端的mail server，再經過queue run的時間，在在皆影響了郵件的時效性。而目前企業組織訊息傳遞多仰賴E-mail，也考驗著企業組織對於採用grey list的意願。

SURBL (Spam URI Realtime Blocklists)技術與RBL類似，主要是過濾信件中的URI是否被列進相關的黑名單之中。此技術需要parsing mail body中的URI，若是信件被MIME編碼過，則必須decode之後，再進行分析。

垃圾郵件有大半份是屬於廣告信，而此類廣告信件也都加入了相關的廣告網址。spammer總不會偽造不實的網址吧，頂多是將URI進行變化來逃避SURBL的過濾，這也是SURBL的優點之一。

但是缺點則是耗費資源與提高誤判的可能性。SURBL必須接收整封信件後，分析郵件內容中是否有被列入黑名單的URI，再進行處理，也因此浪費了網路頻寬與伺服器的資源；再者，此類信件多是利用使用者回報機制來更新資料庫內容，相對也增加了誤判與錯判的可能性。

Message Digest，則是將垃圾郵件的「部份」內容以相關的摘要演算法進行計算，得出一組訊息摘要 digest，並上傳此組digest至提供查詢服務的伺服器。

由於弟尚未使用過Message Digest此類的技術，因此由文件資料得知Message Digest是將spam的部份內容進行計算而得出digest，因此可以規避垃圾信件藉由「變種」的方法躲避相關技術的過濾。

至於 Message Digest 的缺點也是耗費網路頻寬與系統資源。但最重要的是垃圾信件的digest資料量的多寡，更可看出此類技術的效益所在。

Spamassassin 是一套 open source anti-spam software。但是小弟擅長歐洲大廠 SOPHOS 的 PureMessage。二套軟體功能類似，皆提供了全方位的防堵垃圾信的服務。日後再提供一些PureMessage的相關訊息供大家分享。

反垃圾郵件計畫喊停

CNET新聞專區：Richard Thurton　　27/12/2006

為反制垃圾郵件氾濫所成立的Open Relay Database（簡稱ORDB），因無法持續提供有效的防護，於日前宣布終止。

ORDB是在5年前網路業泡沫破裂後不久，由一群志願者所成立。其目的是阻止垃圾郵件發信者使用SMTP代理伺服器（或稱開放郵件轉寄主機），在網路上濫發垃圾郵件。

這些代理伺服器最初被用作發信來源至收信目標的「中間者」，而非直接在網路上發信。但最後卻被有心人用來發送大量的垃圾郵件，並躲避查緝。ORDB提供一份開放轉寄主機的黑名單，以便系統管理員阻擋這些來源發出的郵件。

但近來ORDB的名單少有增加，志願者的興趣也逐漸減退。雖然在5年前，高達九成的垃圾郵件是透過開放轉寄主機發出，現在已降到1%以下。目前絕大多數的垃圾郵件轉而利用被病毒控制的疆屍網路發送。

ORDB是在18日宣布終止的決定。該組織以聲明表示：「我們很遺憾地通知各位，ORDB.org即將關閉。團隊的共識是，開放轉寄黑名單已不再是阻擋垃圾郵件進入網路的最有效方法，因垃圾郵件發信者在近年來改變手法，反垃圾郵件社群也隨之應變。」

ORDB表示，使用其名單的組織應立即移除其系統內的檢查機制，並考慮使用其他郵件過濾方法。他們建議採取結合可疑名單與內容分析的方法，如dspam計畫、bmf或Spam Assassin。

另一個製作垃圾郵件黑名單的組織近來也成為焦點。顧客遍及全球的英國公司Spamhaus，被其黑名單所列的一家公司求償1,100萬美元，並控訴其行為違法。

但不只是ORDB和Spamhaus在對抗垃圾郵件的大戰中受挫，負責維護大眾隱私權的英國資訊官辦公室（Information Commissioner's Office , ICO）也承認，僅管相關法令早在3年前通過，至今當局從未成功起訴任何英國的垃圾郵件發信商。 ICO表示他們缺少對抗垃圾郵件的力量，並將此歸咎於英國政府的無能。

在此同時，垃圾郵件數量仍持續暴增。根據電郵安全軟體商IronPort的統計，2006年10月份單日的垃圾郵件訊息高達630億封，去年同期為310 億封。11月則有兩個區段暴增至單日平均850億封，分別是11月13日至22日，和11月26日至28日。（陳智文/譯）

心得：圖片垃圾信猖獗 垃圾郵件加倍成長

看到這則消息，有幾點感想：

1. spammer 利用圖片型的 spam來突破封鎖。雖然anti-spam software可以利用OCR的技術來過濾圖片中的內容，但是spammer更可以在圖片內塞入許多的noisy data，藉以混淆anti-spam engine的判斷。所以pattern recognition的技術，相信也是很重要的！

2.僵屍電腦的出現，相信狀況難以改善，除非多加宣導相關的知識，或是強迫使用者接受相對應的方案吧！畢竟電腦新手仍佔多數，有資訊安全概念的，更是少之又少。

3.Bill Gates說2006年能解決垃圾郵件的問題。不過，我相信道高一尺、魔高一丈。 發送垃圾郵件會成為一門事業，有專門研擬破解anti-spam的技術的專業團隊。而更因為有需求(發廣告)，所以更會有供給產生。

-------------------------------------------------------------------------------------------
圖片垃圾信猖獗　垃圾郵件加倍成長
文/陳曉莉 (編譯) 2006-12-08
圖片及檔案垃圾郵件的比例直線上升，同時全球的僵屍電腦更以每日25萬台的速度在增加下，今年垃圾郵件則比去年增加143%，明年則將更為嚴重。

訊息安全業者在近日相繼揭露全球的垃圾郵件在近幾個月來急速成長，網友所收到的郵件中，有9成以上為垃圾郵件，其中，圖片及檔案垃圾郵件的比例更是直線上升，同時全球的僵屍電腦更以每日25萬台的速度在增加。隨著垃圾郵件過濾軟體的普及，以及反垃圾郵件法案的通過，曾經稍稍紓解了猖獗的垃圾郵件，只是，好景不常，垃圾郵件過濾業者IronPort Systems及訊息安全業者Postini在近日相繼揭露垃圾郵件捲土重來，採用其他技術躲避過濾軟體，並擴大僵屍電腦數量，讓垃圾郵件問題更甚以往。 Postini指出，最近三個月的垃圾郵件數量增加了73%，今年垃圾郵件則比去年增加了143%，明年則將更為嚴重。Postini表示，日漸增加的垃圾郵件一方面來自於愈來愈多的僵屍電腦，另一方面駭客採用圖片及文件式的垃圾郵件，以閃避傳統主要針對文字的垃圾郵件過濾機制。Postini調查發現今年第四季的垃圾郵件中，圖像及文件式就佔了45%，去年同期該比例還不到2%。IronPort Systems也有同樣的發現，IronPort Systems表示，他們發現使用者所收到的每10封電子郵件中，有超過9封為垃圾郵件。此外，圖片垃圾郵件數量比去年成長了4倍，佔所有垃圾郵件的 25%～45%。

反垃圾郵件業者是在今年夏天發現圖片垃圾郵件暴增的趨勢，並與垃圾郵件發送者展開一場技術大戰。業者先是採用光學字元辨識技術來掃瞄郵件中的圖片以辨識其中的文字，而垃圾郵件發送者則利用圓點或雜亂的背景圖案來閃避辨識技術；此外，當業者能夠攔阻一圖片垃圾郵件時，郵件發送者所撰寫的軟體可自動更改圖片中的圖點，再度企圖闖關。

此外，駭客加強攻佔使用者電腦，讓使用者的電腦成為替駭客寄送垃圾郵件的僵屍電腦，也讓反垃圾郵件業者常用的黑名單過濾機制效率不彰。

根據反垃圾郵件業者Secure Computing的估計，每天全球新增的僵屍電腦約有25萬台。

Postini執行副總裁Dan Druker表示，雖然每年的第四季都會有較多的垃圾郵件，但今年第四季垃圾郵件增加的數量已超乎平常，這顯示明年使用者將會遇見更多的垃圾郵件，其中圖形垃圾郵件的數量將更甚以往。

微軟董事長Bill Gates在2004年曾經預測垃圾郵件問題將會在2006年被解決。Dan Druker說，每一個人都認為這是個能夠被解決的問題，但它現在卻愈來愈嚴重。（編譯/陳曉莉）