хитро№;%ый СПАМ, ЯХА бессильна :(...

Frank
Уже с Приветом
Posts: 2019
Joined: 22 Jul 2000 09:01

Post by Frank »

Ну, вы и даёте!

Для борьбы со спамом на почтовый сервер ставится простенькая программка SpamAssassin www.spamassassin.org Одно плохо, её разработчики не допетрили, как пишутся программы на С, поэтому предлагают её на Perl. Да и бог с ним.

Многие русские спаммеры, в том числе и американский центр, пользуются какой-то одной программой, которая лепит особые заголовки в письме, чтобы противодействовать SpamAssassin.

References: <313763525E9CFC91@xxxx.ru>
In-Reply-To: <313763525E9CFC91@xxxx.ru>
Message-ID: <77A6D6C096B028E6@adsl-63-207-12-169.dsl.snfc21.pacbell.net>

Так вот добавляешь в настройках SpamAssassin большие очки для тестов на эти заголовки и перестаёшь получать всю эту бодягу.

score IN_REP_TO 2.5
score REFERENCES 2.5

Можно ещё убивать письма только в html:
score MIME_HTML_ONLY 2.5
score HTML_MESSAGE 1.0

А ещё она по чёрным спискам проверяет...

Можно и свои правила сбацать:

body RU_AMERICAN /7.{0,3}7.{0,3}8.{0,3}9.{0,3}8.{0,3}9.{0,3}4|2.{0,3}3.{0,3}8.{0,3}3.{0,3}3.{0,3}8.{0,3}6|4.{0,3}1.{0,3}1.{0,3}0.{0,3}2.{0,3}3.{0,3}2|[1I].{0,3}[0O].{0,3}5.{0,3}5.{0,3}[1I].{0,3}8.{0,3}6|5.{0,3}[1I].{0,3}8.{0,3}6/i
describe RU_AMERICAN american language center phones
score RU_AMERICAN 50.0

И в blacklist можно попытаться добавить некоторые dsl линки:
blacklist_from *@*.*.charter*.com
blacklist_from *@*.*.comcast.com
blacklist_from *@*.*.comcast.net
blacklist_from *@*.dyn.optonline.net
blacklist_from *@*.*.charter-stl.com
blacklist_from *@*.*.adelphia.net
blacklist_from *@*.*.fuse.net
blacklist_from *@*.*.swbell.net
blacklist_from *@*.*.pacbell.net
blacklist_from *@*.*.bellsouth.net
blacklist_from *@*.*.verizon.net
blacklist_from *@*.*.dsl-verizon.net
blacklist_from *@*.*.rr.com
blacklist_from *@*.*.btcentralplus.com
blacklist_from *@*.*.videotron.ca
blacklist_from *@*.*.ameritech.net
blacklist_from *@*.*.centurytel.net
blacklist_from *@*.*.alltel.net
blacklist_from *@*.*.hansenet.de
blacklist_from *@*.*.speeduol.com.br
blacklist_from *@*.*.chello.se


Между прочим, как-то имел печальный опыт борьбы с создателем программы для рассылки спама, заработавшим на ней не одну сотню тысяч долларов. Только написали письмо шефу конторы, в сети которой стоит их сервер, он сразу прибежал и начал стращать обвинениями в клевете, мол он занимается только честным бизнесом.
Sanych
Уже с Приветом
Posts: 7728
Joined: 10 Jan 1999 10:01
Location: OH->TX->MI->MA->VA->FL->...

Post by Sanych »

> Ну, вы и даёте!
> Для борьбы со спамом на почтовый сервер ставится
> простенькая программка SpamAssassin
> www.spamassassin.org Одно плохо, её разработчики не
> допетрили, как пишутся программы на С, поэтому
> предлагают её на Perl. Да и бог с ним

Чудесно! :)
А теперь пожалуйста научите как эту штуку поставить на почтовый сервер Яхи :roll:
Спасибо...
User avatar
DenisM
Уже с Приветом
Posts: 1976
Joined: 08 Jun 1999 09:01
Location: SPb -> SFBA -> Beaverton, OR

Post by DenisM »

Frank wrote:Ну, вы и даёте!

Для борьбы со спамом на почтовый сервер ставится простенькая программка SpamAssassin www.spamassassin.org
...


Жесткие правила, к тому же общие для всех на сервере - это не выход, адреса в e-mail можно поставить совершенно произвольные, все равно можно обойти. На работе у нас был Spam Assassin, но спам прорывался anyway ( хотя и меньше ). На мой взгляд, намного более продуктивный подход - это использование обучаемых программ, работающих на основе анализа полного текста письма и headers с помощью байесовских алгоритмов. Я использую сейчас бесплатный http://popfile.sourceforge.net/, вот моя статистика за последний месяц:

nospam 3,749 ( 78.39%)
spam 1,033 ( 21.6%)

Классифицированные письма: 4,782
Ошибки классификации: 45
Точность: 99.05%

Одно небольшое неудобство - занимает довольно много памяти ( написана на perl ), может кто-нибудь может посоветовать что-либо аналогичное, но написанное на C/C++?
User avatar
Fielder
Уже с Приветом
Posts: 695
Joined: 26 Mar 1999 10:01
Location: Moscow -> Rockville, MD -> Muenchen

Post by Fielder »

Так spamassasin тоже ето умеет (байесовских алгоритмов)
Du glaubst zu schieben, und du wirst geschoben. (c) Goethe
User avatar
A. Fig Lee
Уже с Приветом
Posts: 12072
Joined: 17 Nov 2002 03:41
Location: английская колония

Post by A. Fig Lee »

DenisM wrote:Жесткие правила, к тому же общие для всех на сервере - это не выход, адреса в e-mail можно поставить совершенно произвольные, все равно можно обойти.

Блeклист-то смотрит на IP с которого емаил послан, а не на емаил аддресс, который нарисован. Так что для злостных, типа центра изучения языка блеклист должен сработать. Дальше - сложнее. Скорее всего на самом сервере лучше больше ничего не ставить. Потому что многие спамеры не шлют открытый техт, а шлют MIME в base64, например - на раскодировку и анализ етого письма будут уходить приличные ресурсы. Если представить ето в масштабах сервера - огого получится. :umnik1:

Я думаю именно изза енкодинга на yahoo спам и прорывается - он видать не анализирует завернутый текст - накладно очень для бесплатного сервиса.
Верить нельзя никому - даже себе. Мне - можно!
Frank
Уже с Приветом
Posts: 2019
Joined: 22 Jul 2000 09:01

Post by Frank »

Sanych wrote:>
Чудесно! :)
А теперь пожалуйста научите как эту штуку поставить на почтовый сервер Яхи :roll:
Спасибо...


Кажется, есть какой-то плагин на его основе для народной операционки, но за деньги.

Да mail.yahoo.com - это архаика. Вон, русские бесплатники типа mail.ru впереди планеты всей. Касперский какую-то антиспам приблуду изобрёл, и с mail.ru писали победные реляции о том, что установлено дополнительно n-ное количество мощных серверов специально для неё.

Жесткие правила, к тому же общие для всех на сервере - это не выход, адреса в e-mail можно поставить совершенно произвольные, все равно можно обойти.


Ну дык, надо сидеть и поднастраивать тулзы постоянно, ведь война идёт, кто кого.

SpamAssassin умеет держать настройки для каждого пользователя, к примеру в базе данных. Не нравится пользователю проверки, может вообще нафиг отключить, или к примеру забанит всё из *.com

А блэклистить dsl-линки сейчас полезно. Любой дурак может выставить в Интернет открытый прокси и пойдёт спам с адресов типа vasya@1111.2222.3333.verizon.net
User avatar
DenisM
Уже с Приветом
Posts: 1976
Joined: 08 Jun 1999 09:01
Location: SPb -> SFBA -> Beaverton, OR

Post by DenisM »

Fielder wrote:Так spamassasin тоже ето умеет (байесовских алгоритмов)


Уметь то он умеет, только насколько я знаю, его нельзя обучить ( т.е. сказать, что есть спам, а что нет) именно по письмам, приходящим Вам. Очевидно, что индивидуальная настройка позволит получить лучшие результаты, чем общая для всех пользователей на сервере. В конце концов у каждого свои критерии, что считать спамом. Например, если моя жена получает рассылку о новинках со Spiegel.com, то эти письма для нее - не спам. А вот для меня - spam :mrgreen:

И, я думаю, SpamAssassin ничего не знает о русском языке ( в частности его база данных по вероятностям появления тех или иных слов в спаме ). Поэтому если Вам приходят письма, написанных по русски ( по немецки, по украински и т.д. ), он не сможет их правильно выделить из потока рускоязычного же спама.
Упомянутый выше POPFile - может, после некоторой тренировки.
User avatar
DenisM
Уже с Приветом
Posts: 1976
Joined: 08 Jun 1999 09:01
Location: SPb -> SFBA -> Beaverton, OR

Post by DenisM »

A. Fig Lee wrote:Блeклист-то смотрит на IP с которого емаил послан, а не на емаил аддресс, который нарисован. Так что для злостных, типа центра изучения языка блеклист должен сработать.


Если бы они ("Центр...") посылали весь спам с одного адреса, проблем бы не было их отфильтровать. Но они не такие наивные и поэтому шлют с разных адресов разных провайдеров

A. Fig Lee wrote: Дальше - сложнее. Скорее всего на самом сервере лучше больше ничего не ставить. Потому что многие спамеры не шлют открытый техт, а шлют MIME в base64, например - на раскодировку и анализ етого письма будут уходить приличные ресурсы. Если представить ето в масштабах сервера - огого получится. :umnik1:

Я думаю именно изза енкодинга на yahoo спам и прорывается - он видать не анализирует завернутый текст - накладно очень для бесплатного сервиса.


POPFile base64 кодировку понимает и применяет Баейсовский алгоритм уже к расшифрованным данным:

Code: Select all

Status: U
Return-Path: <DARABALCER@yahoo.com>
Received: from RONALD ([24.59.12.182])
by albert.mail.atl.earthlink.net (Earthlink Mail Service) with SMTP id 1a9GXx2Ft3Nl3qU0
for <DDD@DDDDDDD.com>; Wed, 15 Oct 2003 04:24:43 -0400 (EDT)
From: "cshrc" <DARABALCER@yahoo.com>
To: XXXXXXXXXXXXXXXXXXXXXXXXXXX
Subject: Cialis
Date: Wed, 15 Oct 2003 4:24:58 -0400
X-Priority: 3 (normal)
Importance: Normal
X-Mailer: Microsoft Outlook IMO, Build 9.0.2416 (9.0.2910.0)
MIME-Version: 1.0
Content-Type: text/html;
charset="iso-8859-1"
Content-Transfer-Encoding: base64
Message-Id: <200310150424.1a9GXx2Ft3Nl3qU0@albert.mail.atl.earthlink.net>

PGh0bWw+DQo8Ym9keT4NCjxkaXYgYWxpZ249ImNlbnRlciI+DQo8YSBocmVmPSJodHRwOi8vd3d3
LmNoZWFwcGlsbHMuYml6L3drcC9pbmRleC5waHA/bWFuPWJiNTZsayIgc3R5bGU9InRleHQtZGVj
b3JhdGlvbjpub25lIj4NCjxmb250IHNpemU9IjUiIGNvbG9yPSIjRkYwMDAwIj5TdXBlciBWaWFn
cmEgSXMgTm93IEF2YWlsYWJsZSBUbyBDb25zdW1lcnMhIDwvZm9udD4NCjxicj4NCktub3duIGFz
IFRoZSBXZWVrZW5kIFBpbGwsIENpYWxpcy9UYWRhbGFma

[ ...skipped... ]

bmV0PC9hPiAoVHJpYWwgVmVyc2lv
biBPbmx5KQ==
Found in encoded data: www.cheappills.biz cheappills.biz size="5" #FF0000 Super Viagra Now Available Consumers Known Weekend Pill Cialis Tadalafil works exactly like Viagra size="4" #800000 ONE DOSE LASTS WEEKEND size="4" #008000 ACTS QUICKER LASTS LONGER Seriously enhance sex life size="3" #000000 safe medically proven Improve penial blood flow Sustained erections Better sexual health Ease arousal Increased sensitivity Stronger ejaculations last weekend #0000FF www.cheappills.biz cheappills.biz WANT GET SOME BEFORE TOO LATE CLICK HERE NOW www.cheappills.biz cheappills.biz size="2" #000000 removed mailing list click here src="http://www.rapidsite.co.jp/cgi-bin/newcount?wkpcb99&width=6&font=digital&noshow" www.adminsystem.net adminsystem.net ANSMTP COMPONENT BUILD www.adminsystem.net adminsystem.net www.adminsystem.net adminsystem.net Trial Version Only
User avatar
A. Fig Lee
Уже с Приветом
Posts: 12072
Joined: 17 Nov 2002 03:41
Location: английская колония

Post by A. Fig Lee »

Frank wrote:А блэклистить dsl-линки сейчас полезно. Любой дурак может выставить в Интернет открытый прокси и пойдёт спам с адресов типа vasya@1111.2222.3333.verizon.net


Ну и заблеклистят етот прокси. И его щастливый обладатель останется без емейла. Блеклист - ето первый, необходимый уровень. :umnik1:

О его полезности говорит и 3-х дневная ДОС атака спамеров на держателей етого листа. :umnik1:
Верить нельзя никому - даже себе. Мне - можно!
User avatar
A. Fig Lee
Уже с Приветом
Posts: 12072
Joined: 17 Nov 2002 03:41
Location: английская колония

Post by A. Fig Lee »

DenisM wrote:POPFile base64 кодировку понимает и применяет Баейсовский алгоритм уже к расшифрованным данным:


Да понять его несложно, но ресурсы-то жрать будет - каждое письмо раскодировать. Они ж не бездонные на бесплатных серверах.
Верить нельзя никому - даже себе. Мне - можно!
User avatar
DenisM
Уже с Приветом
Posts: 1976
Joined: 08 Jun 1999 09:01
Location: SPb -> SFBA -> Beaverton, OR

Post by DenisM »

Frank wrote:...Ну дык, надо сидеть и поднастраивать тулзы постоянно, ведь война идёт, кто кого.

SpamAssassin умеет держать настройки для каждого пользователя, к примеру в базе данных. Не нравится пользователю проверки, может вообще нафиг отключить, или к примеру забанит всё из *.com

А блэклистить dsl-линки сейчас полезно. Любой дурак может выставить в Интернет открытый прокси и пойдёт спам с адресов типа vasya@1111.2222.3333.verizon.net


Я вот так и подстраивал, пока мне это окончательно не надоело. Особенно когда мне стал приходить спам, где мой-же адрес был указан в качестве отправителя. Да и много моих знакомых имеют ящики в comcast.com, verizon.com, hotmail.com для каждого надо было бы написать свою строчку в фильтр. А так - кликнул в Bat!е на линк в заголовках типа X-POPFile-Link: <http://127.0.0.1:8080/jump_to_message?view=popfile11093=1.msg>, выбрал в combobox spam - и следующий раз такой враг уже не пройдет: просто и удобно 8)
User avatar
DenisM
Уже с Приветом
Posts: 1976
Joined: 08 Jun 1999 09:01
Location: SPb -> SFBA -> Beaverton, OR

Post by DenisM »

A. Fig Lee wrote:
DenisM wrote:POPFile base64 кодировку понимает и применяет Баейсовский алгоритм уже к расшифрованным данным:


Да понять его несложно, но ресурсы-то жрать будет - каждое письмо раскодировать. Они ж не бездонные на бесплатных серверах.


Ну так он же не на сервере бежит, а на моем laptop'е, не big deal, что он отъест немного CPU time.
Frank
Уже с Приветом
Posts: 2019
Joined: 22 Jul 2000 09:01

Post by Frank »

Обсуждать, какая из программ интеллектуального анализа спама лучше, бесполезно. Они сейчас все бурно развиваются и друг у друга прут самое лучшее. Сиди только, разбирайся, чего нового они понапридумывали в новой версии.

Ну, и спаммеры тоже не дураки, совершенствуются, пока не дойдут до точки, что люди будут давать свой e-mail только ближайшим друзьям, а ещё какой-нибудь левый будут только раз в месяц просматривать. На страничках e-mailы уже давно пора шифровать.

Но вот одна новость заслуживает интереса: SpamAssassin working to join Apache Software Foundation
http://news.spamassassin.org/modules.ph ... =0&thold=0

Надеюсь, в Apache их научат, как писать программы на С.
User avatar
IsterGray
Новичок
Posts: 38
Joined: 07 Oct 2003 18:41

Post by IsterGray »

Вообще спам рекомендуется не открывать.
К письму как правило крепится скрипт который при открытии письма подтверждает что данный почтовый адрес существует и поток писем только возрастает.

Yahoo по моему только в последнее время начала с этим бороться.
User avatar
A. Fig Lee
Уже с Приветом
Posts: 12072
Joined: 17 Nov 2002 03:41
Location: английская колония

Post by A. Fig Lee »

IsterGray wrote:Вообще спам рекомендуется не открывать.
К письму как правило крепится скрипт который при открытии письма подтверждает что данный почтовый адрес существует и поток писем только возрастает.

Yahoo по моему только в последнее время начала с этим бороться.

Не надо никакого скрипта. Достаточно отправить HTML вместо /или с плейн текст и в нем вставить 1-пихел имейдж белого или прозрачного цвета.

Если бы была возможность просматривать только текстовые версии и HTML опшинал - было бы неплохо.
Верить нельзя никому - даже себе. Мне - можно!

Return to “Вопросы и новости IT”