Что такое сбор почты
Сборщик почты (делаем простые вещи сложно)
В качестве предисловия
Наверное, многие из вас в своей практике сталкивались с задачей сбора почты с ряда ящиков. Зачем это может быть нужно? Наверное, потому что это универсальный механизм обмена данными между системами. Множество библиотек под любые языки, реализующих SMTP, POP3, IMAP, готовые решения по реализации стэка сообщений (как я сложно назвал почтовый ящик. ) и т.д.
Неудивительно, что многие интеграционные задачи реализуются именно через почту. Тут в дело вступает некий сервис, который умеет эту почту быстро забирать, категоризировать и выполнять необходимые действия.
Кому достаточно приведенного ниже кода — дальше могут не читать:
Что будем делать
Сразу сделаем ряд допущений:
1) Собирать почту нужно для нескольких систем. Может в будущем ещё для нескольких. И ещё… В общем решение должно быть универсальное;
2) Почты возможно будет много — следует из пункта 1 (а иначе я бы не писал этот пост);
3) Почту придется парсить;
4) Все ящики сервисные — пользователи туда не лезут.
Что будем использовать
Система должна работать 24/7, поэтому реализуем её в виде Windows Service. Для этих целей предлагаю сразу использовать TopShelf.
Разумеется, всё должно быть распараллелено. Тут на сцену выходит моя любимая библиотека TPL DataFlow.
Забирать почту будем по POP3. Все «модные штучки» IMAP в данной задаче излишни — надо как можно быстрее и проще забрать исходник письма и удалить его на сервера. POP3 тут хватит за глаза. Используем OpenPop.NET.
Как уже говорилось, почту будем парсить. Может через Regex, может кастомные логики… мало ли что. Именно поэтому нужно гибко и быстро подпихивать новые правила с помощью плагинов. Тут нам поможет Managed Extensibility Framework.
В качестве факультатива прикрутим мониторинг в Zabbix. (Мы же собрались работать 24/7 и выдавать хваленую скорость — нужно следить за этим).
Поехали
Создаем обычное консольное приложение. Открываем NuGet консоль и ставим все нужные пакеты:
Переходим в папку проекта, создаем App.Debug.config и App.Release.config. Выгружаем проект из студии, открываем его код (Здесь и далее TopCrawler.csproj). В секцию с конфигом добавляем:
А ниже собственный таргет для MSBuild:
Лично я привык именно таким способом — по старинке — добавлять трансформацию конфигов для разделения сред.
Для удобства предлагаю strongly-type конфиги. Отдельный класс будет читать конфигурацию. (О теоретических аспектах такого решения можно пообщаться в комментах). Конфиги, логи, мониторинг — отличный повод реализовать паттерн Singleton.
Создаем в проекте одноименную папку (должен же быть порядок). Внутри создаем 3 класса — Config, Logger, Zabbix. Наш логгер:
Мониторинг с помощью Zabbix заслуживает отдельного поста, поэтому я просто оставлю тут класс, реализующий агента:
Конфиги… Пора уже делать хоть что-то интересное. Во-первых, в конфигах будем хранить ящики, которые мы опрашиваем. Во вторых настройки DataFlow. Предлагаю так:
Итак, хост и порт куда конектится, юзер и пароль — тут всё понятно. Дальше тип ящика. Допустим, служба используется маркетингом (как и другими отделами). У них есть ящики, куда сваливаются автоответы на рассылки, а также отчеты о спаме FBL. Сам ящик уже категоризирует письмо, поэтому для таких ситуаций сразу задаем тип ящика. С настройками DataFlow будет понятно дальше, когда начнем создавать объекты. Тут у нас будут собственные секции в конфиге. Мануалов куча как это сделать, поэтому просто покажу результат:
Полную реализацию конфига писать не буду, подразумевается, что в процессе разработки туда будут добавляться нужные нам параметры.
Наши кастомные настройки прочитаем так:
Как-то очень затянуто получается, а мы даже не дошли до самого интересного.
Опустим пока обвязку из TopShelf, счетчики производительности, общение с БД и перейдем к делу! Создаем класс Crawler — ядро. Для начала читаем почту:
Вот тут лень взяла свое и я решил не заморачиваться — если ящиков порядка 20-30 можно под каждый запустить таск и не париться о количестве потоков. (Разрешаю закидать помидорами.)
Переходим к самому чтению:
Сразу посчитаем тайминги доступа к ящику — пригодится для диагностики сети и загруженности сервера.
Отправляем данные в Zabbix. Всё просто — указываем имя хоста (как оно заведено в Zabbix), ключ (опять таки строго, как в Zabbix) и строковое значение.
DataFlow pipeline будет создана при создании класса Crawler. Считаем, что наш первый этап — отсортировать письмо.
Видите, как просто — сам конвейер один. Все таски, читающие почту, кидают туда сообщения по одному. Если блок занят, Post вернет false и мы просто подождем пока он не освободится. Текущий потом в это время продолжает работать. Вот это я называю параллелизм без забот.
Сообщение ушло на конвейер, теперь его можно со спокойной душой сохранить в RAW архив (да-да! всё, что читаем — сохраняем в файловый архив. Служба поддержки нам потом скажет спасибо).
Настроим, например, ротацию архива:
Потом на него можно натравить logStash, но это уже другая история…
Здесь мы использовали статические счетчики ошибок (в разрезе типов ящиков), где ErrorsCounters — это:
А сами счетчики можно сделать так:
Перейдем к созданию конвейера. Допустим, у нас есть ящики, куда сыпятся автоответы. Такие письма надо распарсить (что за автоответ, от кого, по какой рассылке и т.д.) и сложить результат в хранилище (БД). Допустим, есть ящики, куда падают FBL отчеты. Такие письма сразу складываем в базу. Все прочие письма считаем «полезными» — их надо проверить на спам и отправить во внешнюю систему, например, CRM.
Как вы уже поняли, данный пример в основном рассматривает применение сборщика для задач маркетинга — сбор статистики по доставке почты, информация о спаме.
Итак, мы определились с рабочим потоком. Объявляем необходимые блоки в классе Crawler:
Создаем метод инициализации и создаем блоки конвейера (для инициализации блоков используем наши замечательные секции из конфигов):
Собираем конвейер в соответствии с нашей схемой:
Как видим, всё предельно просто — связываем блок со следующим (с возможностью задания условия связи). Все блоки исполняются параллельно. Каждый блок имеет степень параллелизма и емкость (с помощью емкости можно регулировать очередь перед блоком, то есть блок сообщение принял, но еще не обрабатывает). Таким образом, можно задавать высокую степень параллелизма для «сложных» и долгих операций, как, например, парсинг содержимого письма.
Не буду описывать матчасть DataFlow, лучше всё прочесть в первоисточнике TPL DataFlow.
Далее задаем правила выхода из блока:
Всё, на самом деле конвейер уже работает, можно постить в него сообщения. Осталось только остановить его дополнив наш метод Start:
Переходим к делегатам.
Сортировка… Ну, допустим у нас всё просто (усложнить то всегда успеем):
Спам фильтр. Это на домашнюю работу — используйте SpamAssassin.
Вот вам делегат:
И классы для работы с API SpamAssassin (ссылка на проект).
А мы переходим к парсингу писем. Парсим мы автоответы. Тут вступает в дело MEF.
Создаем проект (dll) с интерфейсами для наших плагинов (Назовем Interfaces).
Добавляем интерфейс:
И… всё. Наш TopCrawler зависит от этого проекта и проект с плагинами тоже будет использовать его.
Создаем новый проект (тоже dll), назовем Conditions.
Добавим типы автоответов:
И классы, реализующие наш интерфейс:
Как вы заметилиб всё дело в атрибутах. С помощью них плагины и будут загружены.
Возвращаемся к нашему проекту и загружаем плагины:
LoadPlugins дергаем в конструкторе нашего класса. Объяснять подробно про механизм загрузки не буду — гугл справится лучше.
Переходим к нашему делегату проверки типа Bounce. Условия будут применяться по очереди, пока не сработает первое — исключающий метод:
Таким образомб если появляется новая логикаб достаточно просто добавить в проект с плагинами новый класс, реализующий наш интерфейс и — вуаля! Пример второго плагина по определению отправителя письма прикладывать не буду — итак уже длинный пост (Автоответ сгенерировал сам сервер, поэтому отправителя тоже надо распарсить из заголовков письма).
С записью результатов в БД тоже ничего необычного. Например, так:
Простите, что не успел показать TopShelf — пост и так уже слишком раздулся.
Выводы
В этом уроке мы узнали, что задача сбора почты может оказаться не такой простой. Разработанное ядро позволяет быстро добавлять новые шаги процесса — DataFlow-блоки, не затрагивая существующую логику. Подсистема плагинов позволяет быстро наращивать скриптоподобную логику парсинга, а сам DataFlow распараллеливает все вычисления (причем мы имеем возможность гибко настраивать многопоточность под конкретную машину). TopShelf дает нам возможность запускать сервис как в режиме службы, так и в консольном режиме для облегчения отладки.
Фух… Если будет интересно, дальше расскажу, как поставить это на рельсы Continious Integration, настроить автобилды и выпуск релиза через VS Release Management.
Как настроить сбор почты на Яндекс с любых других ящиков?
В прошлый раз я начал серию статей о сборе почты с нескольких различных ящиков, созданных даже на разных сервисах, в один основной ящик, который пользователь постоянно контролирует и ему проще работать только с ним одним, нежели чем отдельно просматривать все свои электронные ящики. Подробнее о необходимости сбора почты и о её реализации на сервисе GMail, читайте вот здесь.
Эту серию статей я планирую пока что на 3 статьи. Сегодня расскажу о настройке сбора почты в не менее известном почтовом сервисе — Яндекс.
Сбор почты с других аккаунтов в Яндекс настраивается так же просто как и в других сервисах.
Процесс настройки сбора почты в сервисе Яндекс.
Чтобы подключить возможность собирать всю почту в ваш ящик на Яндекс с любых ваших аккаунтов на этом же или других почтовых сервисах в первую очередь войдите в свой аккаунт на Яндекс, который будет являться основным. Именно в него будете собирать почту с других ящиков.
Откройте раздел настроек почты и выберите “Сбор почты с других ящиков”.
Собирать почту вы можете с любых ящиков, расположенных на любых почтовых сервисах, а не только с ваших почт, расположенных на том же сервисе Яндекс!
В примере для этой статьи будет показан процесс сбора писем с почты Mail.ru.
Введите полный адрес электронной почты, откуда будете собирать письма и пароль от неё, после чего нажмите “Включить сборщик”.
Если вы указали верные логин и пароль от почты, то в следующем окне появится сообщение об успешном соединении и здесь можно произвести некоторые настройки сбора писем. К примеру, вы можете присвоить собираемым письмам метку, а также отображать старые пересылаемые письма как прочтённые. Отметьте нужные вам опции после чего внизу укажите ещё раз пароль [1] от вашей второй почты и нажмите “Сохранить изменения” [2]. Почта начнёт собираться минут через 10.
В этом окне настроек у вас не получится выбрать отдельную папку для сбора писем с подключённого ящика. Изначально будет указана папка “Входящие” и она не меняется. Это связано с тем, что изначально почта собирается по протоколу IMAP и этот протокол копирует полностью структуру папок с подключенной вами почты.
Если 2 варианта заставить всё-таки собираемую почту сортироваться по папкам:
Изменить настройки сбора почты и поставить протокол POP3, вместо IMAP (который задаётся изначально);
Настроить позже фильтрацию писем, т. е. создать условие, при котором получаемая почта будет попадать в нужную вам папку, минуя “Входящие”.
Второй вариант, думаю, более предпочтителен, особенно для новичков, чтобы не ковыряться в настройках соединения с другой почтой.
Теперь все письма, поступающие на подключённую вами почту, будут стекаться в текущую, которая является вашей основной. И тогда уже нет надобности заходить отдельно во вторую почту для проверки новых писем в ней.
Как посмотреть отдельно все письма, собираемые из подключенной почты?
После добавления почты, вы увидите ярлык с её названием слева под папками для писем. Пример:
Кликнув по этому ярлыку вы увидите отдельно все письма из подключённого ящика.
Как изменить настройки или отключить сбор почты с определённого ящика?
Если вам нужно что-либо поменять в настройках сбора почты из добавленного ящика, то вы можете это сделать там же в настройках почты Яндекса, через раздел “Сбор почты с других ящиков”.
Если нужно выключить или снова включить сбор почты с определённого подключённого ящика, нажмите на переключатель “Вкл. / Выкл.” [1] в списке подключённых ящиков.
Если нужно открыть настройки сбора почты, кликните по названию ящика [2], после чего кликните по появившейся ссылке “Настроить”. В результате откроется такое же окно настроек, как при подключении почты (см.выше).
Заключение.
В заключение хочу отметить, что обычно со сбором электронной почты в сервис Яндекс проблем никаких нет и ничего не нужно настраивать во второй почте (которую подключаете). Но есть очень капризный сервис по имени GMail 🙂 Вот при его подключении (причём не только к Яндекс, но к даже к самому себе) очень часто возникают проблемы и связано это с повышенной безопасностью этой гугловской почты. Нет, не спорю, безопасность — это хорошо! Но иногда это достигает уровня маразма, например, когда Gmail блокирует подключение к своему же второму ящику GMail, причём вход в оба выполнен с одного компьютера и одного IP :)) О подобных проблемах именно с подключением почт Google я расскажу в отдельной статье.
Сделай репост – выиграй ноутбук!
Каждый месяц 1 числа iBook.pro разыгрывает подарки.
—> 
LENOVO или HP от 40-50 т.р., 8-16ГБ DDR4, SSD, экран 15.6″, Windows 10
Что такое сбор почты
Если у вас есть почтовые ящики на других почтовых сервисах, настройте сборщик писем. Письма с указанного ящика будут приходить в вашу почту, и вся информация сохранится в одном месте.
Чтобы сборщик работал корректно, вы должны его настраивать, находясь в аккаунте Mail.ru.
Включить сборщик писем
Настройте сборщик: выберите, в какую папку сохранять письма и применять ли фильтры.
Если сбор писем настроен по протоколу IMAP, вы сможете отвечать на письма с того ящика, на который отправлено письмо.
Отключить и удалить сборщик
Перейдите 
→ «Все настройки» → «Почта из других ящиков».
Нажмите на переключатель чтобы он стал серым 
— это значит, что сборщик отключен. Если вы хотите отредактировать настройки, нажмите «Изменить». Чтобы удалить сборщик, нажмите 
.
Чтобы удалить сборщик из списка папок, удалите сначала папки внутри, а затем саму папку сборщика.
Яндекс.Почта. Сборщик писем, папки-метки и другие её настройки.
Многие пользователи используют электронную почту, в таком виде, в каком она представлена сразу после регистрации, не внося не каких настроек. Если, Вы используете «Яндекс.Почту» и при этом не вносите не каких настроек, то предлагаю Вам прочитать пост до конца, уверен, Вы найдёте для себя что-нибудь полезное!
Как вы уже поняли, речь пойдёт именно об электронной почты, которую предоставляет всем известная Российская IT компания Яндекс. В рамках этого поста, я расскажу про основные настройки «Яндекс.Почты» которые позволят удобнее и эффективнее использовать её «WEB интерфейс»
Что бы попасть в настройки «Яндекс.Почты» войдите в свою почту и слева под папками имеется не особо приметная ссылка «Настроить» это то что нужно. После того, как Вы зайдёте в настройки почты, там же с лева будет навигация по настройкам.
Как я уже сказал выше, речь пойдёт про основные настройки почты от Яндекса. И все с подряд рассматривать не вижу смысла или просто считаю некоторые из них не особо нужными.
Кстати, у «Яндекс.Почты» появилась отличная и бесплатная, скажем так, возможность подключить свой собственный домен и получить почтовый ящик вида «Ваше-имя@вашдомен.ру» и при этом использовать WEB интерфейс Яндекс почты!
Настройки Яндекс.Почты
Вернёмся к теме поста и по порядку разберём основные настройки почты, как ими пользоваться, и для чего они нужны.
Информация об отправителе : Этому разделу стоит уделить внимание, если вы желаете, что бы получатели Вашей почты видели Вашу фотографию. Вы можете написать свою уникальную подпись, которую будет видеть получатель в низу вашего письма. А так же выбрать с какого адреса будут отправляться Ваши письма.
Что бы загрузить свою фотографию, нажмите кнопку «Загрузить портрет» и выберите ранее подготовленную картинку или свою фотографию.
Если у Вас нет под рукой фото, то можно сфотографироваться с веб камеры. Чуть выше, на этой же страницы, можно указать своё имя в поле «Ваше имя» теперь получатели Ваших писем будут видеть Вшу фотографию.
В этом же разделе можно поменять адрес отправителя, а точнее его домен. Думаю, полезно будет, если живёте не в России а, например, на Украине. В этом случаи, можно сменить «yandex.ru» на «yandex.ua» (Вроде украинская зона, честно сказать, не особо в этом понимаю) или выбрать, более коротки «ya.ru»
Если изменить этот параметр на «yandex.ua», то письма будут приходить с адреса «Вашеимя@ yandex.ua» Мне же, как жителю РФ нет смысла что-то менять, и оставляю, как было!
Что касается ссылки « Сделать адресом номер телефона » то об этом будет упомянуто ниже, когда будет рассматриваться раздел, безопасность!
И последнее из этого раздела – это подпись. Тут Вы можете указать, например контактные данные, по мимо адреса почты, ICQ номер, адрес сайта и прочие, что посчитаете нужным. Подпись можно оформить, как угодно, изменить цвет текста и все в этом духе.
Создавать подобных подписей можно несколько, например, для каждого адреса своя уникальная подпись. Теперь эта подпись будет всегда отображаться в конце каждого моего отправленного письма!
Сбор почты с других ящиков : Если у Вас имеются другие почтовые ящики, и вы ими пользуетесь, то тогда с них можно сгребать всю почту в один ящик. Делается это довольно просто. Нужно указать адрес почты и его пароль в соответствующие поля.
После включения сборщика, просто сохраните настройки, не трогая всякие метки итд. Об этом чуть ниже. Теперь все письма с адреса «winkompblog@yandex.ru» буду приходить на «blogwinkomp@yandex.ru» иногда удобно, не нужно постоянно заходить на первый ящик для его проверки…
Папки и метки : На мой взгляд, это самое интересная и нужная для удобной работы с почтой настройка. Вы можете создать папку с названием, например «Важные письма» и собирать в эту папку письма с важного для вас адреса.
После того, как будет создана папка, выделите её одним кликом правой кнопки мыши и нажмите кнопку «Создать правило» откроется вот такая форма.
Заполните поле «От кого» укажите в нём E-Mail адрес. В моём случаи с адреса «winkompblog@yandex.ru» Все письма будут попадать в папку «Важные письма» Благодаря чему, потерять важные письма будет сложнее, если они буду попадать ко всем письмам в папку «Входящие» то они легко затеряются среди спама.
Что касается «меток» то тут, Вы можете создавать разные метки для разных адресов, например, создадим метку «Важно» и присвоим ей красный цвет. Для этого нажмите на кнопку «Новая метка»
После создание метки, её можно редактировать, если Вам понадобится сменить цвет или название метки, а так же самое главное задавать метке правила, точно так же, как и с папками.
Выделите метку и нажмите кнопку « Создать правило » после чего укажите адрес, которому нужно присвоить эту метку. Я указал все тот же «winkompblog@yandex.ru» Теперь письма с этого адреса будут приходить в папку «Важные письма» и они будут помечены меткой «Важно» выглядит это вот так:
Согласитесь, такое письмо, будет трудно потерять или удалить не прочитанным?
Вообще с помощью меток и папок можно навести невероятный порядок в своей почте. Например, у меня есть папка «Подписки на блоги» куда я складываю рассылки, с блогов на которые подписан с разными метками «Блог Васи» и прочие… Таким образом, мне намного легче разгребать и читать все рассылки.
Правила обработки почты : В этом разделе Вы имеете возможность добавить адреса электронных ящиков в чёрный и белый список. Если Вас достал «Спамер» или различные не понятные рассылки и прочий спам, то добавьте адреса в черный список.
Что бы удалить адрес из черного списка, вдруг он был добавлен по ошибке, отметьте его галочкой и нажмите кнопку «Удалить из списка» С остальных адресов письма до Вас доходить не будут.
Если письма попадают в спам и Вы с этим не согласны, то воспользуйтесь белым списком и добавьте в него адреса, которые попадают в спам.
Адреса, которые находятся в белом списке, будут попадать в папку «Входящие» минуя папку «Спам»
Безопасность : Тут имеется отличная возможность с помощью которой можно привязать свой номер мобильного телефона к Яндекс.Почте. Нужно это для двух вещей. В случаи утери пароля от почты его можно легко восстановить через SMS. И ко всему этому, Вы получите ещё один адрес электронной почты такого вида «Ваш номер телефона@yandex.ru». Такой адрес намного легче сообщить, например по телефону.
Намного легче продиктовать свой номер, чем объяснять, как правильно пишется Ваш адрес электронной почты.
Что бы привязать номер к почте, сделайте следующее. На странице «Безопасность» нажмите на ссылку « Номера телефонов » на следующей странице введите свой номер мобильного телефона через «+7»
На следующей странице введите код подтверждения и текущий пароль от почты.
После чего нажмите кнопку подтвердить. На этом номер телефона будет привязан к Вашей почте, и Вы уже можете пользоваться новым ящиком «Номер@yandex.ru»
Что касается других настроек Яндекс.Почты, то тут можно отметить возможность убрать рекламу с почты. Для этого просто уберите галочки на странице « Прочие параметры » другие настройки я не трогаю, либо они мне не к чему!
На этом я буду завершать пост о настройке Яндекс.Почты, спасибо за внимание. Надеюсь из этой темы Вы извлекли для себя полезную информацию и вопросы по поводу настройки Яндекс.Почты Вас беспокоить больше не будет.