[postfix-users] Bitte um Hilfe bei ausgehendem Mailverkehr / automatische Umleitung eines Absenders
Sehr geehrte Damen und Herren,
ich bekomme es noch immer nicht wirklich richtig in den Griff einen Newsletterabsender so abzufangen dass der restliche ausgehende Mailverkehr nicht ausgebremst wird. Im Augenblick habe ich dass Problem, wenn der Absender newletterabsender@example.tld tausende Mails einliefert, dass der komplette Mailverkehr über eine Stunde verzögert wird. Das ist nicht akzeptabel. Es werden von dem Absender immer alle 2 Minuten Newsletter eingeliefert falls das noch wichtig ist.
Ich hätte gerne dass wenn Mails vom Absender newletterabsender@example.tld eintreffen diese auf den 2. ausgehenden Mailserver umgeleitet werden ohne dass die vom dem Mailserver noch geprüft werden. Die Prüfung übernimmt ja dann der 2. Mailserver. Und der gesamte andere ausgehende Mailverkehr ungehindert weiter funktioniert und der auch über AmavisD geprüft wird... Beide Mailserver sind nur ausliefernde Mailserver die nur Mails von unseren internen Servern annehmen.
Ich hoffe mir kann da jemand weiterhelfen wie ich das ganze beschleunigen kann. Mir fehlt da der richtige Ansatzpunkt. Bin mir auch nicht sicher ob meine bisherige Konfiguration richtig ist. :-( Hilfe bitte.
Postfix main.cf -----------------------------------> # See /usr/share/postfix/main.cf.dist for a commented, more complete version
# Debian specific: Specifying a file name will cause the first # line of that file to be used as the name. The Debian default # is /etc/mailname. #myorigin = /etc/mailname
smtpd_banner = $myhostname ESMTP $mail_name (Debian/GNU) biff = no
# appending .domain is the MUA's job. append_dot_mydomain = no
readme_directory = /usr/share/doc/postfix
smtpd_tls_cert_file = /etc/ssl/certs/ssl-cert-snakeoil.pem smtpd_tls_key_file = /etc/ssl/private/ssl-cert-snakeoil.key smtpd_use_tls = no smtpd_tls_session_cache_database = btree:${data_directory}/smtpd_scache smtp_tls_session_cache_database = btree:${data_directory}/smtp_scache
myhostname = ausgehendermailserver.domain.tld alias_maps = hash:/etc/aliases alias_database = hash:/etc/aliases myorigin = /etc/mailname mydestination = ausgehendermailserver.domain.tld, localhost relayhost = mynetworks = cidr:/etc/postfix/relay-servers mailbox_command = procmail -a "$EXTENSION" mailbox_size_limit = 0 recipient_delimiter = + inet_interfaces = all inet_protocols = all mynetworks_style = host
strict_rfc821_envelopes=yes strict_mime_encoding_domain=no
unknown_address_reject_code = 550 unknown_client_reject_code = 550 unknown_hostname_reject_code = 550 maps_rbl_reject_code = 550 reject_code = 550 unverified_sender_reject_code = 550 unverified_recipient_reject_code = 550 unknown_local_recipient_reject_code = 550
mail_owner = postfix
smtpd_soft_error_limit = 6 smtpd_hard_error_limit = 10 smtpd_error_sleep_time = 30s
# Spammerzeit vergeuden smtpd_delay_reject = no disable_vrfy_command = yes
html_directory = /usr/share/doc/postfix/html virtual_alias_domains = virtual_alias_maps = proxy:mysql:/etc/postfix/mysql-virtual_forwardings.cf, mysql:/etc/postfix/mysql-virtual_email2email.cf virtual_mailbox_domains = proxy:mysql:/etc/postfix/mysql-virtual_domains.cf virtual_mailbox_maps = proxy:mysql:/etc/postfix/mysql-virtual_mailboxes.cf virtual_mailbox_base = /var/vmail virtual_uid_maps = static:5000 virtual_gid_maps = static:5000 smtpd_sasl_auth_enable = yes broken_sasl_auth_clients = yes smtpd_sasl_authenticated_header = yes
smtpd_sender_restrictions = check_sender_access mysql:/etc/postfix/mysql-virtual_sender.cf
smtpd_client_restrictions = check_client_access mysql:/etc/postfix/mysql-virtual_client.cf
smtpd_recipient_restrictions = permit_sasl_authenticated, permit_mynetworks, check_recipient_access mysql:/etc/postfix/mysql-virtual_recipient.cf, reject_unknown_sender_domain, reject_unknown_recipient_domain, reject_unauth_destination, reject_non_fqdn_hostname, reject_non_fqdn_sender, reject_non_fqdn_recipient, reject_unauth_pipelining
smtpd_data_restrictions = reject_unauth_pipelining
smtpd_tls_security_level = may transport_maps = proxy:mysql:/etc/postfix/mysql-virtual_transports.cf relay_domains = mysql:/etc/postfix/mysql-virtual_relaydomains.cf relay_recipient_maps = mysql:/etc/postfix/mysql-virtual_relayrecipientmaps.cf proxy_read_maps = $local_recipient_maps $mydestination $virtual_alias_maps $virtual_alias_domains $virtual_mailbox_maps $virtual_mailbox_domains $relay_recipient_maps $relay_domains $canonical_maps $sender_canonical_maps $recipient_canonical_maps $relocated_maps $transport_maps $mynetworks $virtual_mailbox_limit_maps maildrop_destination_concurrency_limit = 1 maildrop_destination_recipient_limit = 1 virtual_transport = maildrop header_checks = regexp:/etc/postfix/header_checks mime_header_checks = regexp:/etc/postfix/mime_header_checks nested_header_checks = regexp:/etc/postfix/nested_header_checks body_checks = regexp:/etc/postfix/body_checks # direkte Umleitungen nach Absender # smtp_sender_dependent_authentication = no # sender_dependent_relayhost_maps = hash:/etc/postfix/sender_relayhost sender_dependent_default_transport_maps = hash:/etc/postfix/sender_transport # - - - - - - - - - - - content_filter = amavis:[127.0.0.1]:10024 receive_override_options = no_address_mappings message_size_limit = 0 smtp_fallback_relay= 85.236.196.237 # smtp_fallback_relay= header_size_limit = 102400
default_destination_concurrency_failed_cohort_limit = 1 default_destination_concurrency_limit = 199 default_destination_concurrency_negative_feedback = 1 default_destination_concurrency_positive_feedback = 1 default_destination_rate_delay = 0s default_destination_recipient_limit = 50
#Wartezeit für ausgehende Mails z.B. für Greylist. default: 300s queue_run_delay = 301s <---------------------------main.cf
Postfix master.cf --------------------> # # Postfix master process configuration file. For details on the format # of the file, see the master(5) manual page (command: "man 5 master"). # # Do not forget to execute "postfix reload" after editing this file. # # ========================================================================== # service type private unpriv chroot wakeup maxproc command + args # (yes) (yes) (yes) (never) (100) # ========================================================================== smtp inet n - - - - smtpd #submission inet n - - - - smtpd # -o smtpd_tls_security_level=encrypt # -o smtpd_sasl_auth_enable=yes # -o smtpd_client_restrictions=permit_sasl_authenticated,reject # -o milter_macro_daemon_name=ORIGINATING #smtps inet n - - - - smtpd # -o smtpd_tls_wrappermode=yes # -o smtpd_sasl_auth_enable=yes # -o smtpd_client_restrictions=permit_sasl_authenticated,reject # -o milter_macro_daemon_name=ORIGINATING #628 inet n - - - - qmqpd pickup fifo n - - 60 1 pickup cleanup unix n - - - 0 cleanup qmgr fifo n - n 300 1 qmgr #qmgr fifo n - - 300 1 oqmgr tlsmgr unix - - - 1000? 1 tlsmgr rewrite unix - - - - - trivial-rewrite bounce unix - - - - 0 bounce defer unix - - - - 0 bounce trace unix - - - - 0 bounce verify unix - - - - 1 verify flush unix n - - 1000? 0 flush proxymap unix - - n - - proxymap proxywrite unix - - n - 1 proxymap smtp unix - - - - - smtp # When relaying mail as backup MX, disable fallback_relay to avoid MX loops relay unix - - - - - smtp -o smtp_fallback_relay= # -o smtp_helo_timeout=5 -o smtp_connect_timeout=5 showq unix n - - - - showq error unix - - - - - error retry unix - - - - - error discard unix - - - - - discard local unix - n n - - local virtual unix - n n - - virtual lmtp unix - - - - - lmtp anvil unix - - - - 1 anvil scache unix - - - - 1 scache # # ==================================================================== # Interfaces to non-Postfix software. Be sure to examine the manual # pages of the non-Postfix software to find out what options it wants. # # Many of the following services use the Postfix pipe(8) delivery # agent. See the pipe(8) man page for information about ${recipient} # and other message envelope options. # ==================================================================== # # maildrop. See the Postfix MAILDROP_README file for details. # Also specify in main.cf: maildrop_destination_recipient_limit=1 # maildrop unix - n n - - pipe flags=DRhu user=vmail argv=/usr/bin/maildrop -d vmail ${extension} ${recipient} ${user} ${nexthop} ${sender} # # ==================================================================== # # Recent Cyrus versions can use the existing "lmtp" master.cf entry. # # Specify in cyrus.conf: # lmtp cmd="lmtpd -a" listen="localhost:lmtp" proto=tcp4 # # Specify in main.cf one or more of the following: # mailbox_transport = lmtp:inet:localhost # virtual_transport = lmtp:inet:localhost # # ==================================================================== # # Cyrus 2.1.5 (Amos Gouaux) # Also specify in main.cf: cyrus_destination_recipient_limit=1 # #cyrus unix - n n - - pipe # user=cyrus argv=/cyrus/bin/deliver -e -r ${sender} -m ${extension} ${user} # # ==================================================================== # Old example of delivery via Cyrus. # #old-cyrus unix - n n - - pipe # flags=R user=cyrus argv=/cyrus/bin/deliver -e -m ${extension} ${user} # # ==================================================================== # # See the Postfix UUCP_README file for configuration details. # uucp unix - n n - - pipe flags=Fqhu user=uucp argv=uux -r -n -z -a$sender - $nexthop!rmail ($recipient) # # Other external delivery methods. # ifmail unix - n n - - pipe flags=F user=ftn argv=/usr/lib/ifmail/ifmail -r $nexthop ($recipient) bsmtp unix - n n - - pipe flags=Fq. user=bsmtp argv=/usr/lib/bsmtp/bsmtp -t$nexthop -f$sender $recipient scalemail-backend unix - n n - 2 pipe flags=R user=scalemail argv=/usr/lib/scalemail/bin/scalemail-store ${nexthop} ${user} ${extension} mailman unix - n n - - pipe flags=FR user=list argv=/usr/lib/mailman/bin/postfix-to-mailman.py ${nexthop} ${user}
# zusätzlicher transport ohne Filter für newsletter z.B. newssmtp unix - - n - 1 smtp -o content_filter= -o receive_override_options=no_unknown_recipient_checks,no_header_body_checks,no_milters
amavis unix - - - - 12 smtp -o smtp_data_done_timeout=1200 -o smtp_send_xforward_command=yes -o disable_dns_lookups=yes
127.0.0.1:10025 inet n - - - - smtpd -o content_filter= -o local_recipient_maps= -o relay_recipient_maps= -o smtpd_restriction_classes= -o smtpd_client_restrictions= -o smtpd_helo_restrictions= -o smtpd_sender_restrictions= -o smtpd_recipient_restrictions=permit_mynetworks,reject -o mynetworks=127.0.0.0/8 -o strict_rfc821_envelopes=yes -o receive_override_options=no_unknown_recipient_checks,no_header_body_checks -o smtpd_bind_address=127.0.0.1 <--------------------master.cf
sender_transport ------------------> newletterabsender@example.tld newssmtp:[IP-Adresse des 2. ausgehenden Mailservers] <---------------- sender_transport
amavis/conf.d/50-user -----> use strict;
# # Place your configuration directives here. They will override those in # earlier files. # # See /usr/share/doc/amavisd-new/ for documentation and examples of # the directives you can use in this file #
@bypass_virus_checks_maps = ( %bypass_virus_checks, @bypass_virus_checks_acl, $bypass_virus_checks_re);
@bypass_spam_checks_maps = ( %bypass_spam_checks, @bypass_spam_checks_acl, $bypass_spam_checks_re);
@lookup_sql_dsn = ( ['DBI:mysql:database=dbispconfig;host=127.0.0.1;port=3306', 'ispconfig', '*************'] );
$sql_select_policy = 'SELECT *,spamfilter_users.id'. ' FROM spamfilter_users LEFT JOIN spamfilter_policy ON spamfilter_users.policy_id=spamfilter_policy.id'. ' WHERE spamfilter_users.email IN (%k) ORDER BY spamfilter_users.priority DESC';
$sql_select_white_black_list = 'SELECT wb FROM spamfilter_wblist'. ' WHERE (spamfilter_wblist.rid=?) AND (spamfilter_wblist.email IN (%k))' . ' ORDER BY spamfilter_wblist.priority DESC';
$final_virus_destiny = D_REJECT; $final_spam_destiny = D_REJECT; $final_banned_destiny = D_BOUNCE; $final_bad_header_destiny = D_PASS;
$sa_spam_subject_tag = ' *SPAM* '; $sa_tag_level_deflt = 4; # add spam info headers if at, or above that level. Default 20. $sa_tag2_level_deflt = 8.0; # add 'spam detected' headers at that level $sa_kill_level_deflt = 10.0; # triggers spam evasive actions $sa_dsn_cutoff_level = 1000; # spam level beyond which a DSN is not sent
$max_servers = 15; $max_requests = 200;
$DO_SYSLOG = 1; $log_level = 0; # (defaults to 0)
#------------ Do not modify anything below this line ------------- 1; # insure a defined return <--------------- amavis/conf.d/50-user
Vielen Dank schon mal. Lieben Gruß JO!
Am 29.05.2013 11:43, schrieb Joachim Burbach:
Ich hätte gerne dass wenn Mails vom Absender newletterabsender@example.tld eintreffen diese auf den 2. ausgehenden Mailserver umgeleitet werden ohne dass die vom dem Mailserver noch geprüft werden. Die Prüfung übernimmt ja dann der 2. Mailserver. Und der gesamte andere ausgehende Mailverkehr ungehindert weiter funktioniert und der auch über AmavisD geprüft wird... Beide Mailserver sind nur ausliefernde Mailserver die nur Mails von unseren internen Servern annehmen.
Hi, deine config ist sehr umfangreich, deshalb hab ich mir nicht alles angesehen , der sender_transport ist zumindest schon mal der richtige weg, wie auch immer die mails muessen auch damit per smtp "gesendet" werden auch das schluckt resourcen
wie waere es wenn du die newsletter Einlieferung abbremst, zb mit einem slow transport auf dem sender server, oder mit anvil auf deinem server
zb sowas
smtpd_client_connection_rate_limit = 10 # max. 10/60s
smtpd_client_connection_count_limit = 5 # max 5 vom selben client
smtpd_client_event_limit_exceptions = 127.0.0.1, 1.2.3.4/24 # ausnahmen
anvil_rate_time_unit = 60s # Zeitintervall
die parameter muesstest du fuer deine Beduerfnisse natuerlich anpassen, und am besten alle nochmal nachlesen
Best Regards MfG Robert Schetterer
Zitat von Robert Schetterer rs@sys4.de:
Am 29.05.2013 11:43, schrieb Joachim Burbach:
Ich hätte gerne dass wenn Mails vom Absender newletterabsender@example.tld eintreffen diese auf den 2. ausgehenden Mailserver umgeleitet werden ohne dass die vom dem Mailserver noch geprüft werden. Die Prüfung übernimmt ja dann der 2. Mailserver. Und der gesamte andere ausgehende Mailverkehr ungehindert weiter funktioniert und der auch über AmavisD geprüft wird... Beide Mailserver sind nur ausliefernde Mailserver die nur Mails von unseren internen Servern annehmen.
Hi, deine config ist sehr umfangreich, deshalb hab ich mir nicht alles angesehen , der sender_transport ist zumindest schon mal der richtige weg, wie auch immer die mails muessen auch damit per smtp "gesendet" werden auch das schluckt resourcen
wie waere es wenn du die newsletter Einlieferung abbremst, zb mit einem slow transport auf dem sender server, oder mit anvil auf deinem server
zb sowas
smtpd_client_connection_rate_limit = 10 # max. 10/60s
smtpd_client_connection_count_limit = 5 # max 5 vom selben client
smtpd_client_event_limit_exceptions = 127.0.0.1, 1.2.3.4/24 # ausnahmen
anvil_rate_time_unit = 60s # Zeitintervall
die parameter muesstest du fuer deine Beduerfnisse natuerlich anpassen, und am besten alle nochmal nachlesen
Best Regards MfG Robert Schetterer
Möglich wäre auch abhänging von der Absender Adresse die Mails zunächst an den zweiten Mailserver zu schaufeln (http://www.postfix.org/postconf.5.html#sender_dependent_relayhost_maps). Setzt allerdings voraus das die Verbindung zwischen den beiden Mailservern entsprechend leistungsfähig ist, um die Verzögerung in Grenzen zu halten. Besser wäre es sicher für größere Newsletter direkt einen anderen Server zu verwenden oder zumindest eine zweite Postfix Instanz.
Gruß
Andreas
Am 29.05.2013 11:43, schrieb Joachim Burbach:
# zusätzlicher transport ohne Filter für newsletter z.B. newssmtp unix - - n - 1 smtp -o content_filter= -o receive_override_options=no_unknown_recipient_checks,no_header_body_checks,no_milters
wiso ist maxproc hier gleich 1 ?
100 ist default
default_destination_concurrency_limit = 199
20 ist default
wenn du fuer einen transport was extra machen willst
transport_destination_concurrency_limit usw nutzen
Best Regards MfG Robert Schetterer
* Joachim Burbach j.burbach@jo-it.net:
ich bekomme es noch immer nicht wirklich richtig in den Griff einen Newsletterabsender so abzufangen dass der restliche ausgehende Mailverkehr nicht ausgebremst wird. Im Augenblick habe ich dass Problem, wenn der Absender newletterabsender@example.tld tausende Mails einliefert, dass der komplette Mailverkehr über eine Stunde verzögert wird. Das ist nicht akzeptabel. Es werden von dem Absender immer alle 2 Minuten Newsletter eingeliefert falls das noch wichtig ist.
Der liefert die Mail ein und dann passiert was? Wird die gescannt?
Ich denke mal alle Mail geht IMMER in den content_filter rein -- und das wird natürlich massig langsam werden.
Ich hätte gerne dass wenn Mails vom Absender newletterabsender@example.tld eintreffen diese auf den 2. ausgehenden Mailserver umgeleitet werden ohne dass die vom dem Mailserver noch geprüft werden.
Die Prüfung übernimmt ja dann der 2. Mailserver.
Und der gesamte andere ausgehende Mailverkehr ungehindert weiter funktioniert und der auch über AmavisD geprüft wird... Beide Mailserver sind nur ausliefernde Mailserver die nur Mails von unseren internen Servern annehmen.
OK, wie hier.
Also was wir machen:
* Newsletterversand via Mailman * Es wird nur EINGEHEND gescannt, wenn Mailman alles rauspustet wird so eingeliefert (eigener Port), daß nicht gescanned wird.
Das ist aber evtl. nicht praktikabel, wenn Ihr personalisierte Mails schickt, die von einem Appserver aus einer Datenbank heraus generiert werden.
Ist das so?
participants (4)
-
Joachim Burbach
-
lst_hoe02@kwsoft.de
-
Ralf Hildebrandt
-
Robert Schetterer