[postfix-users] Performanceproblem Email mit großem Verteiler und Anhang
Hallo, ich habe derzeit ein Problem welches ich einfach nicht in den Griff bekomme. Ein Mitarbeiter bei uns verschickt einmal im Monat mehere Emails mit einem großen Verteiler. In der An Zeile hat er dann ca. 250 Adressen und als Anhang eine ca. 5 MB große Datei. Der Emailserver nimmt diese Email dann einmal entgegegen und bricht danach für ein paar Minuten total zusammen. Ich suche nun einen Parameter wie ich dieses Verhalten ändern kann, sodass Postfix diese Email Stück für Stück abarbeitet und nicht wie jetzt auf einmal. Hat dazu jemand eine Idee?
Gruß
Sven
* Sven Pastorik s.pastorik@westfalen-blatt.de:
Hallo, ich habe derzeit ein Problem welches ich einfach nicht in den Griff bekomme. Ein Mitarbeiter bei uns verschickt einmal im Monat mehere Emails mit einem großen Verteiler. In der An Zeile hat er dann ca. 250 Adressen und als Anhang eine ca. 5 MB große Datei. Der Emailserver nimmt diese Email dann einmal entgegegen und bricht danach für ein paar Minuten total zusammen. Ich suche nun einen Parameter wie ich dieses Verhalten ändern kann, sodass Postfix diese Email Stück für Stück abarbeitet und nicht wie jetzt auf einmal. Hat dazu jemand eine Idee?
Was sagen denn die Logs?
Hallo, ich lese in den Logs das dort eine Email eingeht:
Mar 1 09:44:37 gateway postfix/smtpd[4754]: connect from xxx_[xx.x.x.x] Mar 1 09:44:37 gateway postfix/smtpd[4754]: 72809100321E9: client=xxx[x.x.x.x] Mar 1 09:44:37 gateway postfix/cleanup[5256]: 72809100321E9: message-id=<001101cbd7eb$7b4559a0$b3c82780@PABIE15 Mar 1 09:44:38 gateway postfix/qmgr[1926]: 72809100321E9: from=x@beispiel.de , size=3201222, nrcpt=157 (queue active)
und diese dann wie in diesem Fall 157 mal zugestellt wird.
Mar 1 09:45:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@x.com , relay=mail.x.com[x.x.x.x]:25, delay=47, delays=1.3/0.33/4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4)
Da Postfix das aber alles auf einmal abarbeitet, geht der Load des Servers so stark nach oben, das es zu Verbindungsabbrüchen kommt. Ich habe keine Fehler im Logfile, die Zustellung erfolgt wie gewünscht. Ich suche nur eine Möglichkeit das ganze so zu bremsen, das auch noch andere Mitarbieter dazwischen kommen können.
Gruß
Sven
----------------ursprüngliche Nachricht----------------- Von: "Ralf Hildebrandt" Ralf.Hildebrandt@charite.de An: postfix-users@de.postfix.org Datum: Thu, 3 Mar 2011 13:12:13 +0100 -------------------------------------------------
- Sven Pastorik s.pastorik@westfalen-blatt.de :
Hallo, ich habe derzeit ein Problem welches ich einfach nicht in den Griff bekomme. Ein Mitarbeiter bei uns verschickt einmal im Monat mehere Emails mit einem großen Verteiler. In der An Zeile hat er dann ca. 250 Adressen und als Anhang eine ca. 5 MB große Datei. Der Emailserver nimmt diese Email dann einmal entgegegen und bricht danach für ein paar Minuten total zusammen. Ich suche nun einen Parameter wie ich dieses Verhalten ändern kann, sodass Postfix diese Email Stück für Stück abarbeitet und nicht wie jetzt auf einmal. Hat dazu jemand eine Idee?
Was sagen denn die Logs?
-- Ralf Hildebrandt Geschäftsbereich IT | Abteilung Netzwerk Charité - Universitätsmedizin Berlin Campus Benjamin Franklin Hindenburgdamm 30 | D-12203 Berlin Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962 ralf.hildebrandt@charite.de | http://www.charite.de
postfix-users mailing list postfix-users@de.postfix.org http://de.postfix.org/cgi-bin/mailman/listinfo/postfix-users
* Sven Pastorik s.pastorik@westfalen-blatt.de:
Hallo, ich lese in den Logs das dort eine Email eingeht:
Mar 1 09:44:37 gateway postfix/smtpd[4754]: connect from xxx_[xx.x.x.x] Mar 1 09:44:37 gateway postfix/smtpd[4754]: 72809100321E9: client=xxx[x.x.x.x] Mar 1 09:44:37 gateway postfix/cleanup[5256]: 72809100321E9: message-id=<001101cbd7eb$7b4559a0$b3c82780@PABIE15 Mar 1 09:44:38 gateway postfix/qmgr[1926]: 72809100321E9: from=x@beispiel.de , size=3201222, nrcpt=157 (queue active)
OK, 1 Mail mit nrcpt=157 Empfängern
und diese dann wie in diesem Fall 157 mal zugestellt wird.
Nee, einmal.
Mar 1 09:45:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@x.com , relay=mail.x.com[x.x.x.x]:25, delay=47, delays=1.3/0.33/4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4)
Nur 1x? Also 1x mit 157 Empfängern ans Relay. 47s Verzögerung. War das alles zu "72809100321E9" ?
Verzögerungswert D ist hoch:
· a = time from message arrival to last active queue entry · b = time from last active queue entry to connection setup · c = time in connection setup, including DNS, EHLO and STARTTLS · d = time in message transmission
Ergo: mail.x.com[x.x.x.x]:25 ist einfach lahmarschig.
Da Postfix das aber alles auf einmal abarbeitet, geht der Load des Servers so stark nach oben, das es zu Verbindungsabbrüchen kommt.
Wo sieht man die hier?
Ich habe keine Fehler im Logfile, die Zustellung erfolgt wie gewünscht. Ich suche nur eine Möglichkeit das ganze so zu bremsen, das auch noch andere Mitarbieter dazwischen kommen können.
Ich sehe auf deiner Kiste kein Problem. Du schickst die Mails an mail.x.com[x.x.x.x] -- und was passiert dann?
* Ralf Hildebrandt Ralf.Hildebrandt@charite.de:
- Sven Pastorik s.pastorik@westfalen-blatt.de:
Hallo, ich lese in den Logs das dort eine Email eingeht:
Mar 1 09:44:37 gateway postfix/smtpd[4754]: connect from xxx_[xx.x.x.x] Mar 1 09:44:37 gateway postfix/smtpd[4754]: 72809100321E9: client=xxx[x.x.x.x] Mar 1 09:44:37 gateway postfix/cleanup[5256]: 72809100321E9: message-id=<001101cbd7eb$7b4559a0$b3c82780@PABIE15 Mar 1 09:44:38 gateway postfix/qmgr[1926]: 72809100321E9: from=x@beispiel.de , size=3201222, nrcpt=157 (queue active)
OK, 1 Mail mit nrcpt=157 Empfängern
und diese dann wie in diesem Fall 157 mal zugestellt wird.
Nee, einmal.
Mar 1 09:45:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@x.com , relay=mail.x.com[x.x.x.x]:25, delay=47, delays=1.3/0.33/4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4)
Nur 1x? Also 1x mit 157 Empfängern ans Relay. 47s Verzögerung. War das alles zu "72809100321E9" ?
Also ganz wichtig ist jetzt rauszufinden was da sonst noch für 72809100321E9 im Log steht. Irgendwann kommt noch "72809100321E9: removed" -- wann?
Hallo, die letzte Zeile kommt ca. 15 Min. später.
Mar 1 10:01:05 gateway postfix/qmgr[1926]: 72809100321E9: removed
Dazwischen sind nur Zeilen wie diese: Mar 1 09:xx:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@x.com , relay=mail.x.com[x.x.x.x]:25, delay=47, delays=1.3/0.33 4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4)
und natürlich weitere Zeilen wo andere Emails eingehen bzw. ausgehen.
Gruß
Sven
----------------ursprüngliche Nachricht----------------- Von: "Ralf Hildebrandt" Ralf.Hildebrandt@charite.de An: postfix-users@de.postfix.org Datum: Thu, 3 Mar 2011 14:51:12 +0100 -------------------------------------------------
- Ralf Hildebrandt Ralf.Hildebrandt@charite.de :
- Sven Pastorik s.pastorik@westfalen-blatt.de :
Hallo, ich lese in den Logs das dort eine Email eingeht:
Mar 1 09:44:37 gateway postfix/smtpd[4754]: connect from
xxx_[xx.x.x.x]
Mar 1 09:44:37 gateway postfix/smtpd[4754]: 72809100321E9:
client=xxx[x.x.x.x]
Mar 1 09:44:37 gateway postfix/cleanup[5256]: 72809100321E9:
message-id=<001101cbd7eb$7b4559a0$b3c82780@PABIE15
Mar 1 09:44:38 gateway postfix/qmgr[1926]: 72809100321E9:
from=x@beispiel.de , size=3201222, nrcpt=157 (queue active)
OK, 1 Mail mit nrcpt=157 Empfängern
und diese dann wie in diesem Fall 157 mal zugestellt wird.
Nee, einmal.
Mar 1 09:45:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@x.com ,
relay=mail.x.com[x.x.x.x]:25, delay=47, delays=1.3/0.33/4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4)
Nur 1x? Also 1x mit 157 Empfängern ans Relay. 47s Verzögerung. War das alles zu "72809100321E9" ?
Also ganz wichtig ist jetzt rauszufinden was da sonst noch für 72809100321E9 im Log steht. Irgendwann kommt noch "72809100321E9: removed" -- wann?
-- Ralf Hildebrandt Geschäftsbereich IT | Abteilung Netzwerk Charité - Universitätsmedizin Berlin Campus Benjamin Franklin Hindenburgdamm 30 | D-12203 Berlin Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962 ralf.hildebrandt@charite.de | http://www.charite.de
postfix-users mailing list postfix-users@de.postfix.org http://de.postfix.org/cgi-bin/mailman/listinfo/postfix-users
Zitat von Sven Pastorik s.pastorik@westfalen-blatt.de:
Hallo, die letzte Zeile kommt ca. 15 Min. später.
Mar 1 10:01:05 gateway postfix/qmgr[1926]: 72809100321E9: removed
Dazwischen sind nur Zeilen wie diese: Mar 1 09:xx:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@x.com , relay=mail.x.com[x.x.x.x]:25, delay=47, delays=1.3/0.33 4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4)
und natürlich weitere Zeilen wo andere Emails eingehen bzw. ausgehen.
Die Anzahl der parallel verwendeten "smtp" prozesse in der master.cf einschränken? Falls die Maschine wenig RAM ( >4GB :-) hat in master.cf die Zeile wo vorne und hinten "smtp" steht (nicht "smtpd"!) in der vorletzten Spalte z.B. 20 anstatt default 100. Außerdem Logfile von Postfix und die System Logs nach Fehlern (open files etc.) absuchen.
Gruß
Andreas
* Sven Pastorik s.pastorik@westfalen-blatt.de:
Mar 1 09:44:37 gateway postfix/smtpd[4754]: connect from xxx_[xx.x.x.x] Mar 1 09:44:37 gateway postfix/smtpd[4754]: 72809100321E9: client=xxx[x.x.x.x] Mar 1 09:44:37 gateway postfix/cleanup[5256]: 72809100321E9: message-id=<001101cbd7eb$7b4559a0$b3c82780@PABIE15 Mar 1 09:44:38 gateway postfix/qmgr[1926]: 72809100321E9: from=x@beispiel.de , size=3201222, nrcpt=157 (queue active)
...
Mar 1 09:xx:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@x.com , relay=mail.x.com[x.x.x.x]:25, delay=47, delays=1.3/0.33 4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4)
...
Mar 1 10:01:05 gateway postfix/qmgr[1926]: 72809100321E9: removed
Sind denn alle Empfänger in derselben Domain? Ich verstehe nicht warum er nicht einfach die Mail als ein Block durchreicht...
Sind die "(250 2.0.0 Ok: queued as 2A99932DC0B4)" bei den "postfix/smtp" immer gleich oder variieren die?
Hallo Ralf, es sind natürlich mehr Zeilen, ich sagte ja ich habe die wiederholenden Zeilen einfach gekürzt. Hier die ersten 3 Zeilen.
Mar 1 09:45:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@xx.com , relay=mail.xx.com[8.2.8.6]:25, delay=47, delays=1.3/0.33/4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4) Mar 1 09:45:24 gateway postfix/smtp[5493]: 72809100321E9: to=y@y.de , relay=y.de[6.8.4.1]:25, delay=47, delays=1.3/0.2/0.52/45, dsn=2.0.0, status=sent (250 Ok: queued as 8EBFA2541BB) Mar 1 09:45:25 gateway postfix/smtp[5478]: 72809100321E9: to=e@ing.de , relay=mail.ing.de[3.1.7.7]:25, delay=48, delays=1.3/0.1/0.45/46, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 167CFF68915) hier folgen nun noch 170 weitere Zeilen. ... .. .
IPs und Adressen habe ich geändert.
Gruß
Sven
----------------ursprüngliche Nachricht----------------- Von: "Ralf Hildebrandt" Ralf.Hildebrandt@charite.de An: postfix-users@de.postfix.org Datum: Thu, 3 Mar 2011 15:39:28 +0100 -------------------------------------------------
- Sven Pastorik s.pastorik@westfalen-blatt.de :
Mar 1 09:44:37 gateway postfix/smtpd[4754]: connect from xxx_[xx.x.x.x] Mar 1 09:44:37 gateway postfix/smtpd[4754]: 72809100321E9: client=xxx[x.x.x.x] Mar 1 09:44:37 gateway postfix/cleanup[5256]: 72809100321E9: message-id=<001101cbd7eb$7b4559a0$b3c82780@PABIE15 Mar 1 09:44:38 gateway postfix/qmgr[1926]: 72809100321E9: from=x@beispiel.de , size=3201222, nrcpt=157 (queue active)
...
Mar 1 09:xx:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@x.com , relay=mail.x.com[x.x.x.x]:25, delay=47, delays=1.3/0.33 4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4)
...
Mar 1 10:01:05 gateway postfix/qmgr[1926]: 72809100321E9: removed
Sind denn alle Empfänger in derselben Domain? Ich verstehe nicht warum er nicht einfach die Mail als ein Block durchreicht...
Sind die "(250 2.0.0 Ok: queued as 2A99932DC0B4)" bei den "postfix/smtp" immer gleich oder variieren die?
-- Ralf Hildebrandt Geschäftsbereich IT | Abteilung Netzwerk Charité - Universitätsmedizin Berlin Campus Benjamin Franklin Hindenburgdamm 30 | D-12203 Berlin Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962 ralf.hildebrandt@charite.de | http://www.charite.de
postfix-users mailing list postfix-users@de.postfix.org http://de.postfix.org/cgi-bin/mailman/listinfo/postfix-users
* Sven Pastorik s.pastorik@westfalen-blatt.de:
Hallo Ralf, es sind natürlich mehr Zeilen, ich sagte ja ich habe die wiederholenden Zeilen einfach gekürzt. Hier die ersten 3 Zeilen.
Mar 1 09:45:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@xx.com , relay=mail.xx.com[8.2.8.6]:25, delay=47, delays=1.3/0.33/4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4) Mar 1 09:45:24 gateway postfix/smtp[5493]: 72809100321E9: to=y@y.de , relay=y.de[6.8.4.1]:25, delay=47, delays=1.3/0.2/0.52/45, dsn=2.0.0, status=sent (250 Ok: queued as 8EBFA2541BB) Mar 1 09:45:25 gateway postfix/smtp[5478]: 72809100321E9: to=e@ing.de , relay=mail.ing.de[3.1.7.7]:25, delay=48, delays=1.3/0.1/0.45/46, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 167CFF68915) hier folgen nun noch 170 weitere Zeilen.
Ja. JETZT wirds interessant! Also die Mails gehen an verschiedene Zieldomains. Jede Mail braucht 47 Sekunden. Egal wohin.
Deine Kiste kriegt eine Mail mit 157 Empfängern und muss nun im ungünstigsten Falle daraus 157 Mails mit einem Empfänger über die Leitung pusten, außer eine Domain hat mehr als einen Empfänger.
Du generierst also ca. 157 * 3.201.222 Byte = 502.591.854 Byte ~= 500 MB
Die drei die du zeigts sind simultan fertig, liefen also auch simultan los.
from=x@beispiel.de , size=3201222, nrcpt=157 (queue active)
3201222 byte / 47 s = 68111 byte/s
Wieviele smtp Prozesse erlaubst Du maximal? Beim default 100. Ich denke du kittest Dir mit den Mails deinen Upstream zu.
default_process_limit = 100
ich würde denken daß deine Kiste 100 smtp Prozesse abfeuert wenn sowas passiert und ins Swappen kommt -- kann das sein?
Zitat von Ralf Hildebrandt Ralf.Hildebrandt@charite.de:
- Sven Pastorik s.pastorik@westfalen-blatt.de:
Hallo Ralf, es sind natürlich mehr Zeilen, ich sagte ja ich habe die wiederholenden Zeilen einfach gekürzt. Hier die ersten 3 Zeilen.
Mar 1 09:45:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@xx.com , relay=mail.xx.com[8.2.8.6]:25, delay=47, delays=1.3/0.33/4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4) Mar 1 09:45:24 gateway postfix/smtp[5493]: 72809100321E9: to=y@y.de , relay=y.de[6.8.4.1]:25, delay=47, delays=1.3/0.2/0.52/45, dsn=2.0.0, status=sent (250 Ok: queued as 8EBFA2541BB) Mar 1 09:45:25 gateway postfix/smtp[5478]: 72809100321E9: to=e@ing.de , relay=mail.ing.de[3.1.7.7]:25, delay=48, delays=1.3/0.1/0.45/46, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 167CFF68915) hier folgen nun noch 170 weitere Zeilen.
Ja. JETZT wirds interessant! Also die Mails gehen an verschiedene Zieldomains. Jede Mail braucht 47 Sekunden. Egal wohin.
Deine Kiste kriegt eine Mail mit 157 Empfängern und muss nun im ungünstigsten Falle daraus 157 Mails mit einem Empfänger über die Leitung pusten, außer eine Domain hat mehr als einen Empfänger.
Du generierst also ca. 157 * 3.201.222 Byte = 502.591.854 Byte ~= 500 MB
Die drei die du zeigts sind simultan fertig, liefen also auch simultan los.
from=x@beispiel.de , size=3201222, nrcpt=157 (queue active)
3201222 byte / 47 s = 68111 byte/s
Wieviele smtp Prozesse erlaubst Du maximal? Beim default 100. Ich denke du kittest Dir mit den Mails deinen Upstream zu.
default_process_limit = 100
ich würde denken daß deine Kiste 100 smtp Prozesse abfeuert wenn sowas passiert und ins Swappen kommt -- kann das sein?
Meine Rede... Soll ich dich nun KTG nennen ;-)
Gruß
Andreas
* lst_hoe02@kwsoft.de lst_hoe02@kwsoft.de:
Meine Rede... Soll ich dich nun KTG nennen ;-)
KTvG!
Hallo, ja ich habe dann natürlich viele Prozesse. Den Upstream habe ich per trafficshaping begrenzt. Der Server hat 10 gig Speicher und ein dual core Prozessor. Die dalay Zeiten gehen natürlich nach oben, um so mehr Mails verschickt werden.
Die drei die du zeigts sind simultan fertig, liefen also auch simultan los.
Lässt sich das einstellen das Postfix nicht gleich alles auf einmal verschickt?
Gruß
Sven
----------------ursprüngliche Nachricht----------------- Von: "Ralf Hildebrandt" Ralf.Hildebrandt@charite.de An: postfix-users@de.postfix.org Datum: Thu, 3 Mar 2011 16:11:41 +0100 -------------------------------------------------
- Sven Pastorik s.pastorik@westfalen-blatt.de :
Hallo Ralf, es sind natürlich mehr Zeilen, ich sagte ja ich habe die wiederholenden Zeilen einfach gekürzt. Hier die ersten 3 Zeilen.
Mar 1 09:45:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@xx.com , relay=mail.xx.com[8.2.8.6]:25, delay=47, delays=1.3/0.33/4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4) Mar 1 09:45:24 gateway postfix/smtp[5493]: 72809100321E9: to=y@y.de , relay=y.de[6.8.4.1]:25, delay=47, delays=1.3/0.2/0.52/45, dsn=2.0.0, status=sent (250 Ok: queued as 8EBFA2541BB) Mar 1 09:45:25 gateway postfix/smtp[5478]: 72809100321E9: to=e@ing.de , relay=mail.ing.de[3.1.7.7]:25, delay=48, delays=1.3/0.1/0.45/46, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 167CFF68915) hier folgen nun noch 170 weitere Zeilen.
Ja. JETZT wirds interessant! Also die Mails gehen an verschiedene Zieldomains. Jede Mail braucht 47 Sekunden. Egal wohin.
Deine Kiste kriegt eine Mail mit 157 Empfängern und muss nun im ungünstigsten Falle daraus 157 Mails mit einem Empfänger über die Leitung pusten, außer eine Domain hat mehr als einen Empfänger.
Du generierst also ca. 157 * 3.201.222 Byte = 502.591.854 Byte ~= 500 MB
Die drei die du zeigts sind simultan fertig, liefen also auch simultan los.
from=x@beispiel.de , size=3201222, nrcpt=157 (queue active)
3201222 byte / 47 s = 68111 byte/s
Wieviele smtp Prozesse erlaubst Du maximal? Beim default 100. Ich denke du kittest Dir mit den Mails deinen Upstream zu.
default_process_limit = 100
ich würde denken daß deine Kiste 100 smtp Prozesse abfeuert wenn sowas passiert und ins Swappen kommt -- kann das sein?
-- Ralf Hildebrandt Geschäftsbereich IT | Abteilung Netzwerk Charité - Universitätsmedizin Berlin Campus Benjamin Franklin Hindenburgdamm 30 | D-12203 Berlin Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962 ralf.hildebrandt@charite.de | http://www.charite.de
postfix-users mailing list postfix-users@de.postfix.org http://de.postfix.org/cgi-bin/mailman/listinfo/postfix-users
* Sven Pastorik s.pastorik@westfalen-blatt.de:
Hallo, ja ich habe dann natürlich viele Prozesse. Den Upstream habe ich per trafficshaping begrenzt.
Warum denn?
Der Server hat 10 gig Speicher und ein dual core Prozessor.
OK, der swappt nicht :)
Die dalay Zeiten gehen natürlich nach oben, um so mehr Mails verschickt werden.
ja klar. Besondern wenn man shaped ;-)
Die drei die du zeigts sind simultan fertig, liefen also auch simultan los.
Lässt sich das einstellen das Postfix nicht gleich alles auf einmal verschickt?
Ist schwer. Du kannst limitieren, wieviele smtp Prozesse gleichzeitig laufen. in master.cf:
smtp unix - - - - 10 smtp statt smtp unix - - - - - smtp
Hallo,
- Sven Pastorik s.pastorik@westfalen-blatt.de :
Hallo, ja ich habe dann natürlich viele Prozesse. Den Upstream habe ich per trafficshaping begrenzt.
Warum denn?
Ganz einfach wenn der Upstream dicht ist, bekomme ich nichts mehr runter. Die Leitung wird auch noch für andere Dinge benötigt als nur Emails zu verschicken. Wenn eine Email ein paar Sekunden länger zum Versenden benötigt ist es nicht so schlimm. Internettelefonie oder RDP Remotesitzungen sollte wenn möglich nahe in Echtzeit laufen.
Der Server hat 10 gig Speicher und ein dual core Prozessor.
OK, der swappt nicht :)
Die dalay Zeiten gehen natürlich nach oben, um so mehr Mails verschickt werden.
ja klar. Besondern wenn man shaped ;-)
Die drei die du zeigts sind simultan fertig, liefen also auch simultan los.
Lässt sich das einstellen das Postfix nicht gleich alles auf einmal verschickt?
Ist schwer. Du kannst limitieren, wieviele smtp Prozesse gleichzeitig laufen. in master.cf:
smtp unix - - - - 10 smtp statt smtp unix - - - - - smtp
OK danke ich werde dann mal an dieser Schraube drehen und testen.
-- Ralf Hildebrandt Geschäftsbereich IT | Abteilung Netzwerk Charité - Universitätsmedizin Berlin Campus Benjamin Franklin Hindenburgdamm 30 | D-12203 Berlin Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962 ralf.hildebrandt@charite.de | http://www.charite.de
postfix-users mailing list postfix-users@de.postfix.org http://de.postfix.org/cgi-bin/mailman/listinfo/postfix-users
Gruß
Sven
* Sven Pastorik s.pastorik@westfalen-blatt.de:
Hallo,
- Sven Pastorik s.pastorik@westfalen-blatt.de :
Hallo, ja ich habe dann natürlich viele Prozesse. Den Upstream habe ich per trafficshaping begrenzt.
Warum denn?
Ganz einfach wenn der Upstream dicht ist, bekomme ich nichts mehr runter. Die Leitung wird auch noch für andere Dinge benötigt als nur Emails zu verschicken. Wenn eine Email ein paar Sekunden länger zum Versenden benötigt ist es nicht so schlimm. Internettelefonie oder RDP Remotesitzungen sollte wenn möglich nahe in Echtzeit laufen.
Würde man da nicht eher QoS nehmen?
smtp unix - - - - 10 smtp statt smtp unix - - - - - smtp
OK danke ich werde dann mal an dieser Schraube drehen und testen.
Das würde die Last sicherlicht 10teln
Hallo Sven,
ich hatte so einen ähnlichen Effekt. Vor allen im Zusammenhang mit Traffic Shaping. Wenn der Upstream voll ist, sind die Prozesse relativ lange beschäftigt,.
Postfix startet aber zur Sicherheit der Kiste nicht mehr Prozesse, daher steht die Kiste solange, Zumindest geht keine andere Mail mehr raus, da alle smtp prozesse beschäftigt sind.
Gruß Helmut
-----Ursprüngliche Nachricht----- Von: postfix-users-bounces+weigel=dfbnet.org@de.postfix.org [mailto:postfix-users-bounces+weigel=dfbnet.org@de.postfix.org] Im Auftrag von Ralf Hildebrandt Gesendet: Donnerstag, 3. März 2011 16:12 An: postfix-users@de.postfix.org Betreff: Re: [postfix-users] Performanceproblem Email mit großem Verteiler und Anhang
- Sven Pastorik s.pastorik@westfalen-blatt.de:
Hallo Ralf, es sind natürlich mehr Zeilen, ich sagte ja ich habe die
wiederholenden Zeilen einfach gekürzt.
Hier die ersten 3 Zeilen.
Mar 1 09:45:24 gateway postfix/smtp[5509]: 72809100321E9: to=x@xx.com
, relay=mail.xx.com[8.2.8.6]:25, delay=47, delays=1.3/0.33/4.9/41, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2A99932DC0B4)
Mar 1 09:45:24 gateway postfix/smtp[5493]: 72809100321E9: to=y@y.de ,
relay=y.de[6.8.4.1]:25, delay=47, delays=1.3/0.2/0.52/45, dsn=2.0.0, status=sent (250 Ok: queued as 8EBFA2541BB)
Mar 1 09:45:25 gateway postfix/smtp[5478]: 72809100321E9: to=e@ing.de
, relay=mail.ing.de[3.1.7.7]:25, delay=48, delays=1.3/0.1/0.45/46, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 167CFF68915)
hier folgen nun noch 170 weitere Zeilen.
Ja. JETZT wirds interessant! Also die Mails gehen an verschiedene Zieldomains. Jede Mail braucht 47 Sekunden. Egal wohin.
Deine Kiste kriegt eine Mail mit 157 Empfängern und muss nun im ungünstigsten Falle daraus 157 Mails mit einem Empfänger über die Leitung pusten, außer eine Domain hat mehr als einen Empfänger.
Du generierst also ca. 157 * 3.201.222 Byte = 502.591.854 Byte ~= 500 MB
Die drei die du zeigts sind simultan fertig, liefen also auch simultan los.
from=x@beispiel.de , size=3201222, nrcpt=157 (queue active)
3201222 byte / 47 s = 68111 byte/s
Wieviele smtp Prozesse erlaubst Du maximal? Beim default 100. Ich denke du kittest Dir mit den Mails deinen Upstream zu.
default_process_limit = 100
ich würde denken daß deine Kiste 100 smtp Prozesse abfeuert wenn sowas passiert und ins Swappen kommt -- kann das sein?
-- Ralf Hildebrandt Geschäftsbereich IT | Abteilung Netzwerk Charité - Universitätsmedizin Berlin Campus Benjamin Franklin Hindenburgdamm 30 | D-12203 Berlin Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962 ralf.hildebrandt@charite.de | http://www.charite.de
postfix-users mailing list postfix-users@de.postfix.org http://de.postfix.org/cgi-bin/mailman/listinfo/postfix-users
This email has been scanned by the MessageLabs Email Security System. For more information please visit http://www.messagelabs.com/email ______________________________________________________________________
* weigel@dfbnet.org weigel@dfbnet.org:
Hallo Sven,
ich hatte so einen ähnlichen Effekt. Vor allen im Zusammenhang mit Traffic Shaping. Wenn der Upstream voll ist, sind die Prozesse relativ lange beschäftigt,.
Postfix startet aber zur Sicherheit der Kiste nicht mehr Prozesse, daher steht die Kiste solange, Zumindest geht keine andere Mail mehr raus, da alle smtp prozesse beschäftigt sind.
Genau. D.h. die Kiste kann zwar alle 100 prozesse beschäftigen, aber diese können nur (Bandbreite / 100) für Ihren Transfer nutzen.
viele und langsam oder weniger und schnell
Hallo Sven,
welche Bandbreite hat die Anbindung dieses Servers ans Internet? Der schickt da immerhin ein paar hundert MB gleichzeitig auf die Reise...
Gruß, Gregor
* Gregor Hermens gregor.hermens@a-mazing.de:
Hallo Sven,
welche Bandbreite hat die Anbindung dieses Servers ans Internet? Der schickt da immerhin ein paar hundert MB gleichzeitig auf die Reise...
100*68111 Bytes :)
Hallo, die Internetanbindung des Servers ist derzeit 40mbit sdsl.
Gruß
Sven
----------------ursprüngliche Nachricht----------------- Von: "Ralf Hildebrandt" Ralf.Hildebrandt@charite.de An: postfix-users@de.postfix.org Datum: Thu, 3 Mar 2011 16:19:51 +0100 -------------------------------------------------
- Gregor Hermens gregor.hermens@a-mazing.de :
Hallo Sven,
welche Bandbreite hat die Anbindung dieses Servers ans Internet? Der schickt da immerhin ein paar hundert MB gleichzeitig auf die Reise...
100*68111 Bytes :)
-- Ralf Hildebrandt Geschäftsbereich IT | Abteilung Netzwerk Charité - Universitätsmedizin Berlin Campus Benjamin Franklin Hindenburgdamm 30 | D-12203 Berlin Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962 ralf.hildebrandt@charite.de | http://www.charite.de
postfix-users mailing list postfix-users@de.postfix.org http://de.postfix.org/cgi-bin/mailman/listinfo/postfix-users
Zitat von Sven Pastorik s.pastorik@westfalen-blatt.de:
Hallo, ich habe derzeit ein Problem welches ich einfach nicht in den Griff bekomme. Ein Mitarbeiter bei uns verschickt einmal im Monat mehere Emails mit einem großen Verteiler. In der An Zeile hat er dann ca. 250 Adressen und als Anhang eine ca. 5 MB große Datei. Der Emailserver nimmt diese Email dann einmal entgegegen und bricht danach für ein paar Minuten total zusammen. Ich suche nun einen Parameter wie ich dieses Verhalten ändern kann, sodass Postfix diese Email Stück für Stück abarbeitet und nicht wie jetzt auf einmal. Hat dazu jemand eine Idee?
Da keine Logfiles und keine Beschreibung der Umgebung dabei ist folgendes geraten: - Die meisten Empfänger sind "lokal" d.h. der Server ist damit beschäftigt einige hundert mal 5MB in die Postfächer zu kopieren - Die Mails gehen durch einen Content-Filter und zwar einzeln
Aber wie gesagt ohne genaure Beschreibung alles nur geraten.
Gruß
Andreas
Am 03.03.2011 12:59, schrieb Sven Pastorik:
Hallo, ich habe derzeit ein Problem welches ich einfach nicht in den Griff bekomme. Ein Mitarbeiter bei uns verschickt einmal im Monat mehere Emails mit einem großen Verteiler. In der An Zeile hat er dann ca. 250 Adressen und als Anhang eine ca. 5 MB große Datei. Der Emailserver nimmt diese Email dann einmal entgegegen und bricht danach für ein paar Minuten total zusammen. Ich suche nun einen Parameter wie ich dieses Verhalten ändern kann, sodass Postfix diese Email Stück für Stück abarbeitet und nicht wie jetzt auf einmal. Hat dazu jemand eine Idee?
Gruß
Sven
postfix-users mailing list postfix-users@de.postfix.org http://de.postfix.org/cgi-bin/mailman/listinfo/postfix-users
davon ausgehend dass du einigermassen aktuell hardware hast klingt das fuer mich eher nach einem hardware fehler was du da schilderst ist absolut nichts was nicht easy von einem postfix gehandeled werden koennte
Am 03.03.2011 15:47, schrieb Robert Schetterer:
Am 03.03.2011 12:59, schrieb Sven Pastorik:
Hallo, ich habe derzeit ein Problem welches ich einfach nicht in den Griff bekomme. Ein Mitarbeiter bei uns verschickt einmal im Monat mehere Emails mit einem großen Verteiler. In der An Zeile hat er dann ca. 250 Adressen und als Anhang eine ca. 5 MB große Datei. Der Emailserver nimmt diese Email dann einmal entgegegen und bricht danach für ein paar Minuten total zusammen. Ich suche nun einen Parameter wie ich dieses Verhalten ändern kann, sodass Postfix diese Email Stück für Stück abarbeitet und nicht wie jetzt auf einmal. Hat dazu jemand eine Idee?
Gruß
Sven
postfix-users mailing list postfix-users@de.postfix.org http://de.postfix.org/cgi-bin/mailman/listinfo/postfix-users
davon ausgehend dass du einigermassen aktuell hardware hast klingt das fuer mich eher nach einem hardware fehler was du da schilderst ist absolut nichts was nicht easy von einem postfix gehandeled werden koennte
uff sorry an upstream geschwindigkeiten etc denk ich nie ...*g
participants (6)
-
Gregor Hermens -
lst_hoe02＠kwsoft.de -
Ralf Hildebrandt -
Robert Schetterer -
Sven Pastorik -
weigel＠dfbnet.org