| View previous topic :: View next topic |
| Author |
Message |
sambatasse
Guru
Joined: 12 Mar 2004
Posts: 395
Location: bei Berlin
|
 Posted: Tue Jan 25, 2005 7:09 pm Post subject: Rechner ging down |
 |
|
hallo
mein rechner war nicht mehr ansprechbar bis auf ping
konnte nur reseten
das einzige ist die logs sind damit voll
| Quote: | | syslog-ng[1844]: Error accepting AF_UNIX connection, opened connections: 100, max: 100 |
kann mir jemand nen tip geben was da schief gelaufen ist |
|
| Back to top |
|
 |
NightDragon
Veteran
Joined: 21 Aug 2004
Posts: 1156
Location: Vienna (Austria)
|
| Posted: Tue Jan 25, 2005 7:36 pm Post subject: |
|
|
Die Meldung heißt eigentlcih nur das syslog-ng 100 verbindungen hat und das Maximum (100) eben erreicht wurde. Aber deswegen dürfte sich der Rechner nicht aufhängen.
Ist das ein Syslog-Server? Hast du Syslog auf einen Port zum lauschen eingerichtet? Sendest du den Server irgendwelche Infos auf Syslog?
Evtl. wurde Syslog-ng überfordert. So eine art Overflow.
_________________
You are the problem too all my solutions  |
|
| Back to top |
|
|
sambatasse
Guru
Joined: 12 Mar 2004
Posts: 395
Location: bei Berlin
|
| Posted: Tue Jan 25, 2005 7:42 pm Post subject: |
|
|
ick habe denn nur ganz einfach inststalliert (emerge syslog-ng )
keine ahnung wo kann ich nach sehen
und das ist da einzige in den log kommt auch von der zeit hin
komisch selbst wenn dürft doch nicht der sever so ausgelastet sein das der apache nicht erreichbar ist |
|
| Back to top |
|
|
NightDragon
Veteran
Joined: 21 Aug 2004
Posts: 1156
Location: Vienna (Austria)
|
| Posted: Tue Jan 25, 2005 7:48 pm Post subject: |
|
|
Naja... wenn eine Unmenge an Daten gesendet werden oder so, leicht möglich.
Die Konfig befindet sich in /etc/syslog-ng/syslog-ng.conf
Aber wenn du nie was verändert hast, hört syslog-ng eigentlich auch nicht auf eingehdene Verbindungen.
Hm. Naja... wenn er nur auf apache reagiert und sonst nichts mehr, kann ich mir auch nichts vorstellen.
Hast du versucht eine SSH Verbindung hin aufzubauen? Hat er darauf auch nicht reagiert? Oder nur auf apache nicht mehr?
_________________
You are the problem too all my solutions |
|
| Back to top |
|
|
sambatasse
Guru
Joined: 12 Mar 2004
Posts: 395
Location: bei Berlin
|
| Posted: Tue Jan 25, 2005 7:58 pm Post subject: |
|
|
es ging nix mehr
kein apache
kein ssh
kein mail
kein ts
nur ping ruckelte vor sich hin
/etc/syslog-ng/syslog-ng.conf
| Quote: | # $Header: /var/cvsroot/gentoo-x86/app-admin/syslog-ng/files/syslog-ng.conf.gentoo,v 1.4 2004/07/18 02:25:02 dragonheart Exp $
#
# Syslog-ng default configuration file for Gentoo Linux
# contributed by Michael Sterrett
options {
long_hostnames(off);
sync(0);
# The default action of syslog-ng 1.6.0 is to log a STATS line
# to the file every 10 minutes. That's pretty ugly after a while.
# Change it to every 12 hours so you get a nice daily update of
# how many messages syslog-ng missed (0).
stats(43200);
};
source src { unix-stream("/dev/log"); internal(); pipe("/proc/kmsg"); };
destination messages { file("/var/log/messages"); };
# By default messages are logged to tty12...
destination console_all { file("/dev/tty12"); };
# ...if you intend to use /dev/console for programs like xconsole
# you can comment out the destination line above that references /dev/tty12
# and uncomment the line below.
#destination console_all { file("/dev/console"); };
log { source(src); destination(messages); };
log { source(src); destination(console_all); };
|
|
|
| Back to top |
|
|
NightDragon
Veteran
Joined: 21 Aug 2004
Posts: 1156
Location: Vienna (Austria)
|
| Posted: Tue Jan 25, 2005 8:01 pm Post subject: |
|
|
Also die Konfig ist okay.
Na mal abwarten. Evtl. ists nur eine einmalige Aktion.
_________________
You are the problem too all my solutions |
|
| Back to top |
|
|
sambatasse
Guru
Joined: 12 Mar 2004
Posts: 395
Location: bei Berlin
|
| Posted: Tue Jan 25, 2005 8:02 pm Post subject: |
|
|
ich überlege grade
wenn zu syslog mehr verbindungen aufgebaut wurden als er kann
muss doch irgendwas sein
ich habe nix instaklliert uberhaupt schaft man mit einem system überhaupt 100 ? |
|
| Back to top |
|
|
dakjo
Veteran
Joined: 31 Jan 2004
Posts: 1544
|
| Posted: Tue Jan 25, 2005 8:07 pm Post subject: |
|
|
Wenn ein Dienst etwas an syslog melden will, das er tot ist und gleich das system mitreist und das dann in einer schleiffe tut? vielleicht dann
_________________
'Dieselben Naturkräfte, die uns ermöglichen, zu den Sternen zu fliegen, versetzen uns auch in die Lage, unseren Stern zu vernichten.' - Wernher von Braun
http://www.mpsna.de |
|
| Back to top |
|
|
NightDragon
Veteran
Joined: 21 Aug 2004
Posts: 1156
Location: Vienna (Austria)
|
| Posted: Tue Jan 25, 2005 8:07 pm Post subject: |
|
|
Hm.
Na ich hätte einafch angenommen das es eine Art DOS-Attacke auf syslog-ng war. aber wenn syslog-ng nicht hinhört kann ich mir das nicht vorstellen bzw. Ists für mich unlogisch wie ein Limit erreicht werden kann.
Ja ja, durchaus. Ein rechner schafft schon 100 Verbindungen. Es kommt immer drauf an was man unter Verbindung versteht.
Sinds die offenen Sockets? Oder sinds die Verbindungen die zu syslog-ng bestehen.
Ein Rechner kann eigentlich ohne weiteres einige Tausen Verbindungen verwalten. ob das dann auch einige Tausend syslog-ng Verbindungen sein dürfen/können, keine Ahnung.
Aber ein Limit ist ja gerade dazu gedacht, den Server nicht zu überfordern und alles übers Limit abzulehnen.
Evtl. hat ein lokaler Dienst syslog-ng vollgemüllt.
Kann ja sein das mehr wie 100 lokale verbindungen (von z. bsp. Apache zu syslog) aufgebaut wurden und dann irgendwas sich verkeilt hat.
_________________
You are the problem too all my solutions |
|
| Back to top |
|
|
gentop
l33t
Joined: 29 Nov 2004
Posts: 639
|
| Posted: Tue Jan 25, 2005 8:18 pm Post subject: |
|
|
Nur mal so nebenbei: AF_UNIX Connections sind keine Netzwerkverbindungen, sondern UNIX-"Dateisystemverbindungen". Wenn man so will ist AF_UNIX ein Socket auf dem lokalen System. Und hier versuchen auf einen Socket (syslog) zu viele Anwendungen (oder eine ganz oft?) zuzugreifen.
//gentop |
|
| Back to top |
|
|
NightDragon
Veteran
Joined: 21 Aug 2004
Posts: 1156
Location: Vienna (Austria)
|
| Posted: Tue Jan 25, 2005 8:28 pm Post subject: |
|
|
a ja... ist ja AF_UNIX
Vor lauter eigenne AF_INET Errors *lach* hab ich schon INET gelesen.
Hm. Ja gentop, führt sowas den zum hang up? Normalerweise doch nicht oder?
_________________
You are the problem too all my solutions |
|
| Back to top |
|
|
gentop
l33t
Joined: 29 Nov 2004
Posts: 639
|
| Posted: Tue Jan 25, 2005 8:32 pm Post subject: |
|
|
Wenn irgendeine Anwendung so viele Sockets offen hat (100) und dann auch noch eine wichtige Systemanwendung schreiben möchte, folglich nicht kann und so lange "wartet", bis sie wieder schreiben darf? Kann ich mir gut vorstellen, dass das System so lange stillstehen kann... bis wieder weitere Socketverbindungen erlaubt sind. Ausprobieren möcht ich das aber nicht
//gentop |
|
| Back to top |
|
|
DarKRaveR
Guru
Joined: 11 Oct 2003
Posts: 500
Location: Old Europe/G-Many
|
| Posted: Wed Jan 26, 2005 12:04 am Post subject: |
|
|
Also, AF_UNIX sind ja Unix doamin sockets, diese werden von diversen apps benutzt, bind zum beispiel für rndc, db server - generell für IPC, genauso wie named pipes eben.
Die Frage wäre daher, hast Du eventuell eine Applikation(einen Daemon) am laufen, der sehr viele Unix Domain sockets offen hat ? (Wobei das eigentlich komisch wäre, es passiert eher mal, daß nicht genug shared mem instanzen erlaubt sind, weil diese massiv genutzt werden .....)
Nehmen wir mal an, Du hast apache+php und nen SQL server, für jedes script, daß via domain socket local auf den sql server zugreift, wird ein socket verbraucht, dann könnten 100 schnell verbraucht sein, erst recht, wenn irgendwo noch nen leak ist, weil FDs nicht wieder korrekt freigegeben werden ....
Alles nur Ideen/Mutmaßungen, da ich ja das System nicht kenne .... |
|
| Back to top |
|
|
kurt
Guru
Joined: 25 Aug 2003
Posts: 403
Location: Arni (AG); CH
|
| Posted: Wed Jan 26, 2005 2:56 am Post subject: |
|
|
Hallo,
ich weiss nicht ob es helfen wird aber hier mal ein vorschlag erhöhe kernel.msgmni=128 oder auf kernel.msgmni=1024 in der /etc/sysctl.conf
##########################################
### quelle ibm.com
##Ressourcengrenzen auf Linux-Maschinen festlegen
##
##
##Auf allen Linux-Maschinen müssen Grenzen für Nachrichtenwarteschlangen festgelegt werden. Gehen Sie dazu wie folgt vor:
##
##Ermitteln Sie die aktuelle Einstellung für die maximale Anzahl von Nachrichtenwarteschlangen, indem Sie den Befehl
##ipcs -l
##wie folgt ausgeben:
## # ipcs -l
##Ein Teil der Ausgabe sollte aus folgenden Informationen bestehen:
##-----Messages: Limits -----
##max queues system wide = 128
##max size of message (bytes) = 8192
##default max size of queue (bytes) = 16384
##Wenn der Wert für den Parameter 'max queues system wide' kleiner als 128 ist, erhöhen Sie ihn, indem Sie folgenden Befehl eingeben:
### echo 128 > /proc/sys/kernel/msgmni
##Es wird empfohlen, diesen Befehl einem Startskript hinzuzufügen, das bei jedem Neustart der Maschine ausgeführt wird, z. B. der Datei /etc/rc.d/rc. Setzen Sie den Wert für den Parameter, wenn möglich, auf 256.
##
##(9224)
gruss
kurt |
|
| Back to top |
|
|
DarKRaveR
Guru
Joined: 11 Oct 2003
Posts: 500
Location: Old Europe/G-Many
|
| Posted: Wed Jan 26, 2005 3:08 am Post subject: |
|
|
@kurt:
MsgQueues sind ein andere IPC MEchanismus, unix domain sockets zeigen sich davon unbeeindruckt .... würde ich meinen, wobei ich nicht ausschließe, daß es für Unix Domain Sockets auch Settings geben mag .....
Wobei genaugenommen alle IPC mechanismen nur shared memory und mutexes voraussetzen, sowas wie MsgQueue ist eigentlich nur ne Spezialisierung ... Unix Domain Sockets im PRinzip ebenfalls (wobei ich da nicht sagen kann, wie es nun letztendlich in Linux realisiert wurde) ....
EDIT:
Habe grade mal geschaut, es gibt zwar settings für MsgQueues, SharedMem und Semaphores, aber habe leider nichts speziell für unix domain sockets gefunden ...
EDIT2:
| Quote: | source s_local { unix-stream("/dev/log" max_connections(1000)); };
The number of required connections greatly depend on your local
configuration. Basically each logging process need one connection to
/dev/log, though fd inheritance may decrease this number. (parent process
opens connection, child inherits and uses the fd)
|
Du kannst also die Anzahl der erlaubtenverbindungen umsetzen, 100 ist nur der default ....
EDIT3:
Habe das bei syslog-ng noch nicht probiert, aber du könntest mal im normalen betrieb schauen, was ein fuserv -uv /dev/log sagt, bei metalog werden nur die beiden metalog prozesse angezeigt (eigenartig) .... frage mich, was da bei syslog-ng ausgespuckt wird .... |
|
| Back to top |
|
|
sambatasse
Guru
Joined: 12 Mar 2004
Posts: 395
Location: bei Berlin
|
| Posted: Tue Feb 01, 2005 5:49 pm Post subject: |
|
|
Also irgendwie scheint das Problem schwerer zu wiegen.
Jetzt hatt sich schon zum 3 mal der Server verabschiedet.
Wie zuvor geht nur ping.
Die logs in der entsprechenden Zeit sind leer.
Ick hoffe mir kann jemand helfen derweillen gehe ick mal rebooten. |
|
| Back to top |
|
|
sambatasse
Guru
Joined: 12 Mar 2004
Posts: 395
Location: bei Berlin
|
| Posted: Tue Feb 01, 2005 6:16 pm Post subject: |
|
|
hir Log des Ausfalls
nix mehr bis zum Reboot
| Quote: | Jan 29 04:20:03 x /usr/sbin/cron[19801]: (root) CMD (test -x /usr/sbin/run-crons && /usr/sbin/run-crons )
Jan 29 04:30:04 x /usr/sbin/cron[19879]: (root) CMD (test -x /usr/sbin/run-crons && /usr/sbin/run-crons )
Jan 29 04:40:03 x /usr/sbin/cron[20019]: (root) CMD (test -x /usr/sbin/run-crons && /usr/sbin/run-crons )
Jan 29 04:50:02 x /usr/sbin/cron[20158]: (root) CMD (test -x /usr/sbin/run-crons && /usr/sbin/run-crons )
Jan 29 09:25:57 x syslog-ng[1023]: syslog-ng version 1.6.5 starting
|
dann boot er normal nix auffälliges bis auf sowas
ich denke das liegt an dem reset
| Quote: |
Jan 29 09:25:57 x ext3_orphan_cleanup: deleting unreferenced inode 877831
Jan 29 09:25:57 x ext3_orphan_cleanup: deleting unreferenced inode 65508
Jan 29 09:25:57 x ext3_orphan_cleanup: deleting unreferenced inode 65512
Jan 29 09:25:57 x ext3_orphan_cleanup: deleting unreferenced inode 1152768
Jan 29 09:25:57 x ext3_orphan_cleanup: deleting unreferenced inode 1153056 |
etwas in den Logs das mir garnix sagt
| Quote: |
Jan 30 19:37:19 x Unable to handle kernel NULL pointer dereference at virtual address 00000018
Jan 30 19:37:19 x printing eip:
Jan 30 19:37:19 x c0144620
Jan 30 19:37:19 x *pde = 00000000
Jan 30 19:37:19 x Oops: 0000
Jan 30 19:37:19 x CPU: 0
Jan 30 19:37:19 x EIP: 0010:[<c0144620>] Not tainted
Jan 30 19:37:19 x EFLAGS: 00010213
Jan 30 19:37:19 x eax: c15be000 ebx: 00000000 ecx: 000001d0 edx: 00000010
Jan 30 19:37:19 x esi: 00000001 edi: cd554a4d ebp: c148d1d8 esp: c15bff0c
Jan 30 19:37:19 x ds: 0018 es: 0018 ss: 0018
Jan 30 19:37:19 x Process kswapd (pid: 4, stackpage=c15bf000)
Jan 30 19:37:19 x Stack: 00000003 ccd2d620 cd554a4d c03202c0 cd554a4d c01447ef cd554a4d 00000000
Jan 30 19:37:19 x c148d1d8 c031fb7c 000037c8 c0136c5b c148d1d8 000001d0 00000c1c 000001d0
Jan 30 19:37:19 x 00000012 0000001f 000001d0 c031fb7c c031fb7c c0136eda c15bff84 000001d0
Jan 30 19:37:19 x Call Trace: [<c01447ef>] [<c0136c5b>] [<c0136eda>] [<c0136f52>] [<c0137106>]
Jan 30 19:37:19 x [<c0137178>] [<c01372b8>] [<c0137220>] [<c0105000>] [<c010587e>] [<c0137220>]
Jan 30 19:37:19 x
Jan 30 19:37:19 x Code: f6 43 18 06 75 10 8b 5b 28 39 fb 75 f3 83 c4 08 89 f0 5b 5e |
ansonsten nur km weise
| Quote: |
Jan 30 11:55:09 x sshd[14453]: error: Could not get shadow information for NOUSER
Jan 30 11:55:09 x sshd[14453]: Failed password for illegal user adele from 81.3.182.42 port 60870 ssh2 |
oder
| Quote: | Feb 1 03:58:58 x sshd[1752]: Failed password for root from 194.146.224.135 port 34878 ssh2
Feb 1 03:58:59 x sshd[1754]: Failed password for root from 194.146.2
|
oder
| Quote: |
Jan 31 19:20:20 x imapd: LOGIN FAILED, ip=[217.93.58.114]
Jan 31 19:20:20 x imapd: DISCONNECTED, ip=[217.93.58.114], time=5
Jan 31 19:21:01 x pop3d: Connection, ip=[217.93.58.114]
Jan 31 19:21:02 x pop3d: Connection, ip=[217.93.58.114] |
|
|
| Back to top |
|
|
kurt
Guru
Joined: 25 Aug 2003
Posts: 403
Location: Arni (AG); CH
|
| Posted: Tue Feb 01, 2005 10:57 pm Post subject: |
|
|
hi
vileicht ist es auch nur was simples
schau doch bitte mal die /etc/crontab an
falsch
| Code: | | * * * * * root test -x /usr/sbin/run-crons && /usr/sbin/run-crons |
richtig
| Code: | | */10 * * * * root test -x /usr/sbin/run-crons && /usr/sbin/run-crons |
oder ob sonst ein cron auf "* * * * *" steht.
das kann solche efeckte auslössen wie du sie erlebst.
gruss
kurt |
|
| Back to top |
|
|
DarKRaveR
Guru
Joined: 11 Oct 2003
Posts: 500
Location: Old Europe/G-Many
|
| Posted: Wed Feb 02, 2005 6:29 am Post subject: |
|
|
| sambatasse wrote: | hir Log des Ausfalls
nix mehr bis zum Reboot
| Quote: | Jan 29 04:20:03 x /usr/sbin/cron[19801]: (root) CMD (test -x /usr/sbin/run-crons && /usr/sbin/run-crons )
Jan 29 04:30:04 x /usr/sbin/cron[19879]: (root) CMD (test -x /usr/sbin/run-crons && /usr/sbin/run-crons )
Jan 29 04:40:03 x /usr/sbin/cron[20019]: (root) CMD (test -x /usr/sbin/run-crons && /usr/sbin/run-crons )
Jan 29 04:50:02 x /usr/sbin/cron[20158]: (root) CMD (test -x /usr/sbin/run-crons && /usr/sbin/run-crons )
Jan 29 09:25:57 x syslog-ng[1023]: syslog-ng version 1.6.5 starting
|
|
Sieht okay aus, hier an Kurt: Augen auf, da sieht man schön, daß die cronjobs alle 10 minuten in der crontab gespawned werden, es sei denn er hätte sonst die crontab vergewaltigt ....
| Quote: |
dann boot er normal nix auffälliges bis auf sowas
ich denke das liegt an dem reset
| Quote: |
Jan 29 09:25:57 x ext3_orphan_cleanup: deleting unreferenced inode 877831
Jan 29 09:25:57 x ext3_orphan_cleanup: deleting unreferenced inode 65508
Jan 29 09:25:57 x ext3_orphan_cleanup: deleting unreferenced inode 65512
Jan 29 09:25:57 x ext3_orphan_cleanup: deleting unreferenced inode 1152768
Jan 29 09:25:57 x ext3_orphan_cleanup: deleting unreferenced inode 1153056 |
|
Sieht nach nem typischen gecrashten FS aus, bin allerdings kein ext3 user, aber das wegwerfen, von inodes, die als unbeledt ercheinen drüfte durchaus aus nem reset resultieren ..
| Quote: |
etwas in den Logs das mir garnix sagt
| Quote: |
Jan 30 19:37:19 x Unable to handle kernel NULL pointer dereference at virtual address 00000018
Jan 30 19:37:19 x printing eip:
Jan 30 19:37:19 x c0144620
Jan 30 19:37:19 x *pde = 00000000
Jan 30 19:37:19 x Oops: 0000
Jan 30 19:37:19 x CPU: 0
Jan 30 19:37:19 x EIP: 0010:[<c0144620>] Not tainted
Jan 30 19:37:19 x EFLAGS: 00010213
Jan 30 19:37:19 x eax: c15be000 ebx: 00000000 ecx: 000001d0 edx: 00000010
Jan 30 19:37:19 x esi: 00000001 edi: cd554a4d ebp: c148d1d8 esp: c15bff0c
Jan 30 19:37:19 x ds: 0018 es: 0018 ss: 0018
Jan 30 19:37:19 x Process kswapd (pid: 4, stackpage=c15bf000)
Jan 30 19:37:19 x Stack: 00000003 ccd2d620 cd554a4d c03202c0 cd554a4d c01447ef cd554a4d 00000000
Jan 30 19:37:19 x c148d1d8 c031fb7c 000037c8 c0136c5b c148d1d8 000001d0 00000c1c 000001d0
Jan 30 19:37:19 x 00000012 0000001f 000001d0 c031fb7c c031fb7c c0136eda c15bff84 000001d0
Jan 30 19:37:19 x Call Trace: [<c01447ef>] [<c0136c5b>] [<c0136eda>] [<c0136f52>] [<c0137106>]
Jan 30 19:37:19 x [<c0137178>] [<c01372b8>] [<c0137220>] [<c0105000>] [<c010587e>] [<c0137220>]
Jan 30 19:37:19 x
Jan 30 19:37:19 x Code: f6 43 18 06 75 10 8b 5b 28 39 fb 75 f3 83 c4 08 89 f0 5b 5e |
|
Da würde ich mal meinen, daß es den KErnel so richtig schön geklatscht hat, auch Linuxkernel sind weit von Fehlerfreiheit entfernt, kann aber natürlich auch durch hardware ausgelöst werden ... |
|
| Back to top |
|
|
moe
Veteran
Joined: 28 Mar 2003
Posts: 1289
Location: Potsdam / Germany
|
| Posted: Wed Feb 02, 2005 7:46 am Post subject: |
|
|
Und das
| Quote: | Jan 30 11:55:09 x sshd[14453]: error: Could not get shadow information for NOUSER
Jan 30 11:55:09 x sshd[14453]: Failed password for illegal user adele from 81.3.182.42 port 60870 ssh2
Feb 1 03:58:58 x sshd[1752]: Failed password for root from 194.146.224.135 port 34878 ssh2
Feb 1 03:58:59 x sshd[1754]: Failed password for root from 194.146.2 |
sind Versuche eines ssh-Bots mit Standard user/pass-Kombinationen in dein System einzudringen.. Zur Zeit normal, aber trotzdem solltest du mal mit lastlog prüfen obs wirklich nicht geklappt hat, und das System auf andere Auffälligkeiten untersuchen..
Gruss Maurice |
|
| Back to top |
|
|
|
Deutsches Forum (German)
