Järjestelmä rikki

[KimmoKM]

Aloitan kuvaamalla miten tilanteeseen päädyttiin.

Koska minulla on edelleen tuo ongelma, että X:ssä uloskirjautumisesta KDM jumittuu (kaataa kernelin kun SSH-yhteyttä ei voi ottaa?) niin on tullut pari kertaa tehtyä kova reboot. Ja se alkoi ärsyttää kovasti kun taas kerran (tosin 12 vuorokautta olin kyllä ollut kirjautumatta ulos. ) piti kone rebootata ja ajattelin, että jospa ongelma ratkeaisi päivittämällä kernel. Käänsin sitten kernelin version 2.6.15-r1 ja asensin sen (ja tapani mukaan siirsin vanhat tiedostot /boot/backupiin) ja reboottasin koneen. Kaikki toimi normaalisti mutta sitten huomasin, että ATI:n ajurit pitäisi asentaa ja niin teinkin, pahaksi onnekseni menin taas kirjautumaan ulos enkä uudelleenkäynnistämään konetta joten se tiesti raakaa reboottausta. Mutta nyt ei käynytkään niin kuin ennen, boottaus jäi kohtaan "Freeing unused kernel memory. 300k freed.". Tätä ennen näkyi kaksi virheilmoitusta, "RAMDISK: Couldn't find valid RAM disk image starting at 0." ja "EXT2-fs warning (device hda7): ext2_fill_super: mounting ext2 filesystem as ext2". Ja jos tämä yhtään kertoo niin tuossa kohtaa voi rebootata koneen C-M-Del ja kirjoittaa tekstiä. Minulla oli edelleen se backup-kernelini joten kokeilin GRUB:n menusta bootata sitä, saaden samat virheilmoitukset. Sitten menin tutkimaan asiaa Knoppixiin ja viimeiset viestit /var/log/dmesgissä ovat seuraavanlaiset:

Code: Select all

EISA: Probing bus 0 at eisa.0
Cannot allocate resource for EISA slot 4
Cannot allocate resource for EISA slot 5
EISA: Detected 0 cards.
NET: Registered protocol family 2
IP route cache hash table entries: 8192 (order: 3, 32768 bytes)
TCP established hash table entries: 32768 (order: 6, 262144 bytes)
TCP bind hash table entries: 32768 (order: 6, 262144 bytes)
TCP: Hash tables configured (established 32768 bind 32768)
TCP reno registered
TCP bic registered
NET: Registered protocol family 1
NET: Registered protocol family 17
Using IPI Shortcut mode
RAMDISK: Couldn't find valid RAM disk image starting at 0.
EXT2-fs warning (device hda7): ext2_fill_super: mounting ext3 filesystem as ext2
VFS: Mounted root (ext2 filesystem) readonly.
Freeing unused kernel memory: 300k freed
Adding 1052216k swap on /dev/hda5.  Priority:-1 extents:1 across:1052216k
kjournald starting.  Commit interval 5 seconds
EXT3 FS on hda1, internal journal
EXT3-fs: mounted filesystem with ordered data mode.
kjournald starting.  Commit interval 5 seconds
EXT3 FS on hda2, internal journal
EXT3-fs: mounted filesystem with ordered data mode.
kjournald starting.  Commit interval 5 seconds
EXT3 FS on hda3, internal journal
EXT3-fs: mounted filesystem with ordered data mode.
kjournald starting.  Commit interval 5 seconds
EXT3 FS on hda6, internal journal
EXT3-fs: mounted filesystem with ordered data mode.
usbcore: registered new driver usbfs
usbcore: registered new driver hub
Real Time Clock Driver v1.12

Sitten ajattelin, että jospa olisi käynyt niin huono tuuri että siinä yhdessä kovassa rebootissa olisi jotain mennyt tiedostojärjestelmässä vialliseksi ja ajoin fsck:n ja tiedostojärjestelmä näytti olevan lievästi rikki. /lost+foundiin tuli lisäksi tiedosto jossa on vähän merkittävältä vaikuttavia rivejä:

Code: Select all

# Configuration file for eselect
# This file has been automatically generated.
setenv PATH='/opt/bin:/usr/i686-pc-linux-gnu/gcc-bin/3.3.5:/opt/ati/bin:/opt/stuffit/bin:/opt/blackdown-jdk-1.4.2.03/bin:
/opt/blackdown-jdk-1.4.2.03/jre/bin:/usr/kde/3.5/bin:/usr/qt/3/bin:/opt/HelixPlayer:/usr/games/bin:/opt/vmware/player/bin:
/usr/share/karamba/bin'
setenv ROOTPATH='/opt/bin:/usr/i686-pc-linux-gnu/gcc-bin/3.3.5:/opt/ati/bin:/opt/stuffit/bin:/opt/blackdown-jdk-1.4.2.03/bin:
/opt/blackdown-jdk-1.4.2.03/jre/bin:/usr/kde/3.5/sbin:/usr/kde/3.5/bin:/usr/qt/3/bin:/opt/vmware/player/bin:
/usr/share/karamba/bin'
setenv MANPATH='/usr/local/share/man:/usr/share/man:/usr/share/binutils-data/i686-pc-linux-gnu/2.16.1/man:
/usr/share/gcc-data/i686-pc-linux-gnu/3.3.5/man::/opt/blackdown-jdk-1.4.2.03/man:/usr/qt/3/doc/man:
/opt/vmware/player/man'
setenv INFOPATH='/usr/share/info:/usr/share/binutils-data/i686-pc-linux-gnu/2.16.1/info:/usr/share/gcc-data/i686-pc-linux-gnu/3.3.5/info:
/usr/share/info/emacs-21'
setenv CVS_RSH='ssh'
setenv PAGER='/usr/bin/less'
setenv LESSOPEN='|lesspipe.sh %s'
setenv LC_ALL='fi_FI'
setenv LESSCHARSET='latin1'
setenv SYSFONT='lat0-16'
setenv SYSFONTACM='iso15'
setenv HOSTNAME='ganymedes'
setenv OPENGL_PROFILE='ati'
setenv GCC_SPECS=''
setenv PYTHONPATH='/usr/lib/portage/pym'
setenv LIBGL_DRIVERS_PATH=':/usr/lib//modules/dri'
setenv CONFIG_PROTECT='/var/bind /usr/lib/mozilla/defaults/pref /usr/lib/X11/xkb /usr/kde/3.5/share/config /usr/kde/3.5/env /usr/kde/3.5/shutdown /usr/share/config'
setenv MOZILLA_FIVE_HOME='/usr/lib/mozilla'
setenv XINITRC='/etc/X11/xinit/xinitrc'
setenv ANT_HOME='/usr/share/ant-core'
setenv JDK_HOME='/opt/blackdown-jdk-1.4.2.03'
setenv JAVAC='/opt/blackdown-jdk-1.4.2.03/bin/javac'
setenv JAVA_HOME='/opt/blackdown-jdk-1.4.2.03'
setenv CLASSPATH='.'
setenv QMAKESPEC='linux-g++'
setenv CONFIG_PROTECT_MASK='/etc/gconf /etc/terminfo /etc/texmf/web2c'
setenv G_BROKEN_FILENAMES='1'
setenv GDK_USE_XFT='1'
setenv GUILE_LOAD_PATH='/usr/share/guile/1.6'
setenv QTDIR='/usr/qt/3'
setenv PRELINK_PATH_MASK='/usr/lib/gstreamer-0.8'
setenv LADSPA_PATH='/usr/lib/ladspa'
setenv LESS='-R -M --shift 5'
setenv FLTK_DOCDIR='/usr/share/doc/fltk-1.1.6/html'
setenv KDEDIRS='/usr'

Pari kertaa kokeilin nyt reboottailua ja sitten tapahtuikin jotain, viimeinen bootissa ollut viesti onkin nyt [/i]"Kernel panic - not syncing: VFS: Unable to mount root fs on uncknown-block(3,7)"[/i].

Pitää vielä mainita, että Knoppixissa kiintolevyä voi käyttää normaalisti.

Mitään ehdotuksia siitä, että mikä ongelma on (mielellään myös korjaustapoja ?

Edit1:
Rivitin vähän noita ylipitkiä setenv-rivejä kun ainakin minulla näytti kovin hirveältä. Lisäksi huomasin nyt, että chroottaus juuriosioon ei live-cd:ltä onnistu (Segmentation fault)

[Obi-Lan]

Ei kai sulta ole kovo hajoamassa? Kokeile vaikka livecd:ltä

Code: Select all

smartctl -a /dev/hdX

Jos on IDE kovo

[KimmoKM]

Code: Select all

smartctl -a /dev/hdX

"smartctl":ää ei Live-CD:llä ollut, ei myöskään kiintolevyllä (sen kun pystyy mounttaamaan)

Edit1:
Kappas, Knoppixissa oli:

Code: Select all

# smartctl -a /dev/hda
smartctl version 5.32 Copyright (C) 2002-4 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

=== START OF INFORMATION SECTION ===
Device Model:     SAMSUNG SP1604N
Serial Number:    S013J20X854292
Firmware Version: TM100-24
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   7
ATA Standard is:  ATA/ATAPI-7 T13 1532D revision 0
Local Time is:    Sat Jan 21 05:06:31 2006 EST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                 (5760) seconds.
Offline data collection
capabilities:                    (0x1b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        No Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        No General Purpose Logging support.
Short self-test routine
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        (  96) minutes.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   051    Pre-fail  Always       -       1
  3 Spin_Up_Time            0x0007   067   056   000    Pre-fail  Always       -       5696
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       723
  5 Reallocated_Sector_Ct   0x0033   253   253   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   253   253   051    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0024   253   253   000    Old_age   Offline      -       0
  9 Power_On_Half_Minutes   0x0032   099   099   000    Old_age   Always       -       6601h+12m
 10 Spin_Retry_Count        0x0013   253   253   049    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       374
194 Temperature_Celsius     0x0022   139   088   000    Old_age   Always       -       33
195 Hardware_ECC_Recovered  0x000a   100   100   000    Old_age   Always       -       357612461
196 Reallocated_Event_Count 0x0012   253   253   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0033   253   253   010    Pre-fail  Always       -       0
198 Offline_Uncorrectable   0x0031   253   253   010    Pre-fail  Offline      -       0
199 UDMA_CRC_Error_Count    0x000b   100   100   051    Pre-fail  Always       -       0
200 Multi_Zone_Error_Rate   0x000b   100   100   051    Pre-fail  Always       -       0
201 Soft_Read_Error_Rate    0x000b   100   100   051    Pre-fail  Always       -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]


Device does not support Selective Self Tests/Logging

[Zarhan]

Ihan mielenkiinnosta, onhan sulla kernelioptioista UNIX-socketit päällä? Miten oot luonut kernelkonffiksesi? Voisit vaikka postata sen tai laittaa saataville jos olisi joku perustava virhe siellä..

[KimmoKM]

Ihan mielenkiinnosta, onhan sulla kernelioptioista UNIX-socketit päällä? Miten oot luonut kernelkonffiksesi? Voisit vaikka postata sen tai laittaa saataville jos olisi joku perustava virhe siellä..

Kopioin aiemmin kernelin .config-tiedoston ja tein make oldconfigin(?). Ja tämä uusi kernel boottasi siis kerran, joka ainakin minusta on perin kummallista.

Edit:Ja niin, kernelin konffit: http://sooda.dy.fi/fpaste/index.php?103 ... 3f14&imase

[Zarhan]

No lähinnä mietin oisko noissa jotain mikä aiheuttaisi sen konejumin logoutissa. Enivei, ainakin sen bongasin että ext3 oli jostain syystä pistetty moduuliin, mutta ext2 ei - ja filesysteemi kai kuitenkin on ext3. Eli bootin aikana kun moduulit ei ole vielä ladattu niin journalointi ikäänkuin hajoaa heti..

Sulla on huomattavan paljon juttuja moduuleissa muutenkin - itse suosin paljon monoliittisempaa kerneliä, vain hotplugattavat laitteet menevät moduuleihin. Vai onko toi genkernelillä tehty? Siellä on giljoonia verkkokorttejakin ja osittain jotain todella obscurea rautaa mitä et varmaan oikeasti käytä..

[KimmoKM]

Itse kaannetty on, noin bloatti kerneli on sen takia, etta en ole kaikkialla tiennyt mitä laittaa ja laittanut sitten kaikki. Pitäisi siistiä. Pitää kokeilla kääntää ext3 mukaan..

[Zarhan]

Suureksi avuksi laitepuolella on komento lspci (ei se nyt ihan kaikkea kerro, mutta melko hyvin kuitenkin).

[KimmoKM]

Joo, tiedän kyllä lscpi:n, en vaan tiennyt kun kernelin asetukset tein.

Ja ei, ext3:n kääntäminen mukaan ei auttanut (jota en kyllä yhtään ihmettele, se on ollut noin yli vuoden ja vasta nyt hajosi). Mitä tuon smartctl:n tulosteesta voidaan päätellä, minä en sitä ymmärrä. Onko kiintolevy kunnossa vai ei (jos sitä siitä voidaan lukea)?

Minä ajattelin, että tärkeää ongelman ratkaisemisen kannalta olisi tietää, että mitä tuon "Freeing unused kernel memory. 300k freed"-viestin jälkeen pitäisi tulla, käynnistys kun näyttää tähän kohtaan pysähtyvän ilman ongelmia.

[Zarhan]

Sen freeing...ilmoituksen jälkeen pitäisi käynnistyä INIT joka lataa sitten varusohjelmat.

Tarkista että /sbin/init on kunnossa (ja /etc/inittab kanssa).

[Obi-Lan]

Aja vielä

Code: Select all

smartctl -t long /dev/hda

Ja odottele sen aikaa kun se ohjelma ajaa sen testin ja katso tuloste uudelleen. Tosin ton tulosteen perusteella kovossasi ei näyttäisi olevan mitään vikaa. Sitten kannattaa vielä kokeilla komennolla

Code: Select all

e2fsck

Levyjärjestelmän eheys. Sopivia parametreja voi kertoa joku muu kun itse olen lähinnä käytellyt reiseriä...

[PaveQ]

Ja jos sulla on udev niin tarkista että /dev:ssä on tiettyjä nodeja valmiina, muuten ei toimi.

[Zarhan]

Ja jos sulla on udev niin tarkista että /dev:ssä on tiettyjä nodeja valmiina, muuten ei toimi.

Ne nodet on console ja null. Ja uusi (stabiilikin) baselayout osaa tehdä nuo tarvittaessa itse, ts. enää ei hajoile.

[KimmoKM]

"smartctl -t long /dev/hda" ei antanut mitään tietoja sen jälkeen kun testin piti päättyä (ja ilmeisesti meni daemoniksi testin alkaessa, ainakin katosi).

/dev:ssä on console ja null (udevia käytän) joten kaiken tarpeelliisen kai pitäisi olla siellä.

e2fsck -pf tehty kaikille osioille, ei auta.

Edit1:Ja ai niin, myös inittab ja init ovat.
Edit2:Ja nyt kokeilin, että odotus - ainakaan kahden tunnin pituinen - ei auta.
Edit3:Kokeilin myös /kopioida/ vanhan kernelin backupista, en ainoastaan bootata sitä GRUB-menusta. Ei auta, joten varmana ongelma ei ole kernelissä.

Edit4:Tein kaksi koemuotoista temppua, asensin GRUB:n uudestaan ja käänsin kernelin poistaen .configin (oletuskonffit vaikuttivat olevan yhtä bloatteja kuin edelliset bloattikonffini O_o). Tämän ansiosta meni yhden askeleen pidemmälle, kohtaan, jossa se näyttää näytön yläosassa Tuxin (johtunee konffeista eikä mistään muusta) ja "Freeing unused kernel memory. 292k freed."-tekstin jälkeen tulee "..kjournald starting: Commit interval 5 seconds.". Tähän tämäkin sitten jää, ei mene pidemmälle.

[Obi-Lan]

Joo toi komento käskee kovon aloittaa itsediagnostiikka ja sit kovo alkaa ittekseen tekee sitä. Siinä menee jonkin aikaa.

[KimmoKM]

Joo toi komento käskee kovon aloittaa itsediagnostiikka ja sit kovo alkaa ittekseen tekee sitä. Siinä menee jonkin aikaa.

Sanoi, että siihen menee ~95min. Ensimmäisellä kerralla yön yli, toisella kerralla pari tuntia. No, minä laitan nyt uudestaan yön yli tarkistumaan.

Edit1:Tuo smartctl oli nyt päällä yön ja koulun yli ja vähän päälle, ei tullut vieläkään mitään. O_o
Edit2:Kokeilin Knoppixin kerneliä ja lisäsin sen GRUB:iin näkyväksi, joku sanoi, että tuo lukisi GRUB:n konffit jostain ihan muualta. Kyllä se oli, ilmestyi GRUB:n valikkoon ja Knoppixinkaan kerneli ei toiminut (sama virheilmoitus), joten ongelma varmana ei ole kernelissä.. kai.
Edit3:Ajoin myös memtest86:n Gentoon Live-CD:ltä, läpäisi testin viidesti ilman virheitä. Aloin jo toivoa, että ongelma olisi raudassa, että saisi selkeän virheen..
Edit4:Joku ehdotti pistää GRUB:n konffeihin "panic=30", kuulemma pitäisi jumittuessa rebootata 30s kuluttua. Odotin pari minuuttia, mitään ei tapahtunut. Ja mainittavaa vielä on, että uusiksi kääntämäni kernelin kanssa ei itke mitään ramdiskistä ja viimeinen viesti on "kjournald starting: commit interval 5 seconds", mutta muuten oireet ovat samat, viimeinen viesti on vain eri..

Edit5:
Nyt minun tyhmä pääni on päätellyt, että mahdollisesti se, että en pysty chroottaamaan ja se, että järjestelmä ei toimi niin johtuvat samasta asiasta. Chroottausta yritettäessä tulee siis "Segmentation fault" ja olen yrittänyt kahdella Knoppixin versiolla ja Gentoon Live-CD:llä. GNU Debugger ei valaise asiaa yhtään ("#3068 0x00000000 in ?? ()").

Kohta luovun toivosta ja asennan järjestelmän uusiksi, joka on kovin ikävää, kun minulla on paljon tavaraa, joka pitäisi säilyttää ja kaikki ei mahdu home-osiolle.

[KimmoKM]

Pistetäänpä nyt uusi viesti, että edittejä ei tule miljoonaa.

Nyt sain eräällä typerältä vaikuttavalla kokeilulla edistystä aikaiseksi. Minulla kun oli myös Knoppixin kernel valittavissa GRUB:n menusta ja käynnistys päättyi initin kohdalle niin sain idean "Minäpä pistän sinne myös Knoppixin initin" - tietenkin backupaten vanhan. Idea kuulosti päättömältä, mutta sain ehkä selville jotain viasta.

Itse kääntämääni kerneliä käyttäen siihen nimittäin tuli viesti "INIT: version 2.78-knoppix booting", joka ilmeisesti tarkoittaa, että init käynnistyy. Nyt ei sitten enää pystynytkään uudelleenkäynnistämään C-M-del, joka on toinen ero. Mutta, sitten kun kokeilin Knoppixista kopioidulla kernelillä niin sitten tuli tämä viesti ja vähän lisääkin:

Code: Select all

INIT: version 2.78-knoppix booting
INIT: Entering runlevel: 3
INIT: ld "c1" respawning too fast: disabled for 5 minutes
INIT: ld "c2" respawning too fast: disabled for 5 minutes
INIT: ld "c3" respawning too fast: disabled for 5 minutes
INIT: ld "c4" respawning too fast: disabled for 5 minutes
INIT: ld "c5" respawning too fast: disabled for 5 minutes
INIT: ld "c6" respawning too fast: disabled for 5 minutes
INIT: no more processes left in this runlevel

Eli, mikäli ongelma ei johdu Knoppixin initistä ja kernelistä - joka on mahdollista ainakin minusta (inittabia en kopioininut) niin eikös tuo tarkoittaisi sitä, että init ei löydä mitään käynnistettäviä prosesseja joten mitään ei luonnollisesti käynnistykkään eli mitään ei tapahdu eikä virheilmoituksiakaan ole, koska virheitä ei ole. Minusta on ainakin järkeenkäypää.. Mutta varmaan johtuu siitä, että init on Knoppixista kopioidu, mutta parempaakaan syytä ongelmiin en ole keksinyt.

Edit1:(Mistä johtuu sitten se, että en voi chrootata live-cd:iltä?)

Edit2:Sain jostain ihmeestä päähäni, että GRUB:n konffeissa voi asettaa käytettävän initin "init=/path/to/init". Pistin sitten GRUB:ssa kuusi vaihtoehtoa, sekä Knoppixin että omalla kernelillä initiksi Knoppixin init, Gentoon init ja /bin/bash, jonka käsittääkseni pitäisi avata root shell. Millään ei toiminut, aina sama ongelma (paitsi Knoppixin kernel+Knoppixin init). Onko niin, että jos /bin/bash on init niin siitä aukeaisi root shell? Sitten bashin käynnistyksessä on jotain vikaa? Ja Knoppixin init taas tulostaa teksin "Init 2.78-knoppix loading" tms. Jospa mitkään ohjelmat eivät siellä toimisi, siksi ei chroottauskaan onnistu kun bash ei toimi? Rikkinäisiä kirjastoja tms.?

Edit3:Kokeilin chroottausta kopioiden Knoppixin barshin, sama ongelma. Samalla huomasin GNU Debuggerissa, että siihen tulee myös "Cannot access memory at address 0xbff21000", joka ei kumminkaan taida kertoa mitään.

[GoingDown]

Edit3:Kokeilin chroottausta kopioiden Knoppixin barshin, sama ongelma. Samalla huomasin GNU Debuggerissa, että siihen tulee myös "Cannot access memory at address 0xbff21000", joka ei kumminkaan taida kertoa mitään.

Yksi mitä vielä voit kokeilla... kopioi jokin täysin staattinen shelli (sash) jonnekin ja chroottaa käyttäen sitä. Jos on joku kirjasto (glibc) täysin rikki.

[KimmoKM]

Yksi mitä vielä voit kokeilla... kopioi jokin täysin staattinen shelli (sash) jonnekin ja chroottaa käyttäen sitä. Jos on joku kirjasto (glibc) täysin rikki.

No nyt minä menin jo reinstalloimaan järjestelmän.. Kiitokset kumminkin kaikille jotka auttoivat.