[closed] jpg-Import in digikam scheitert....???

uhai · Last edited by uhai on Wed Feb 12, 2020 7:20 pm; edited 1 time in total

Hallo zusammen,

ich habe die vergangenen Jahre jetzt meine Fotos mit Digikam importiert, jpg wird beim importieren zu png konvertiert. Seit Ende Dezember klappt das aber nicht mehr. Digikam zeigt zwar die png-Bilder als Symbol an, die Vollbildansicht scheitert aber mit dem Fehler "Bild kann nicht geladen werden". Raw-Files von Olympus oder Nikon werden importiert.

Wenn ich mir die Verzeichnisse auf dem NAS mit dem Dateimanager ansehe, sind die sidecar-Files (*.xmp) da, die PNG-Dateien fehlen aber manchmal komplett. Manchmal sind die PNGs auch vorhanden, digikam kann sie aber nicht in der Vollansicht öffnen. PhotoQt kann die Dateien auch nicht anzeigen und beschwert sich "file not found". Bei den RAWs in diesem Verzeichnissen mit PNGs scheitert digikam in der Vollansciht "Datei kann nicht geladen werden". PhotoQt bringt ebenfalls einen Fehler von Libraw "input output error".

Öffne ich die Dateien direkt auf Der NAS - Dateimanager der NAS -> öffnen - dann werden die PNGs angezeigt. Die NAS bediene ich über die WEbschnittstelle im Firefox.

Ich vermute, dass die nfs-Verbindung auf die NAS nicht richtig arbeitet. Die Vorschaubilder holt digikam ja aus der Datenbank, die Vollansicht versucht digikam vermutlich über die nfs-Verbindung zu holen. In der Konsole sieht die Ausgabe von digikam sehr danach aus:

mike155 · Posted: Wed Jan 29, 2020 6:01 am Post subject:

"errno = 5". Das ist EIO "I/O error" - ein ungewöhnlicher Fehler für eine Datei Lese-Operation.

Wenn man mit der Suchmaschine seines Vertrauens sucht nach

uhai · Posted: Thu Jan 30, 2020 7:00 pm Post subject:

Danke mike155,

das wird es wohl sein, denn ich habe mit journalctl |grep nfs das hier gefunden:

mike155 · Posted: Sun Feb 02, 2020 12:23 am Post subject:

uhai, ich möchte Dir gerne helfen. NFS ist aber kompliziert. Von daher finde ich es schwierig, gleich gezielte Fragen zu stellen. Na gut. Fangen wir ganz von vorne an. Wir müssen erst einmal sehen, was auf Deinen Maschinen konfiguriert ist.

Bitte poste folgende Daten von dem CLIENT:

Die Ausgabe von

Code:

mount | grep -i nfs
Die Ausgabe von

Code:

showmount -e <IP-Adresse des Servers>
Die Ausgabe von

Code:

grep -v "^#" /etc/idmapd.conf | grep "."
Die Ausgabe von:

Code:

zgrep -E "(Kernel Config|NFS)" /proc/config.gz
Die Ausgabe von:

Code:

ps -fe | egrep "nfs|rpc"

Bitte poste folgende Daten von dem Server:

Die Ausgabe von

Code:

grep -v "^#" /etc/idmapd.conf | grep "."
Die Datei

Code:

/etc/exports
Die Ausgabe von:

Code:

zgrep -E "(Kernel Config|NFS)" /proc/config.gz
Die Ausgabe von:

Code:

ps -fe | egrep "nfs|rpc"

Falls persönliche Daten erscheinen sollten, kannst und solltest Du sie vor dem Posten aus-X-en.

uhai · Posted: Sun Feb 02, 2020 12:32 pm Post subject:

Vielen herzlichen Dank Mike155,

das das kompliziert ist, habe ich bereits festgestellt. Ich habe bisher kein Howto finden können, dass miene Konstellation vollständig abgedeckt hat und für mich verständlich war. Außerdem scheint der Server - eine QNAP-NAS - die Konfigurationsdateien anders zu benennen oder anders abzulegen....

Ok, hier sind die Angaben "wie bestellt":
Zuerst der Client:

mike155 · Posted: Sun Feb 02, 2020 2:09 pm Post subject:

Hallo uhai,

danke für die Daten. Abgesehen von den unterschiedlichen Domains habe ich nichts gefunden, was offensichtlich falsch ist.

Zuallererst solltest Du das Problem mit den unterschiedlichen Domains lösen. Server und Client müssen die gleiche NFS Domain haben. Die Fehlermeldung

Code:

Jan 10 19:19:15 After8 nfsidmap[232378]: nss_getpwnam: name 'uhai@localdomain' does not map into domain 'Adlerhorst.local'
Jan 10 19:19:15 After8 nfsidmap[232379]: libnfsidmap: using domain: Adlerhorst.local
Jan 10 19:19:15 After8 nfsidmap[232379]: libnfsidmap: Realms list: 'ADLERHORST.LOCAL'
Jan 10 19:19:15 After8 nfsidmap[232379]: libnfsidmap: loaded plugin /usr/lib64/libnfsidmap/nsswitch.so for method nsswitch
Jan 10 19:19:15 After8 nfsidmap[232379]: nss_name_to_gid: name 'everyone@localdomain' does not map into domain 'Adlerhorst.local'

sollte dann verschwinden. Möglicherweise ist dann auch das I/O-Problem gelöst.

Quote:

/homes und /Public sind von einer alten Konfiguration, die ich als "Fallback" noch vorhalte. Das hatte funktioniert, bis ich die QNAP mit neuen Laufwerken erweitert habe. userid und gid waren auf client und server identisch gewesen. Da die Laufwerke (Raid) bereits vollsind, musste ich neue Laufwerke ergänzen. Sobald ich /homes1 und /Public1 auf dem neuen Raid sauber benutzen kann werden die alten Freigaben entfernt und diese Verzeichnisse auf der NAS gelöscht.

Ich kann zwar nicht sagen, dass das falsch ist - aber ich würde es nicht machen. Ich würde meine Export-Liste so einfach wie möglich halten. Es könnte zu Problemen führen, wenn Du das gleiche Verzeichnis mehrfach exportierst. NFS hat so seine Eigenheiten...

Es wundert mich, dass die Ports für die RPC-Dienste auf dem QNAP explizit angegeben werden (auf meinem NFS-Server ist das nicht so):

Code:

14761 admin 124 S /usr/sbin/rpc.rquotad -p 30002
15075 admin 1644 S /usr/sbin/rpc.mountd -p 30000 -F
15404 admin 928 S /usr/sbin/rpc.statd -p 30001

Das kann völlig in Ordnung sein - vielleicht macht QNAP das einfach so. Es kann aber auch sein, dass QNAP die Ports für die RPC-Dienste explizit setzt, weil die Ports von Dir in irgendeiner Maske oder Konfigurationsdatei konfiguriert wurden. Falls das so sein sollte: entferne diese Konfiguration wieder und lasse QNAP die Standard-Ports verwenden.

Es könnte sein, dass in Deinem Setup NFSv3 besser ist NFSv4. NFSv3 ist einfacher und stabiler als NFSv4. Ein Wechsel zu NFSv3 wäre auf jeden Fall eine Rückfallmöglichkeit, falls sich die Probleme mit NFSv4 nicht lösen lassen. Versuche aber zuerst, NFSv4 zum Laufen zu bekommen.

Mike

uhai · Posted: Sun Feb 02, 2020 4:26 pm Post subject:

Danke Mike155,

auf der QNAP habe ich schon versucht, die Domain anzupassen. nach einem Neustart war das aber wieder weg. Das QNAP-Forum ist leider nicht so gut wie das Gentoo-Forum.... Irgendwo in der Oberfläche war der Domainname auch einzustellen, das habe ich aber bisher nicht wiedergefunden.

home und Public habe ich vom alten Raid auf den neuen Raid der NAS kopiert und in home1 und Public1 genannt. Also sind das auch auf der NAS zwei verschiedene Dateiverzeichnisse...

Die ports für rpc habe ich nicht bewußt geändert.... das lasse ich mal so.

Braucht nfs4 ein mapping-file für die user? Falls ja, wie heißt das? Bei nfs 3 muss ich nur die user-id und group-id gleichsetzen und ggfs. auf client oder server mit chown die Änderungen einspielen... oder habe ich das falsch in Erinnerung?

uhai

mike155 · Posted: Sun Feb 02, 2020 6:27 pm Post subject:

Wenn Du den NFS Domain-Namen auf dem QNAP nicht ändern kannst, dann ändere ihn doch auf dem Client.

Editiere die Datei /etc/idmapd.conf auf dem Client und setze dort den NFS Domain-Namen, den Dein NFS Server (QNAP) vorgibt.

uhai · Posted: Sun Feb 02, 2020 8:37 pm Post subject:

Fast gut:

aus nobody:nobody ist uhai:nobody geworden.... vermutlich muss ich die groups noch angleichen? Digikam kann die Vollansichten noch immer nicht öffnen....

uhai

mike155 · Posted: Sun Feb 02, 2020 9:03 pm Post subject:

Das sieht ja schon mal nach einem Schritt in die richtige Richtung aus! Jetzt müssen wir herausfinden, wie das Mapping funktioniert. Bekommst Du noch Fehlermeldungen in den Log-Dateien?

Log Dich bitte auf dem CLIENT ein und wechsle mit "cd" in das Verzeichnis, in dem die Vollansichten liegen. Gib bitte folgendes ein und poste die Ausgabe.

uhai · Posted: Mon Feb 03, 2020 1:53 pm Post subject:

Seltsam, die verschiedenen Domains haben die Änderung der idmapd.conf (client) und den Reboot offensichtlich überstanden, den Fehler gibt es noch immer auf dem client:

mike155 · Posted: Mon Feb 03, 2020 2:51 pm Post subject:

In /etc/resolv.conf wird die DNS Domain konfiguriert. Die hat mit NFS erst einmal nichts zu tun. Die Fehlermeldung, die Du immer wieder bekommst, handelt von der NFS Domain. Bitte trenne diese unterschiedlichen Domains gedanklich!

Es kann natürlich Wechselwirkungen zwischen DNS und NFS geben. Wenn DNS nicht sauber eingerichtet ist, kann es sein, dass NFS nicht funktioniert, weil Client und Server sich nicht finden (trifft bei Dir nicht zu, weil Client und Server ja miteinander kommunizieren können). Und es wäre möglich, dass NFS die DNS Domain verwendet, wenn keine NFS Domain konfiguriert ist (unwahrscheinlich, aber möglich). Von daher sollte man DNS auf jeden Fall sauber konfigurieren.

Ansonsten müsstest Du herausfinden, wieso immer wieder "Adlerhorst.local" verwendet wird. Die Fehlermeldung

uhai · Posted: Mon Feb 03, 2020 3:04 pm Post subject:

OK. Reboot und Laufwerke sind wieder auf dem client da....

So sieht das auf dem client aus:

mike155 · Posted: Mon Feb 03, 2020 8:24 pm Post subject:

uhai, danke für die ls-Ausgaben!

Ich bin jetzt etwas verwirrt. Kommen folgende Fehlermeldungen noch?

uhai · Posted: Tue Feb 04, 2020 7:46 pm Post subject:

Problem ist nicht gelöst, domains aber gleich... bin ratlos. Anscheinend holt er für die user die domain woanders her.

Ich habe jetzt auf client und server /etc/hosts und /etc/idmapd.conf angepasst:

Client:

Tyrus · Guru Joined: 03 Feb 2018 Posts: 300

Über das Arch-Wiki unter Enabling NFSv4 idmapping hab ich folgendes gefunden:
Why NFSv4 UID mapping breaks with AUTH_UNIX

Die schreiben im Arch-Wiki:

uhai · Posted: Tue Feb 04, 2020 8:55 pm Post subject:

Danke, das habe ich schon gefunden und auch ausprobiert.

Mein Problem ist momentan, dass auf client und Server die domain "Adlerhorst.local" gesetzt ist, in der Fehlmeldung aber "uhai@localhost" bzw. "everyone@localhost" auftaucht. Wo kommt der localhost noch her?

uhai

Tyrus · Guru Joined: 03 Feb 2018 Posts: 300

Ich denke das liegt daran das localdomain eine Defaulteinstellung ist die in libnfsidmap.c gesetzt wird:

uhai · Posted: Wed Feb 05, 2020 7:32 pm Post subject:

Die Domain habe ich in /etc/hosts, /etc/resolv.conf und /etc/idmapd.conf gesetzt.... Ich dachte, da habe ich alle Stellen erwischt. nfs4 zieht aber alle user als user@localdomain.... ???

uhai

uhai · Posted: Sun Feb 09, 2020 7:26 pm Post subject:

Ok, ich komme nicht weiter, also fass ich mal zusammen, was ich bisher verstanden habe:

Ausgelöst wird das Problem wohl durch das user-mapping durch nfs4. Bei aktiviertem idmapd vergleicht nfs4 user@domain. Bei mir taucht da imemr noch "localdomain" auf. Keine Ahnung wo das herkommt.

nfs3 hat legihglich die userid und groupid verglichen. Das ist auch das Verhalten von nfs4 bei deaktivierten idmapping (=default). Also müsste es laufen, wenn ich userid und groupid auf server & client gleich habe. So hat das bisher auch geklappt.

Auf dem server ist:

mike155 · Posted: Mon Feb 10, 2020 6:35 pm Post subject:

Ich würde NFSv4 auf dem QNAP ausschalten und zu NFSv3 zurückgehen. Neuer heißt nicht immer "besser" - und wenn's nicht geht, dann geht's nicht...

uhai · Posted: Wed Feb 12, 2020 7:19 pm Post subject:

So, bin zurück auf nfs3 und läuft....

vielen herzlichen Dank für Deine Unterstützung und Ausdauer Mike155.

Mich ärgert nur ein bisschen, dass ich es auch mit Hilfe aus dem Forum nicht hinbekommen habe, tagelang recherchiert und gelesen habe... und noch nicht einmal eine Idee habe, woran das liegen könnte.

uhai