| View previous topic :: View next topic |
| Author |
Message |
Andreas O.
Tux's lil' helper
Joined: 04 Jan 2003
Posts: 132
Location: Welthauptstadt der Biere
|
 Posted: Fri Oct 20, 2017 6:59 am Post subject: [gelöst:] openssh: kann keine Dateien > 4 GB kopieren !? |
 |
|
Ich will mit dem Midnight Commander (mc) Dateien im Heimnetzwerk von einem PC (Gentoo) auf einen anderen PC (Debian) über den Router kopieren.
Die User sind auf beiden Systemen identisch.
Dazu habe ich mir auf dem Zielrechner (Debian) openssh-server (und automatisch openssh-sftp-server) installiert.
Wenn ich nun in Gentoo im Menü 'Rechts' beim MC 'Shellverbindung' auswähle, kann ich schließlich sh://user@host/home/user/Schreibtisch/ eingeben, das Passwort für user eingeben und kann nun auf dem anderen PC (Debian) navigieren wie auf meinem lokalen PC (bei host habe ich die richtige IP-Adresse eingegeben).
Im Quellverzeichnis befinden sich Dateien, die größer als 4 GB sind - insgesamt ist dieses ca. 300 GB groß.
Ich will nun das Verzeichnis mit 'F5' kopieren auf meinen Host-PC, was soweit schon mal anfangs klappt.
Allerdings hört der Kopiervorgang bei einer Größe von < 4 GB auf, als Fehlermeldung kommt sinngemäß:
| Code: | | Kann Zieldatei "sh://user@[IP-Adresse]/home/user/Schreibtisch/ nicht schreiben. Auf dem Gerät ist kein Speicherplatz mehr verfügbar" |
Das Kopieren bricht bei (3.993M/258 G) ab.
Ich vermute mal, dass hier wohl eine 4 GB-Grenze beim Kopieren mit SSH vorliegt - am Speicherplatz auf dem Zielsystem kann es definitiv nicht liegen, hier sind noch knapp 1 TB Platz frei.
Gibt es bei SSH so eine 4 GB-Grenze bei Einzeldateien, ähnlich wie beim FAT32-Dateisystem? Jedenfalls habe ich bei beiden Systemen ext4, an dem kann es also nicht liegen...
Ich habe es wie oben als einfacher user probiert, aber auch mal als root, allerdings habe ich da ein 'chown.-Problem", da ich auf dem Ziel-PC wohl nichts verändern darf...
Ich kenne mich leider noch sehr wenig mit SSH aus und finde dazu leider keine entsprechenden Probleme in google. Muss ich beim Server noch irgendeine Konfigurationsdatei bearbeiten, um hier eine eventuell vorhandene Grenze aufzuheben? Oder ist die Beschränkung allgemein bei SSH?
Ich weiß, es gibt auch noch Kommandozeilenbefehle wie 'scp' - ich dachte mir aber, mit dem MC ist alles viel bequemer. Oder liegt die Beschränkung im MC? Ich will nicht groß einen FTP-Server oder Ähnliches aufsetzen, nur um relativ sicher Dateien von einem PC auf den anderen PC zu kopieren. Was benutzt ihr dafür?
Andreas
[Edit:] So, ich bin nun etwas weitergekommen - eine 4 GB-Grenze gibt es wohl nicht. So habe ich nun filezilla heruntergeladen und hier mal die Serverdaten eingetragen.
Hier werden (über sftp) aktuell gerade 12 GB an Daten übertragen, allerdings nur mit ca. 30 MB/Sekunde - da war der MC wohl wesentlich schneller...
Last edited by Andreas O. on Sat Oct 21, 2017 2:33 pm; edited 1 time in total |
|
| Back to top |
|
 |
mike155
Advocate
Joined: 17 Sep 2010
Posts: 4438
Location: Frankfurt, Germany
|
| Posted: Fri Oct 20, 2017 9:31 am Post subject: |
|
|
Hallo Andreas,
- eine 4 GB Grenze gibt es bei ssh / scp glücklicherweise nicht
- 30 MB/Sekunde kann sein, wenn entweder Quell- oder Zielrechner eine schwache CPU haben oder wenn ein langsamer Cipher gewählt wurde.
- Bei SSH gibt es zwei Verfahren zum Übertragen von Dateien: scp und SFTP. Da ich meistens von der Shell arbeite und auch häufig Shell-Scripte schreibe, verwende ich fast nur das erste. Manche Tools verwenden das zweite Verfahren.
Du kannst ein paar Tests mit scp von einer Shell machen und die Zeit für die Übertragung einer Datei auf einen Zielrechner messen:
| Code: | time scp <dateiname> <user>@<zielrechner>: # wichtig ist der Doppelpunkt!
time scp <dateiname> <user>@<zielrechner>:<pfad> # falls nicht ins Home-Verzeichnis kopiert werden soll
|
Einen anderen Cipher kannst Du mit der Option "-c" wählen:
| Code: | time scp -c <cipher> <dateiname> <user>@<zielrechner>:
|
Früher habe ich oft "arcfour" als Cipher gewählt, was die Übertragung deutlich beschleunigt hat. Arcfour ist aber mittlerweile bei den meisten SSH Servern deaktiviert. Eine Liste der möglichen Cipher (die das Zielsystem unterstützt) wird von scp ausgegeben, wenn man als Cipher "arcfour" angibt und dieser Cipher nicht vom Zielsystem unterstützt wird.
Mike |
|
| Back to top |
|
|
Andreas O.
Tux's lil' helper
Joined: 04 Jan 2003
Posts: 132
Location: Welthauptstadt der Biere
|
| Posted: Sat Oct 21, 2017 5:44 am Post subject: |
|
|
| mike155 wrote: | Hallo Andreas,
- eine 4 GB Grenze gibt es bei ssh / scp glücklicherweise nicht
- 30 MB/Sekunde kann sein, wenn entweder Quell- oder Zielrechner eine schwache CPU haben oder wenn ein langsamer Cipher gewählt wurde.
- Bei SSH gibt es zwei Verfahren zum Übertragen von Dateien: scp und SFTP. Da ich meistens von der Shell arbeite und auch häufig Shell-Scripte schreibe, verwende ich fast nur das erste. Manche Tools verwenden das zweite Verfahren.
Du kannst ein paar Tests mit scp von einer Shell machen und die Zeit für die Übertragung einer Datei auf einen Zielrechner messen:
| Code: | time scp <dateiname> <user>@<zielrechner>: # wichtig ist der Doppelpunkt!
time scp <dateiname> <user>@<zielrechner>:<pfad> # falls nicht ins Home-Verzeichnis kopiert werden soll
|
Einen anderen Cipher kannst Du mit der Option "-c" wählen:
| Code: | time scp -c <cipher> <dateiname> <user>@<zielrechner>:
|
Früher habe ich oft "arcfour" als Cipher gewählt, was die Übertragung deutlich beschleunigt hat. Arcfour ist aber mittlerweile bei den meisten SSH Servern deaktiviert. Eine Liste der möglichen Cipher (die das Zielsystem unterstützt) wird von scp ausgegeben, wenn man als Cipher "arcfour" angibt und dieser Cipher nicht vom Zielsystem unterstützt wird.
Mike |
Wow, vielen Dank Mike für deine ausführliche Unterstützung 
Als Erstes musste ich erst
installieren.
Dann habe ich mir die man-Page von scp angesehen - ich dachte, Verzeichnisse könnte man nur rekursiv mit dem Befehl "mirror" (ich glaube, so hieß der) unter ssh kopieren, stattdessen habe ich den Schalter -r entdeckt, so dass scp nun genau das tut, was ich will
Das Zielsystem hatte bei -c arcfour nur:
| Code: | no matching cipher found. Their offer: chacha20-poly1305@openssh.com,aes128-ctr,aes192-ctr,aes256-ctr,aes128-gcm@openssh.com,aes256-gcm@openssh.com
lost connection |
ausgegeben
Egal, habe nun ohne -c und eben dann mit -r rekursiv meine Verzeichnisse rüberkopiert, dabei kam ich auf dem Quell- und Zielrechner zwischen 90 und 115 MB/s, meist so um die 100, was ja schon mal wesentlich schneller als wie bei filezilla ist (Quellrechner: AMD-X3 mit 3x3,3 GHz - Zielrechner AMD-X8 mit 8x 4 GHz - ich denke, die Leistung der CPUs sollte schon noch ausreichen).
Da die Übertragung nur in einem lokalen Netzwerk stattfinden soll, denke ich, braucht die Verschlüsselung ja auch nicht so stark sein, oder? Nur ganz ungeschützt will ich das Ganze dann auch nicht machen, wenn die bösen Hacker über WLAN in mein Netz eindringen sollten. Ich hatte anfangs nur Probleme mit der Syntax, hatte zuerst nach dem :home/user/meinverzeichnis eingegeben, musste aber :/home/user/meinverzeichnis sein 
Danke nochmal, wieder was dazugelernt
Schade nur, dass der Midnight Commander ssh wohl nicht so richtig unterstützt, da dieser manchmal ganz nützlich wäre, wenn ich schnell mal einzelne Dateien auswählen will und nicht das ganze Verzeichnis rüberkopieren will.
Hatte hier jemand die gleichen/ähnlichen Erfahrungen mit dem mc?
Andreas |
|
| Back to top |
|
|
toralf
Developer
Joined: 01 Feb 2004
Posts: 3922
Location: Hamburg
|
| Posted: Sat Oct 21, 2017 10:18 am Post subject: |
|
|
| Andreas O. wrote: | | Da die Übertragung nur in einem lokalen Netzwerk stattfinden soll, denke ich, braucht die Verschlüsselung ja auch nicht so stark sein, oder? Nur ganz ungeschützt will ich das Ganze dann auch nicht machen, |
Man sollte eine "nebensächliche" Eigenschaft von scp & friends nicht unterschätzen: egal, wie schwach der Cipher ist, man hat immer automatisch auch eine Integritätsprüfung bzgl. Bit-flipping drin. |
|
| Back to top |
|
|
Andreas O.
Tux's lil' helper
Joined: 04 Jan 2003
Posts: 132
Location: Welthauptstadt der Biere
|
| Posted: Sat Oct 21, 2017 10:38 am Post subject: |
|
|
| toralf wrote: | | Andreas O. wrote: | | Da die Übertragung nur in einem lokalen Netzwerk stattfinden soll, denke ich, braucht die Verschlüsselung ja auch nicht so stark sein, oder? Nur ganz ungeschützt will ich das Ganze dann auch nicht machen, |
Man sollte eine "nebensächliche" Eigenschaft von scp & friends nicht unterschätzen: egal, wie schwach der Cipher ist, man hat immer automatisch auch eine Integritätsprüfung bzgl. Bit-flipping drin. |
Richtig, mir ging's dabei in erster Linie darum, dass keine Passwörter beim Einloggen unverschlüsselt im (lokalen) Netzwerk rumschwirren.
Übrigens: wenn ich -c nicht explizit angebe, wird dann automatisch die "schwächste" Verschlüsselung gewählt oder was ist da "standardmäßig" hinterlegt? |
|
| Back to top |
|
|
mike155
Advocate
Joined: 17 Sep 2010
Posts: 4438
Location: Frankfurt, Germany
|
| Posted: Sat Oct 21, 2017 12:13 pm Post subject: |
|
|
| Quote: | | Übrigens: wenn ich -c nicht explizit angebe, wird dann automatisch die "schwächste" Verschlüsselung gewählt oder was ist da "standardmäßig" hinterlegt? |
Die Frage ist nicht leicht zu beantworten. Die ganz kurze Fassung ist: ist wird nicht die schwächste, sondern die erste passende Verschlüsselung ausgewählt.
Du kannst Dir ansehen, wie die Verbindungs-Parameter verhandelt werden, wenn Du folgendes eingibst:
| Code: | | ssh -vvv <user>@<zielrechner> |
Bei dem Verbindungsaufbau werden recht viele Parameter ausgetauscht und verhandelt. Das genaue Protokoll für den Austausch der Ciphers ist in RFC 4253 definiert. Im Wesentlichen läuft es so, dass jede Seite eine Liste der möglichen Ciphers an die andere Seite überträgt und die andere Seite dann den ersten passenden Cipher auswählt. Wie ein SSH-Server oder -Client die Liste der Ciphers erstellt, dürfte von Implementierung zu Implementierung unterschiedlich sein. Bei OpenSSH kann man die Liste durch den Parameter "ciphers" in den Konfigurationsdateien "ssh_config" bzw. "sshd_config" beeinflussen.
Übrigens gebe ich den Cipher fast nie beim Aufruf von ssh oder scp an - sondern verlasse mich auf die Einstellungen des SSH-Servers und des SSH-Clients. Der einzige Fall, wo ich den Cipher doch angebe ist: sehr große Dateien und sehr langsame Hardware. |
|
| Back to top |
|
|
Andreas O.
Tux's lil' helper
Joined: 04 Jan 2003
Posts: 132
Location: Welthauptstadt der Biere
|
| Posted: Sat Oct 21, 2017 2:36 pm Post subject: |
|
|
| mike155 wrote: | | Quote: | | Übrigens: wenn ich -c nicht explizit angebe, wird dann automatisch die "schwächste" Verschlüsselung gewählt oder was ist da "standardmäßig" hinterlegt? |
Die Frage ist nicht leicht zu beantworten. Die ganz kurze Fassung ist: ist wird nicht die schwächste, sondern die erste passende Verschlüsselung ausgewählt.
Du kannst Dir ansehen, wie die Verbindungs-Parameter verhandelt werden, wenn Du folgendes eingibst:
| Code: | | ssh -vvv <user>@<zielrechner> |
Bei dem Verbindungsaufbau werden recht viele Parameter ausgetauscht und verhandelt. Das genaue Protokoll für den Austausch der Ciphers ist in RFC 4253 definiert. Im Wesentlichen läuft es so, dass jede Seite eine Liste der möglichen Ciphers an die andere Seite überträgt und die andere Seite dann den ersten passenden Cipher auswählt. Wie ein SSH-Server oder -Client die Liste der Ciphers erstellt, dürfte von Implementierung zu Implementierung unterschiedlich sein. Bei OpenSSH kann man die Liste durch den Parameter "ciphers" in den Konfigurationsdateien "ssh_config" bzw. "sshd_config" beeinflussen.
Übrigens gebe ich den Cipher fast nie beim Aufruf von ssh oder scp an - sondern verlasse mich auf die Einstellungen des SSH-Servers und des SSH-Clients. Der einzige Fall, wo ich den Cipher doch angebe ist: sehr große Dateien und sehr langsame Hardware. |
Danke nochmal für die Hilfe.
Scheinbar hatte wohl nur ich das Problem mit dem mc, da ich nun aber eine brauchbare Alternative mit scp und ggf. filezilla gefunden habe, beende ich nun von meiner Seite diesen Thread.
Andreas |
|
| Back to top |
|
|
|
|
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
|
|
Deutsches Forum (German)
