Gentoo Forums
Gentoo Forums
Gentoo Forums
Quick Search: in
Aktion Gentoo-Mirrors für Strato [nicht mehr aktuell!]
View unanswered posts
View posts from last 24 hours
View posts from last 7 days

 
Reply to topic    Gentoo Forums Forum Index Deutsches Forum (German) Deutsche Dokumentation
View previous topic :: View next topic  
Author Message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3468

PostPosted: Sun Mar 06, 2005 6:35 pm    Post subject: Aktion Gentoo-Mirrors für Strato [nicht mehr aktuell!] Reply with quote

:!: Seit neuestem (Stand Sept. 05) ist Traffic zwischen zwei Servern im Strato-RZ nicht mehr kostenlos und wird wie kostenpflichtiger externer Traffic berechnet. Wer dennoch einen Gentoo-Mirror innerhalb des RZ sucht bzw. bereitstellen möchte bitte ggf. den ganzen Thread lesen. Angaben zu kostenlosem Traffic in den folgenden Posts sind vermutlich veraltet.

Da Strato bisher keinen eigenen Gentoo-Mirror bereitstellt möchte ich basierend auf diesen Thread eine Liste zusammenstellen für die inoffiziellen Gentoo-Mirrors bei Strato. Das spart Traffic nach außerhalb des RZs (und somit evt. Kosten) und sollte auch schneller sein. Wer dazu beitragen möchte ist gern willkommen.

Die aktuelle Fassung der Liste ist hier zu finden

http://h9592.serverkompetenz.net/gentoo/strato-gentoo-mirrors.txt
http://gentoo.mysnip.de:8080/gentoo/strato-gentoo-mirrors.txt (Thanks to ts77)

Format in der Liste
  • Eine Kommentarzeile beginnt mit #
  • Eine Zeile für die URL zu einer (gespiegelten) Liste beginnt mit list: gefolgt von einem Leerzeichen und der URL zu der Liste
  • Eine Zeile für einen Distfiles-Mirror beginnt mit mirror: gefolgt von einem Leerzeichen und der URL zu dem Server.
  • Eine Zeile für einen Rsync-Mirror beginnt mit rsync: gefolgt von einem Leerzeichen und der URL zu dem Server

Wer einen Server bei Strato im Rechenzentrum laufen hat und auf diese Liste will bitte bei mir per Nachricht melden. Wer Anregungen oder Ideen hat bitte posten.

Die Liste kann innerhalb des RZ gern weiter gespiegelt werden um Redundanzen zu schaffen, sollte aber dann auch von extern verfügbar sein. Sollte dies regelmäßig erfolgen dann bitte mir Bescheid geben damit ich die URL unter der diese Kopie der Liste abrufbar ist auch mit auf die Liste setzen kann.

Servereinrichtung
Verzeichnis-Listings (Bei Apache Option Indexes) sollten bei der bloßen Bereitstellung der eigenen Distfiles (kein vollständiger Mirror) ausgeschaltet sein um zu verhindert das sich für Außenstehende evt. erkennen läßt welche Pakete installiert sind. Auch sollte eine Beschränkung auf die IPs oder Hostnames aus dem Strato-RZ konfiguriert werden um Zugriffe (und somit Traffic) von extern zu vermeiden.

wget
Nutzer welche die Server aus der Liste nutzen sollten die Verbindungsversuche von wget auf 1 setzen um unnötige Verbindungsversuche eines evt. nicht verfügbaren Servers zu verhindern.

Beispiel:
Code:
FETCHCOMMAND="/usr/bin/wget -t 1 --passive-ftp \${URI} -P \${DISTDIR}"
RESUMECOMMAND="/usr/bin/wget -c -t 1 --passive-ftp \${URI} -P \${DISTDIR}"


Wer sich kreativ beteidigen möchte... ich suche hier auch noch ein Script welches es ermöglicht diese Liste auszulesen und die Server in die make.conf vor den anderen "normalen" Mirrors einzutragen. Ein Ansatz wäre folgender:
Code:
echo `wget http://h9592.serverkompetenz.net/gentoo/strato-gentoo-mirrors.txt -q -O - | grep ^mirror: | cut -d " " -f 2`


Last edited by slick on Wed Dec 17, 2008 8:54 am; edited 9 times in total
Back to top
View user's profile Send private message
McPringle
Apprentice
Apprentice


Joined: 19 Feb 2003
Posts: 164
Location: Aarau (Switzerland)

PostPosted: Wed Mar 09, 2005 8:09 am    Post subject: Reply with quote

Hallo!

Da ich im Moment etwas Speicherplatz eruebrigen kann, wuerde ich anbieten, STRATO-intern die distfiles sowie einen rsync Mirror zur Verfuegung zu stellen.

cu
McPringle
_________________
Linux-User Nummer 53312
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3468

PostPosted: Wed Mar 09, 2005 8:26 am    Post subject: Reply with quote

Super. Wenn Du den Server am laufen hast schick mir einfach die Adresse damit ich den Server mit in die Liste eintragen kann. Bisher ist kaum Traffic zu verzeichnen. Aber vielleicht liegt das auch am (noch geringen) Bekanntheitsgrad.

An anderer Stelle habe ich schon über die Sinnhaftigkeit des Projektes diskutiert. Ich denke es ist eher eine Philosophie-Frage. Schaden kanns jedenfalls nicht. Zumindest habe ich schon dazugelernt bei der Konfiguration des Servers :-)
Back to top
View user's profile Send private message
McPringle
Apprentice
Apprentice


Joined: 19 Feb 2003
Posts: 164
Location: Aarau (Switzerland)

PostPosted: Wed Mar 09, 2005 9:12 am    Post subject: Reply with quote

slick wrote:
Super. Wenn Du den Server am laufen hast schick mir einfach die Adresse damit ich den Server mit in die Liste eintragen kann.


Code:
GENTOO_MIRRORS="http://h58356.serverkompetenz.net/"
SYNC="rsync://h58356.serverkompetenz.net/portage"


Soweit erstmal. Hast Du einige Distfiles liegen? Die wuerde ich gerne meinem Mirror hinzufuegen - muss ich weniger von extern laden, dann zaehlt das nicht zum Traffic. Ich moechte gerne einen vollstaendigen Mirror anbieten und vorher so viel wie moeglich STRATO-intern transportieren.

cu
McPringle
_________________
Linux-User Nummer 53312
Back to top
View user's profile Send private message
moe
Veteran
Veteran


Joined: 28 Mar 2003
Posts: 1289
Location: Potsdam / Germany

PostPosted: Wed Mar 09, 2005 9:25 am    Post subject: Reply with quote

Hmm, da musst ja ne Menge Speicherplatz übrig haben ;-)

Mein Rootie steht leider nich bei Strato, aber trotzdem ne Frage: Warum nicht per NFS, dann kann jeder der deinen Distfilesmirror benutzt den automatisch füllen, und du läufst nich Gefahr irgendwas im Mirror anzubieten (also erstmal von extern laden) was nie gebraucht wird. Und ausserdem wird so auch der externe Traffic zum Befüllen des Mirrors auf die Nutzer verteilt, wenn jmd. von extern in dein NFS-export lädt, hat er ja den extern-Traffic du nur intern..

Gruss Maurice
Back to top
View user's profile Send private message
ts77
Apprentice
Apprentice


Joined: 23 Mar 2003
Posts: 200
Location: Berlin, Germany

PostPosted: Wed Mar 09, 2005 9:30 am    Post subject: Reply with quote

Hmm, Sicherheit?
Also ich würde nur ungern selbst nfs-mounts anbieten oder nutzen.
Ist ja schließlich nicht das heimische kleine Netzwerk ;).
Back to top
View user's profile Send private message
McPringle
Apprentice
Apprentice


Joined: 19 Feb 2003
Posts: 164
Location: Aarau (Switzerland)

PostPosted: Wed Mar 09, 2005 9:38 am    Post subject: Reply with quote

ts77 wrote:
Hmm, Sicherheit?
Also ich würde nur ungern selbst nfs-mounts anbieten oder nutzen.
Ist ja schließlich nicht das heimische kleine Netzwerk ;).


Mir gehts nur darum, einmal Distfiles von STRATO-Server zu bekommen, damit die dann regelmaessig durchgefuehrten Spiegelungen mit einem externen Mirror nicht so viel Traffic verbrauchen.

cu
McPringle
_________________
Linux-User Nummer 53312
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3468

PostPosted: Wed Mar 09, 2005 9:55 am    Post subject: Reply with quote

ts77 wrote:
Hmm, Sicherheit?
Also ich würde nur ungern selbst nfs-mounts anbieten oder nutzen.
Ist ja schließlich nicht das heimische kleine Netzwerk ;).


Full ACK

Eine incoming-ftp wäre noch eine Alternative, welche auch allerdings schnell mißbraucht werden kann. Es sei denn man legt dann eine cronjob darüber der checkt ob das hochgeladene File auch auf den offiziellen Mirrors liegt. Da würde wiederum dafür sorgen das auch nur aktuelle Distfiles im Verzeichnis sind. Aber da ist denke ich ein abgespeckter Mirror (-X -kde etc.) immernoch sinnvoller.

Und wenn wir schon beim Thema Sicherheit sind. Auch ein privater rsync-mirror löst bei mir gewisse Bedenken aus. Aber wenn man den nur für "größere" syncs benutzt und danach nochmal gegen einen offiziellen Mirror sync dürfte das safe sein.
Back to top
View user's profile Send private message
moe
Veteran
Veteran


Joined: 28 Mar 2003
Posts: 1289
Location: Potsdam / Germany

PostPosted: Wed Mar 09, 2005 10:01 am    Post subject: Reply with quote

Man kann es ja auf die IP-Bereiche von Strato einschränken, oder sogar nur auf die IPs von den Leuten die das mitbenutzen wollen.. Aber ein guter Einwand, an die Sicherheit hab ich mal wieder nicht gedacht :oops:
Gibts denn bekannte Sicherheitsprobleme bei NFS?

Gruss Maurice
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3468

PostPosted: Wed Mar 09, 2005 10:06 am    Post subject: Reply with quote

Ist zwar die blödeste Antwort die man geben kann, aber ich geb sie trotzdem mal:
http://www.google.de/search?hl=de&q=Sicherheitsprobleme+bei+NFS&btnG=Google-Suche&meta=
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3468

PostPosted: Sat Mar 12, 2005 9:47 am    Post subject: Reply with quote

Habe heute an Strato eine Mail verfasst, mal schauen was zurückkommt.
Quote:
Hallo Strato-Team,


da ihr bisher keinen Gentoo-Mirror in eurem RZ anbietet habe ich mich mit Leuten aus der Gentoo-Community an dem (privaten) Projekt "Gentoo-Mirror für Strato" beteidigt. Details hierzu findet ihr unter folgender URL.

http://forums.gentoo.org/viewtopic-p-2160587.html

Es wäre nett wenn ihr bei Anfragen zum Thema Gentoo-Mirror auf diese Seite verweisen könntet bzw. diese mit in eure FAQ aufnehmt. Ich denke es ist auch in eurem Sinn das Projekt bekannt zu machen.

Um Antwort wird gebeten.

MfG ....


Edit 14.03.05

Heute kam eine Antwort von Strato. Ich möchte die Mail jetzt hier nicht komplett zitieren (Postgeheimnis), Strato bedankte sich für unsere Bemühungen und teilte mit, daß diese Information dem technischen Support mitgeteilt wurden sowie dem Dokumentationsteam und das es evt. einen Eintrag in die FAQ von Strato gibt.
Back to top
View user's profile Send private message
Grille
n00b
n00b


Joined: 17 Oct 2004
Posts: 17

PostPosted: Fri Apr 01, 2005 12:37 am    Post subject: Reply with quote

Hi,

lebt das Projekt noch immer?

Würde mich auch beteiligen, wüsste ich bloß wie... ich hab keine ahnung wie ich meinen server als mirror einrichten soll, und wie viel freien platz benötige ich dafür?

Hoffe mal auf Lebenszeichen *gg*

Also bis dahin, Grille



--------------------------------------------

Zu finden bin in auch im freenode.net
imChannel #gentoo-anfaenger

--------------------------------------------

Also einfach mal dort vorbeischauen, da ist meistens mehr los als im Forum ....

Gruß Christian
Back to top
View user's profile Send private message
dakjo
Veteran
Veteran


Joined: 31 Jan 2004
Posts: 1544

PostPosted: Fri Apr 01, 2005 6:06 am    Post subject: Reply with quote

Apropro Mirror.

Der Rsync-Mirror rsync8.de.gentoo.org ist auch bei Strato.
IP: 81.169.182.53
HOSTNAME: h53098.serverkompetenz.net

Also um immer von im zu syncen

SYNC="rsync://h53098.serverkompetenz.net/gentoo-portage"

[edit]
BTW. ihr duerft auch gerne mehr als einmal an Tag syncen.
[/edit]
_________________
'Dieselben Naturkräfte, die uns ermöglichen, zu den Sternen zu fliegen, versetzen uns auch in die Lage, unseren Stern zu vernichten.' - Wernher von Braun
http://www.mpsna.de
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3468

PostPosted: Fri Apr 01, 2005 7:17 am    Post subject: Reply with quote

Super Sache das! :-) Ich werden den dann mal mit in o.g. Liste aufnehmen. Wird der von Dir betrieben?

Weiß eigentlich jemand über folgendes Bescheid: Strato hat ja zwei Rechnenzentren. Eins in Berlin und eins in Karlsruhe. Wie sieht es mit Traffic zwischen diesen beiden Rechenzentren aus, kostet der und wenn nein hat jemand die IP-Bereiche aus dem Karlsruher RZ? siehe dazu http://www.strato.de/server/rechenzentrum_c.html (Vorsicht kommerzieller Link ;-) )
Back to top
View user's profile Send private message
ts77
Apprentice
Apprentice


Joined: 23 Mar 2003
Posts: 200
Location: Berlin, Germany

PostPosted: Fri Apr 01, 2005 7:26 am    Post subject: Reply with quote

Super, hab ich den doch glatt einfach mal bei mir auch eingetragen (ich synce trotzdem vorbildlich nur einmal täglich ... nur in Ausnahmefällen nicht ;)).

Das wäre ja noch eine Idee für den DNS-Server für die Einträge ... der könnte doch den der anfragenden IP am nächsten liegenden Mirror (so nach C-Block oder anderen Kriterien) zurück geben. Ok, so gehts aber auch.

@Grille, hängt ja im Prinzip davon ab, was genau Du zur Verfügung stellst. Wir haben hier meist nur die bereits selbst heruntergeladenen Distfiles angeboten. Das heisst Du brauchst nicht mehr Platz als vorher ;). Außer natürlich Du willst einen kompletten Distfile-Mirror anbieten.
Im Prinzip brauchst Du nur einen einfachen Webserver aufsetzen, mit ein paar kleinen Regeln, wie z.B. der Einschränkung auf den IP-Bereich.


gruß,

thomas
Back to top
View user's profile Send private message
dakjo
Veteran
Veteran


Joined: 31 Jan 2004
Posts: 1544

PostPosted: Fri Apr 01, 2005 7:32 am    Post subject: Reply with quote

slick wrote:
Super Sache das! :-) Ich werden den dann mal mit in o.g. Liste aufnehmen. Wird der von Dir betrieben?


Ja, ist meiner.
_________________
'Dieselben Naturkräfte, die uns ermöglichen, zu den Sternen zu fliegen, versetzen uns auch in die Lage, unseren Stern zu vernichten.' - Wernher von Braun
http://www.mpsna.de
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3468

PostPosted: Fri Apr 01, 2005 7:34 am    Post subject: Reply with quote

@ Grille

Ups, hatte Dein Posting fast übersehen ;-)

Ein voller Mirror kostet Dich ca. 40 GB, wobei man bei einem Strato-internen von viel weniger ausgehen sollte, da es keinen Sinn macht hier z.B. KDE- oder sonstige X-Pakete zu spiegeln. Details hierzu kann bestimmt McPringle hinzufügen.

Ein eigener inoffizieller Rsync-Mirror macht meines Erachtens aus Sicherheitsgründen hier keinen Sinn.

Im einfachsten Fall reicht jedoch das Bereitstellen der /usr/portage/distfiles vollkommen aus und/oder Du spiegelst die o.g. Liste um da Redundanzen zu schaffen.

Das Projekt lebt übrigens, auch wenn es selten Lebenszeichen zeigt ;-)
Back to top
View user's profile Send private message
Ragin
l33t
l33t


Joined: 14 Apr 2003
Posts: 776
Location: Stuttgart

PostPosted: Fri Apr 01, 2005 11:39 am    Post subject: Reply with quote

Mal ne ganz blöde Frage:
Ihr greift über externe IPs/Domains auf die Server zu?
Dann seid ihr euch auch bewusst, dass die Pakete durch die Router gehen und der Traffic gezählt wird. Zusätzlich wandern die guten Stück ggf. (je nach Routing) auch mal durch die Weltgeschichte.

Demnach würde das ganze recht wenig Sinn machen (außer, dass evtl. die Geschwindigkeit immer recht gut ist (insofern Strato nicht grad generell lahmt), was aber durch mirrorselect auszugeleichen ist.
Oder hab ich da was übersehen?
_________________
"Innerhalb der Computergemeinschaft lebt man nach der Grundregel, die Gegenwart sei ein Programmfehler, der in der nächsten Ausgabe behoben sein wird."

Clifford Stoll, amerik. Astrophysiker u. Computer- Pionier
Back to top
View user's profile Send private message
ts77
Apprentice
Apprentice


Joined: 23 Mar 2003
Posts: 200
Location: Berlin, Germany

PostPosted: Fri Apr 01, 2005 11:41 am    Post subject: Reply with quote

ähm, warum sollten sie über den Router gehen?
Jeder normale Switch kann über die IP direkt routen und muß nicht alles über den externen Router schicken.

Interne IPs gibts bei Strato IMO nicht.
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3468

PostPosted: Fri Apr 01, 2005 2:01 pm    Post subject: Reply with quote

Quote:
Zusätzlich wandern die guten Stück ggf. (je nach Routing) auch mal durch die Weltgeschichte.


Falsch. Soweit ich das weiß hat zwar Strato offizielle IPs, jedoch wir der Traffic erst am "Ausgang" des RZs gemessen. D.h. wenn ich von Strato-Server A zu Strato-Server B (über die DNS-Auflösung des Strato-DNS-Servers C) eine Verbindung aufbaue wird kein Traffic nach extern gemessen. d.h. es handelt sich um internen Traffic welcher gemäß FAQ von Strato kostenlos ist.
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3468

PostPosted: Fri Apr 01, 2005 2:22 pm    Post subject: Reply with quote

Hier mal kurz ein Vorstellung wie ich mein distfiles-Verzeichnis (auch für andere) aktuell halte und dennoch nicht mit älteren Paketen die Platte zumülle.

In der Nacht läuft ein cron-job der folgendes macht
Code:
emerge sync ; emerge -fuD world ; ACCEPT_KEYWORDS="~x86" emerge -fuD world

Dadurch liegen immer alle meine Pakete für mein x86 sowie für andere ~x86 Systeme als "Mirror" bereit. Allerdings hat das zur Folge das damit mein distfiles-Verzeichnis zugemüllt würde. Eine der Lösungen aus diesem Thread kommt auch nicht in Frage, da ja sonst auch alle x86 Pakete gelöscht würden wenn ich die ~x86 Pakete in den distfiles habe (Aussonderung über die Versionsnummern) oder alle ~x86 Pakete gelöscht würden da ich diese nicht installiert habe (Aussonderung über nicht installierte Pakete)

Also habe ich mir ein Script geschrieben welches meine distfiles mit den distfiles eines offiziellen Mirrors vergleicht. Und ist z.B. eine Paket nicht mehr auf dem Mirror vorhanden, wird es auch aus meinen Distfiles geworfen. Hierfür wird der ftp-client aus ncftp genötigt. Dieses Script läuft als cron-job, aber nicht täglich.
Code:
#!/bin/bash
mirror=ftp://ftp6.uni-muenster.de/pub/linux/distributions/gentoo/distfiles/
distdir=/usr/portage/distfiles

ftplist=/tmp/list_${RANDOM}${RANDOM}${RANDOM}
ncftpls -1 $mirror > $ftplist && \
for file in ${distdir}/* ; do
    cat $ftplist | grep "`basename ${file}`" &> /dev/null || rm ${file}
done
rm $ftplist

Problem sind momentan hierbei noch Pakete die nicht auf den Mirrors liegen, weil sie direkt von der Ursprungsseite gezogen werden (z.B. mysql). Was sich aber durch einfach rausfiltern noch realisieren liese, das ist aber noch nicht implementiert.
Back to top
View user's profile Send private message
jannis
Guru
Guru


Joined: 05 Dec 2004
Posts: 322
Location: Germany / Bavaria / Aschaffenburg

PostPosted: Wed May 25, 2005 10:27 pm    Post subject: Reply with quote

Hallo, ich meld' mich ma hier. ^^

Ich habe seit heute, 20:00 Uhr nen rooty bei strato und habe' eure Server mal bei mir in die make.conf:
Code:
GENTOO_MIRRORS="http://h58356.serverkompetenz.net/"
SYNC="rsync://h53098.serverkompetenz.net/gentoo-portage"


Danke für den Service *gg*
Back to top
View user's profile Send private message
wmark
n00b
n00b


Joined: 28 Sep 2005
Posts: 17

PostPosted: Wed Sep 28, 2005 8:45 pm    Post subject: Reply with quote

Zitat aus dem Kundenservicebereich, TrafficControl, Datentransfer:
Quote:
Der interne Traffic zu Servern der STRATO Infrastruktur wird separat erfasst und hiervon abgezogen. Hierzu gehören im Wesentlichen der Traffic zu den FTP-Servern für Backups und Updates, zu Nameservern und den Installationssystemen. Der Traffic zu anderen Kundenservern innerhalb des Rechenzentrums zählt nicht zum kostenfreien internen Traffic.
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3468

PostPosted: Wed Sep 28, 2005 8:55 pm    Post subject: Reply with quote

Uii... das muß ganz frisch sein. Die hatten ja in den letzten Monaten die Trafficmessung auch irgendwie umgebaut.

Habe die Änderung auch an der Stelle gefunden, wo früher stand das der Traffic zwischen zwei Servern kostenlos ist.

Nicht sehr erfreulich... aber solange der Traffic in einem für mich tragbaren Rahmen bleibt werde ich auch erstmal weiterhin meinen teilweisen Mirror laufen lassen.
Back to top
View user's profile Send private message
Display posts from previous:   
Reply to topic    Gentoo Forums Forum Index Deutsches Forum (German) Deutsche Dokumentation All times are GMT
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum