Aktion Gentoo-Mirrors für Strato [nicht mehr aktuell!]

Message

slick · Post by **slick** » Sun Mar 06, 2005 6:35 pm

Seit neuestem (Stand Sept. 05) ist Traffic zwischen zwei Servern im Strato-RZ nicht mehr kostenlos und wird wie kostenpflichtiger externer Traffic berechnet. Wer dennoch einen Gentoo-Mirror innerhalb des RZ sucht bzw. bereitstellen möchte bitte ggf. den ganzen Thread lesen. Angaben zu kostenlosem Traffic in den folgenden Posts sind vermutlich veraltet.

Da Strato bisher keinen eigenen Gentoo-Mirror bereitstellt möchte ich basierend auf diesen Thread eine Liste zusammenstellen für die inoffiziellen Gentoo-Mirrors bei Strato. Das spart Traffic nach außerhalb des RZs (und somit evt. Kosten) und sollte auch schneller sein. Wer dazu beitragen möchte ist gern willkommen.

Die aktuelle Fassung der Liste ist hier zu finden

http://h9592.serverkompetenz.net/gentoo ... irrors.txt
http://gentoo.mysnip.de:8080/gentoo/str ... irrors.txt (Thanks to ts77)

Format in der Liste

Eine Kommentarzeile beginnt mit #
Eine Zeile für die URL zu einer (gespiegelten) Liste beginnt mit list: gefolgt von einem Leerzeichen und der URL zu der Liste
Eine Zeile für einen Distfiles-Mirror beginnt mit mirror: gefolgt von einem Leerzeichen und der URL zu dem Server.
Eine Zeile für einen Rsync-Mirror beginnt mit rsync: gefolgt von einem Leerzeichen und der URL zu dem Server

Wer einen Server bei Strato im Rechenzentrum laufen hat und auf diese Liste will bitte bei mir per Nachricht melden. Wer Anregungen oder Ideen hat bitte posten.

Die Liste kann innerhalb des RZ gern weiter gespiegelt werden um Redundanzen zu schaffen, sollte aber dann auch von extern verfügbar sein. Sollte dies regelmäßig erfolgen dann bitte mir Bescheid geben damit ich die URL unter der diese Kopie der Liste abrufbar ist auch mit auf die Liste setzen kann.

Servereinrichtung
Verzeichnis-Listings (Bei Apache Option Indexes) sollten bei der bloßen Bereitstellung der eigenen Distfiles (kein vollständiger Mirror) ausgeschaltet sein um zu verhindert das sich für Außenstehende evt. erkennen läßt welche Pakete installiert sind. Auch sollte eine Beschränkung auf die IPs oder Hostnames aus dem Strato-RZ konfiguriert werden um Zugriffe (und somit Traffic) von extern zu vermeiden.

wget
Nutzer welche die Server aus der Liste nutzen sollten die Verbindungsversuche von wget auf 1 setzen um unnötige Verbindungsversuche eines evt. nicht verfügbaren Servers zu verhindern.

Beispiel:

Code: Select all

FETCHCOMMAND="/usr/bin/wget -t 1 --passive-ftp \${URI} -P \${DISTDIR}"
RESUMECOMMAND="/usr/bin/wget -c -t 1 --passive-ftp \${URI} -P \${DISTDIR}"

Wer sich kreativ beteidigen möchte... ich suche hier auch noch ein Script welches es ermöglicht diese Liste auszulesen und die Server in die make.conf vor den anderen "normalen" Mirrors einzutragen. Ein Ansatz wäre folgender:

Code: Select all

echo `wget http://h9592.serverkompetenz.net/gentoo/strato-gentoo-mirrors.txt -q -O - | grep ^mirror: | cut -d " " -f 2`

McPringle · Post by **McPringle** » Wed Mar 09, 2005 8:09 am

Hallo!

Da ich im Moment etwas Speicherplatz eruebrigen kann, wuerde ich anbieten, STRATO-intern die distfiles sowie einen rsync Mirror zur Verfuegung zu stellen.

cu
McPringle

slick · Post by **slick** » Wed Mar 09, 2005 8:26 am

Super. Wenn Du den Server am laufen hast schick mir einfach die Adresse damit ich den Server mit in die Liste eintragen kann. Bisher ist kaum Traffic zu verzeichnen. Aber vielleicht liegt das auch am (noch geringen) Bekanntheitsgrad.

An anderer Stelle habe ich schon über die Sinnhaftigkeit des Projektes diskutiert. Ich denke es ist eher eine Philosophie-Frage. Schaden kanns jedenfalls nicht. Zumindest habe ich schon dazugelernt bei der Konfiguration des Servers

McPringle · Post by **McPringle** » Wed Mar 09, 2005 9:12 am

slick wrote:Super. Wenn Du den Server am laufen hast schick mir einfach die Adresse damit ich den Server mit in die Liste eintragen kann.

Code: Select all

GENTOO_MIRRORS="http://h58356.serverkompetenz.net/"
SYNC="rsync://h58356.serverkompetenz.net/portage"

Soweit erstmal. Hast Du einige Distfiles liegen? Die wuerde ich gerne meinem Mirror hinzufuegen - muss ich weniger von extern laden, dann zaehlt das nicht zum Traffic. Ich moechte gerne einen vollstaendigen Mirror anbieten und vorher so viel wie moeglich STRATO-intern transportieren.

cu
McPringle

moe · Post by **moe** » Wed Mar 09, 2005 9:25 am

Hmm, da musst ja ne Menge Speicherplatz übrig haben

Mein Rootie steht leider nich bei Strato, aber trotzdem ne Frage: Warum nicht per NFS, dann kann jeder der deinen Distfilesmirror benutzt den automatisch füllen, und du läufst nich Gefahr irgendwas im Mirror anzubieten (also erstmal von extern laden) was nie gebraucht wird. Und ausserdem wird so auch der externe Traffic zum Befüllen des Mirrors auf die Nutzer verteilt, wenn jmd. von extern in dein NFS-export lädt, hat er ja den extern-Traffic du nur intern..

Gruss Maurice

ts77 · Post by **ts77** » Wed Mar 09, 2005 9:30 am

Hmm, Sicherheit?
Also ich würde nur ungern selbst nfs-mounts anbieten oder nutzen.
Ist ja schließlich nicht das heimische kleine Netzwerk

.

McPringle · Post by **McPringle** » Wed Mar 09, 2005 9:38 am

ts77 wrote:Hmm, Sicherheit?
Also ich würde nur ungern selbst nfs-mounts anbieten oder nutzen.
Ist ja schließlich nicht das heimische kleine Netzwerk .

Mir gehts nur darum, einmal Distfiles von STRATO-Server zu bekommen, damit die dann regelmaessig durchgefuehrten Spiegelungen mit einem externen Mirror nicht so viel Traffic verbrauchen.

cu
McPringle

slick · Post by **slick** » Wed Mar 09, 2005 9:55 am

ts77 wrote:Hmm, Sicherheit?
Also ich würde nur ungern selbst nfs-mounts anbieten oder nutzen.
Ist ja schließlich nicht das heimische kleine Netzwerk .

Full ACK

Eine incoming-ftp wäre noch eine Alternative, welche auch allerdings schnell mißbraucht werden kann. Es sei denn man legt dann eine cronjob darüber der checkt ob das hochgeladene File auch auf den offiziellen Mirrors liegt. Da würde wiederum dafür sorgen das auch nur aktuelle Distfiles im Verzeichnis sind. Aber da ist denke ich ein abgespeckter Mirror (-X -kde etc.) immernoch sinnvoller.

Und wenn wir schon beim Thema Sicherheit sind. Auch ein privater rsync-mirror löst bei mir gewisse Bedenken aus. Aber wenn man den nur für "größere" syncs benutzt und danach nochmal gegen einen offiziellen Mirror sync dürfte das safe sein.

moe · Post by **moe** » Wed Mar 09, 2005 10:01 am

Man kann es ja auf die IP-Bereiche von Strato einschränken, oder sogar nur auf die IPs von den Leuten die das mitbenutzen wollen.. Aber ein guter Einwand, an die Sicherheit hab ich mal wieder nicht gedacht

Gibts denn bekannte Sicherheitsprobleme bei NFS?

Gruss Maurice

slick · Post by **slick** » Wed Mar 09, 2005 10:06 am

Ist zwar die blödeste Antwort die man geben kann, aber ich geb sie trotzdem mal:
http://www.google.de/search?hl=de&q=Sic ... uche&meta=

slick · Post by **slick** » Sat Mar 12, 2005 9:47 am

Habe heute an Strato eine Mail verfasst, mal schauen was zurückkommt.

Hallo Strato-Team,

da ihr bisher keinen Gentoo-Mirror in eurem RZ anbietet habe ich mich mit Leuten aus der Gentoo-Community an dem (privaten) Projekt "Gentoo-Mirror für Strato" beteidigt. Details hierzu findet ihr unter folgender URL.

http://forums.gentoo.org/viewtopic-p-2160587.html

Es wäre nett wenn ihr bei Anfragen zum Thema Gentoo-Mirror auf diese Seite verweisen könntet bzw. diese mit in eure FAQ aufnehmt. Ich denke es ist auch in eurem Sinn das Projekt bekannt zu machen.

Um Antwort wird gebeten.

MfG ....

Edit 14.03.05

Heute kam eine Antwort von Strato. Ich möchte die Mail jetzt hier nicht komplett zitieren (Postgeheimnis), Strato bedankte sich für unsere Bemühungen und teilte mit, daß diese Information dem technischen Support mitgeteilt wurden sowie dem Dokumentationsteam und das es evt. einen Eintrag in die FAQ von Strato gibt.

Grille · Post by **Grille** » Fri Apr 01, 2005 12:37 am

Hi,

lebt das Projekt noch immer?

Würde mich auch beteiligen, wüsste ich bloß wie... ich hab keine ahnung wie ich meinen server als mirror einrichten soll, und wie viel freien platz benötige ich dafür?

Hoffe mal auf Lebenszeichen *gg*

Also bis dahin, Grille

--------------------------------------------

Zu finden bin in auch im freenode.net
imChannel #gentoo-anfaenger

--------------------------------------------

Also einfach mal dort vorbeischauen, da ist meistens mehr los als im Forum ....

Gruß Christian

dakjo · Post by **dakjo** » Fri Apr 01, 2005 6:06 am

Apropro Mirror.

Der Rsync-Mirror rsync8.de.gentoo.org ist auch bei Strato.
IP: 81.169.182.53
HOSTNAME: h53098.serverkompetenz.net

Also um immer von im zu syncen

SYNC="rsync://h53098.serverkompetenz.net/gentoo-portage"

[edit]
BTW. ihr duerft auch gerne mehr als einmal an Tag syncen.
[/edit]

slick · Post by **slick** » Fri Apr 01, 2005 7:17 am

Super Sache das!

Ich werden den dann mal mit in o.g. Liste aufnehmen. Wird der von Dir betrieben?

Weiß eigentlich jemand über folgendes Bescheid: Strato hat ja zwei Rechnenzentren. Eins in Berlin und eins in Karlsruhe. Wie sieht es mit Traffic zwischen diesen beiden Rechenzentren aus, kostet der und wenn nein hat jemand die IP-Bereiche aus dem Karlsruher RZ? siehe dazu http://www.strato.de/server/rechenzentrum_c.html (Vorsicht kommerzieller Link

)

ts77 · Post by **ts77** » Fri Apr 01, 2005 7:26 am

Super, hab ich den doch glatt einfach mal bei mir auch eingetragen (ich synce trotzdem vorbildlich nur einmal täglich ... nur in Ausnahmefällen nicht

).

Das wäre ja noch eine Idee für den DNS-Server für die Einträge ... der könnte doch den der anfragenden IP am nächsten liegenden Mirror (so nach C-Block oder anderen Kriterien) zurück geben. Ok, so gehts aber auch.

@Grille, hängt ja im Prinzip davon ab, was genau Du zur Verfügung stellst. Wir haben hier meist nur die bereits selbst heruntergeladenen Distfiles angeboten. Das heisst Du brauchst nicht mehr Platz als vorher

. Außer natürlich Du willst einen kompletten Distfile-Mirror anbieten.
Im Prinzip brauchst Du nur einen einfachen Webserver aufsetzen, mit ein paar kleinen Regeln, wie z.B. der Einschränkung auf den IP-Bereich.

gruß,

thomas

dakjo · Post by **dakjo** » Fri Apr 01, 2005 7:32 am

slick wrote:Super Sache das! Ich werden den dann mal mit in o.g. Liste aufnehmen. Wird der von Dir betrieben?

Ja, ist meiner.

slick · Post by **slick** » Fri Apr 01, 2005 7:34 am

@ Grille

Ups, hatte Dein Posting fast übersehen

Ein voller Mirror kostet Dich ca. 40 GB, wobei man bei einem Strato-internen von viel weniger ausgehen sollte, da es keinen Sinn macht hier z.B. KDE- oder sonstige X-Pakete zu spiegeln. Details hierzu kann bestimmt McPringle hinzufügen.

Ein eigener inoffizieller Rsync-Mirror macht meines Erachtens aus Sicherheitsgründen hier keinen Sinn.

Im einfachsten Fall reicht jedoch das Bereitstellen der /usr/portage/distfiles vollkommen aus und/oder Du spiegelst die o.g. Liste um da Redundanzen zu schaffen.

Das Projekt lebt übrigens, auch wenn es selten Lebenszeichen zeigt

Ragin · Post by **Ragin** » Fri Apr 01, 2005 11:39 am

Mal ne ganz blöde Frage:
Ihr greift über externe IPs/Domains auf die Server zu?
Dann seid ihr euch auch bewusst, dass die Pakete durch die Router gehen und der Traffic gezählt wird. Zusätzlich wandern die guten Stück ggf. (je nach Routing) auch mal durch die Weltgeschichte.

Demnach würde das ganze recht wenig Sinn machen (außer, dass evtl. die Geschwindigkeit immer recht gut ist (insofern Strato nicht grad generell lahmt), was aber durch mirrorselect auszugeleichen ist.
Oder hab ich da was übersehen?

ts77 · Post by **ts77** » Fri Apr 01, 2005 11:41 am

ähm, warum sollten sie über den Router gehen?
Jeder normale Switch kann über die IP direkt routen und muß nicht alles über den externen Router schicken.

Interne IPs gibts bei Strato IMO nicht.

slick · Post by **slick** » Fri Apr 01, 2005 2:01 pm

Zusätzlich wandern die guten Stück ggf. (je nach Routing) auch mal durch die Weltgeschichte.

Falsch. Soweit ich das weiß hat zwar Strato offizielle IPs, jedoch wir der Traffic erst am "Ausgang" des RZs gemessen. D.h. wenn ich von Strato-Server A zu Strato-Server B (über die DNS-Auflösung des Strato-DNS-Servers C) eine Verbindung aufbaue wird kein Traffic nach extern gemessen. d.h. es handelt sich um internen Traffic welcher gemäß FAQ von Strato kostenlos ist.

slick · Post by **slick** » Fri Apr 01, 2005 2:22 pm

Hier mal kurz ein Vorstellung wie ich mein distfiles-Verzeichnis (auch für andere) aktuell halte und dennoch nicht mit älteren Paketen die Platte zumülle.

In der Nacht läuft ein cron-job der folgendes macht

Code: Select all

emerge sync ; emerge -fuD world ; ACCEPT_KEYWORDS="~x86" emerge -fuD world

Dadurch liegen immer alle meine Pakete für mein x86 sowie für andere ~x86 Systeme als "Mirror" bereit. Allerdings hat das zur Folge das damit mein distfiles-Verzeichnis zugemüllt würde. Eine der Lösungen aus diesem Thread kommt auch nicht in Frage, da ja sonst auch alle x86 Pakete gelöscht würden wenn ich die ~x86 Pakete in den distfiles habe (Aussonderung über die Versionsnummern) oder alle ~x86 Pakete gelöscht würden da ich diese nicht installiert habe (Aussonderung über nicht installierte Pakete)

Also habe ich mir ein Script geschrieben welches meine distfiles mit den distfiles eines offiziellen Mirrors vergleicht. Und ist z.B. eine Paket nicht mehr auf dem Mirror vorhanden, wird es auch aus meinen Distfiles geworfen. Hierfür wird der ftp-client aus ncftp genötigt. Dieses Script läuft als cron-job, aber nicht täglich.

Code: Select all

#!/bin/bash
mirror=ftp://ftp6.uni-muenster.de/pub/linux/distributions/gentoo/distfiles/
distdir=/usr/portage/distfiles

ftplist=/tmp/list_${RANDOM}${RANDOM}${RANDOM}
ncftpls -1 $mirror > $ftplist && \
for file in ${distdir}/* ; do
    cat $ftplist | grep "`basename ${file}`" &> /dev/null || rm ${file}
done
rm $ftplist

Problem sind momentan hierbei noch Pakete die nicht auf den Mirrors liegen, weil sie direkt von der Ursprungsseite gezogen werden (z.B. mysql). Was sich aber durch einfach rausfiltern noch realisieren liese, das ist aber noch nicht implementiert.

jannis · Post by **jannis** » Wed May 25, 2005 10:27 pm

Hallo, ich meld' mich ma hier. ^^

Ich habe seit heute, 20:00 Uhr nen rooty bei strato und habe' eure Server mal bei mir in die make.conf:

Code: Select all

GENTOO_MIRRORS="http://h58356.serverkompetenz.net/"
SYNC="rsync://h53098.serverkompetenz.net/gentoo-portage"

Danke für den Service *gg*

wmark · Post by **wmark** » Wed Sep 28, 2005 8:45 pm

Zitat aus dem Kundenservicebereich, TrafficControl, Datentransfer:

Der interne Traffic zu Servern der STRATO Infrastruktur wird separat erfasst und hiervon abgezogen. Hierzu gehören im Wesentlichen der Traffic zu den FTP-Servern für Backups und Updates, zu Nameservern und den Installationssystemen. Der Traffic zu anderen Kundenservern innerhalb des Rechenzentrums zählt nicht zum kostenfreien internen Traffic.

slick · Post by **slick** » Wed Sep 28, 2005 8:55 pm

Uii... das muß ganz frisch sein. Die hatten ja in den letzten Monaten die Trafficmessung auch irgendwie umgebaut.

Habe die Änderung auch an der Stelle gefunden, wo früher stand das der Traffic zwischen zwei Servern kostenlos ist.

Nicht sehr erfreulich... aber solange der Traffic in einem für mich tragbaren Rahmen bleibt werde ich auch erstmal weiterhin meinen teilweisen Mirror laufen lassen.