» Neue Server für Filesystem und Datenbank

mgutt · 25.09.2009, 09:04

Hallo,

auf Grund der aktuellen Lastspitzen, haben wir uns dazu entschlossen erneut einen Serverwechsel durchzuführen.

Diesmal wird der Sprung aber größer sein. Der letzte Server war ein:
AMD Opteron DualCore

4 GB Arbeitsspeicher
150 GB Festplatte
Traffic unlimitiert
zusätzliche Backup-Festplatte

Jetzt wechseln wir auf zwei:
AMD Phenom QuadCore
· 8 GB Arbeitsspeicher
· 750 GB Festplatte SATA

Traffic unlimitiert
zusätzliche Backup-Festplatte

Jeweils ein Server für das Filesystem und der Zweite für die MySQL-Datenbank. Damit können wir in Zukunft auch zwischen den Auslastungen unterscheiden und spezielle Optimierungen durchführen.

Damit steigen zwar auch die Kosten auf 400,- EUR pro Monat zzgl. der Backup-Platten, aber ich werde bei uns ein paar weitere Änderungen durchführen, die das dann soweit erlauben (zwei Kundenserver werden mangels Kunden auf einen reduziert).

Zumindest sollte dann genug Puffer für die Partnerforen zur Verfügung stehen, so dass sich die Projekte nicht gegenseitig in die Quere kommen.

Die Bestellung geht die nächsten Tage raus. Danach wird es vermutlich nur wenige Tage dauern (übernächstes Wochenende), da genug Server auf Lager sind.

Gruß

Woll-E · 25.09.2009, 23:39

Hast du dich denn mittlerweile schlau gemacht, woran es mit der Auslastung liegt? Vielleicht brauchst du gar nicht umziehen. Ich finde, dass der oben genannte Root völlig ausreicht...

Musst dich ja nicht in Unkosten stürzen. Ich würd einfach mal schauen woher die Spitzen kommen.. vielleicht ist es einfach nur eine verbuggte Apache / MySQL Version.

mgutt · 26.09.2009, 07:13

Da wir auch Performance für carhififorum.de, psforum.de etc. brauchen, die ja alle auf dem gleichen Server liegen, bleibt mir eigentlich keine andere Option. Auch ist der aktuelle Server schon früher am Limit gewesen:
http://www.maxrev.de/server-auslastung-t10831,start,40.htm#pic92606

Erst durch zahlreiche Performanceverbesserungen, konnten wir das in den Griff kriegen.

Ich glaube daher nicht, dass der neue Server viel länger durchhalten wird.

Da ich alles neu strukturiere, kosten mich die Server insgesamt 140,- EUR mehr pro Monat. Das ist zu verkraften, da wir in der Zukunft denke ich wieder gute Werbepartner bekommen werden (das ist das was Du nicht siehst

). Ich war jetzt auf einer Messe in Köln. Da war ein Anbieter, der sich extra um die Vermarktung von Autoseiten kümmert. Vielleicht kommen wir da an bessere Werbeverträge dran, mal sehen.

Wichtig ist nur eben, dass wir unsere Suchmaschinenpositionen halten oder sogar verbessern. Diese finanzieren uns schließlich zum größten Teil.

Woll-E · 26.09.2009, 08:39

Ich versuche lediglich zu helfen ^^ du machst das schon.

mgutt · 26.09.2009, 09:50

Ich habe in den letzten Jahren immer von einem auf die neuere Generation gewechselt. D.h. jedes Jahr einen kleinen Sprung. Gelernt habe ich dadurch aber nichts, weil ich bis heute nicht weiß welcher Teil (Files oder Datenbank) eigentlich das Hauptproblem darstellt.

Und mit dem großen Sprung jetzt, hat man einfach mehr Puffer und muss nicht ständig an Optimierungen arbeiten, sondern kann sich auch wieder der Todo-Liste widmen.

Vielleicht reicht es ja diesmal länger als 1-2 Jahre. Aber glauben tue ich nicht dran

Danach könnten wir noch auf 1-2 bessere Servergenerationen zugreifen und zuletzt kommt ein Loadbalancer-Konstrukt mit 2 Webservern und einem File- / Datenbankserver in Frage. Wobei ich das Loadbalancing nicht so gerne mag. Da ich glaube, dass es eher die Datenbank sein wird, würde ich eher versuchen mit mehreren Datenbankservern als Inselverbund zu arbeiten. Aber das ist noch Zukunft und wird in der Managedvariante ziemlich teuer (über 1.500,- EUR pro Monat).

Woll-E · 27.09.2009, 23:09

Loadbalancing halte ich einfach zu übertrieben für die Größenordnung hier. Naja, hab oben alles geschrieben - wenn du Hilfe brauchst bei der Fehlerlokalisierung, bin ich gern bereit zu helfen. Andernfalls viel Glück beim Umzug.

mgutt · 28.09.2009, 06:53

Wie kannst Du denn helfen? Am häufigsten beschäftige ich mich hier mit der Generierung von Zwischenspeichern, um MySQL-Abfragen zu reduzieren.

Dabei bin ich jetzt darauf gekommen neben den Beiträgen in Topics auch die Autorendaten in einen Zwischenspeicher zu schreiben und diese dann minimal zeitversetzt auszuwerfen, falls sie öfter aktualisiert werden (z.B. der Beitragszähler).

Auf die Art sollen z.B. die Topic-Ansichten möglichst ohne DB-Abfragen auskommen.

Das wir kein Loadbalancing brauchen liegt übrigens nur an den zahlreichen Optimierungen, die wir bisher schon durchgeführt haben. Der Server würde sofort abstürzen, wenn ich den Cache deaktiviere

Woll-E · 28.09.2009, 09:14

Ich könnte dabei helfen, diese Spitzen zu suchen und ggf. zu neutralisieren. Ich glaube nicht, dass das einfach nur normale Besucherzahlen sind. Mich würde es wundern, wenn der jetzige Server unter dieser Last so ans Kot*** käme.

Die Idee mit dem Cache ist gut. Hast du auch einen PHP Cache aktiviert?

mgutt · 28.09.2009, 09:42

Ja natürlich. Es läuft aktuell xCache auf dem Server.

Mein Hauptproblem ist die rückwärtige Sortierung von Themen. D.h. die Abfrage auf der Startseite und der Forenansicht, sowie im Civic-Forum, Kleinanzeigen usw. Aber auch auf Profilen und in Feeds, die wir ja neuerdings auch auswerfen.

MySQL kommt nicht mit der Abfrage klar:

SELECT t.*
FROM topics t
WHERE t.moved_id = 0
AND t.host_id = 1
ORDER BY t.last_time DESC
LIMIT 10

MySQL gibt als possible keys die aus (last_time hat natürlich auch einen):
moved_id,host_id

und nutzt dann diesen:
host_id

Dabei muss MySQL aber immer noch 92.495 Zeilen abarbeiten und mit where und filesort arbeiten.

Dieses Problem habe ich irgendwie immer, wenn ich rückwärts sortieren muss und parallel eine Where-Bedingung einsetze.

Wenn ich übrigens einen zweispaltigen Index auf moved_id und host_id setze, nutzt er trotzdem nur host_id als Index.

moved_id muss ausgeschlossen werden, damit nicht topics angezeigt werden, die kopiert wurden und auf ein anderes verweisen. Und host_id muss als Vergleichswert herhalten, da ich darüber zwischen topics aus maxrev.de und z.b. carhififorum.de unterscheide.

Ich habe vor lauter Verzweiflung schon überlegt, ob ich noch last_time einbeziehe und nur die Themen herausfiltere, die höchstens 30 Tage alt sind:

AND t.last_time >=1251417600

Aber das Problem ist, dass nicht jede host_id Topics zu bieten hat, die innerhalb von 30 Tagen geschrieben wurden. Weiterhin löse ich damit nicht das Problem, dass ich bald in den Unterforen haben werde. Nämlich dann, wenn ein Unterforum ebenfalls 100.000 topics oder mehr enthält. Dann werden auch dort 100.000 Zeilen resultieren, die erstmal rückwärts sortiert werden müssen.

So nun bist Du dran

maxrev.de · Gast

Mach mit!

Wenn Dir die Beiträge zum Thread "Neue Server für Filesystem und Datenbank" gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden:

Registrierte Mitglieder genießen die folgenden Vorteile:
✔ kostenlose Mitgliedschaft
✔ keine Werbung
✔ direkter Austausch mit Gleichgesinnten
✔ neue Fragen stellen oder Diskussionen starten
✔ schnelle Hilfe bei Problemen
✔ Bilder und Videos hochladen
✔ und vieles mehr...

Autor	Nachricht
mgutt Administrator Name: Marc Geschlecht: Anmeldedatum: 28.08.2004 Beiträge: 52423 Wohnort: Lohmar Meine eBay-Auktionen:	25.09.2009, 09:04 zitieren Hallo, auf Grund der aktuellen Lastspitzen, haben wir uns dazu entschlossen erneut einen Serverwechsel durchzuführen. Diesmal wird der Sprung aber größer sein. Der letzte Server war ein: AMD Opteron DualCore 4 GB Arbeitsspeicher 150 GB Festplatte Traffic unlimitiert zusätzliche Backup-Festplatte Jetzt wechseln wir auf zwei: AMD Phenom QuadCore · 8 GB Arbeitsspeicher · 750 GB Festplatte SATA Traffic unlimitiert zusätzliche Backup-Festplatte Jeweils ein Server für das Filesystem und der Zweite für die MySQL-Datenbank. Damit können wir in Zukunft auch zwischen den Auslastungen unterscheiden und spezielle Optimierungen durchführen. Damit steigen zwar auch die Kosten auf 400,- EUR pro Monat zzgl. der Backup-Platten, aber ich werde bei uns ein paar weitere Änderungen durchführen, die das dann soweit erlauben (zwei Kundenserver werden mangels Kunden auf einen reduziert). Zumindest sollte dann genug Puffer für die Partnerforen zur Verfügung stehen, so dass sich die Projekte nicht gegenseitig in die Quere kommen. Die Bestellung geht die nächsten Tage raus. Danach wird es vermutlich nur wenige Tage dauern (übernächstes Wochenende), da genug Server auf Lager sind. Gruß Gefällt mir Teilen twittern
▲	pn email

Woll-E Premium-Member Name: Woll-E Geschlecht: Fahrzeug: EH6 Anmeldedatum: 03.05.2009 Beiträge: 21228 Wohnort: Köln	25.09.2009, 23:39 zitieren Hast du dich denn mittlerweile schlau gemacht, woran es mit der Auslastung liegt? Vielleicht brauchst du gar nicht umziehen. Ich finde, dass der oben genannte Root völlig ausreicht... Musst dich ja nicht in Unkosten stürzen. Ich würd einfach mal schauen woher die Spitzen kommen.. vielleicht ist es einfach nur eine verbuggte Apache / MySQL Version.
▲	pn

mgutt Administrator Name: Marc Geschlecht: Anmeldedatum: 28.08.2004 Beiträge: 52423 Wohnort: Lohmar Meine eBay-Auktionen:	26.09.2009, 07:13 zitieren Da wir auch Performance für carhififorum.de, psforum.de etc. brauchen, die ja alle auf dem gleichen Server liegen, bleibt mir eigentlich keine andere Option. Auch ist der aktuelle Server schon früher am Limit gewesen: http://www.maxrev.de/server-auslastung-t10831,start,40.htm#pic92606 Erst durch zahlreiche Performanceverbesserungen, konnten wir das in den Griff kriegen. Ich glaube daher nicht, dass der neue Server viel länger durchhalten wird. Da ich alles neu strukturiere, kosten mich die Server insgesamt 140,- EUR mehr pro Monat. Das ist zu verkraften, da wir in der Zukunft denke ich wieder gute Werbepartner bekommen werden (das ist das was Du nicht siehst ). Ich war jetzt auf einer Messe in Köln. Da war ein Anbieter, der sich extra um die Vermarktung von Autoseiten kümmert. Vielleicht kommen wir da an bessere Werbeverträge dran, mal sehen. Wichtig ist nur eben, dass wir unsere Suchmaschinenpositionen halten oder sogar verbessern. Diese finanzieren uns schließlich zum größten Teil.
▲	pn email

Woll-E Premium-Member Name: Woll-E Geschlecht: Fahrzeug: EH6 Anmeldedatum: 03.05.2009 Beiträge: 21228 Wohnort: Köln	26.09.2009, 08:39 zitieren Ich versuche lediglich zu helfen ^^ du machst das schon.
▲	pn

mgutt Administrator Name: Marc Geschlecht: Anmeldedatum: 28.08.2004 Beiträge: 52423 Wohnort: Lohmar Meine eBay-Auktionen:	26.09.2009, 09:50 zitieren Ich habe in den letzten Jahren immer von einem auf die neuere Generation gewechselt. D.h. jedes Jahr einen kleinen Sprung. Gelernt habe ich dadurch aber nichts, weil ich bis heute nicht weiß welcher Teil (Files oder Datenbank) eigentlich das Hauptproblem darstellt. Und mit dem großen Sprung jetzt, hat man einfach mehr Puffer und muss nicht ständig an Optimierungen arbeiten, sondern kann sich auch wieder der Todo-Liste widmen. Vielleicht reicht es ja diesmal länger als 1-2 Jahre. Aber glauben tue ich nicht dran Danach könnten wir noch auf 1-2 bessere Servergenerationen zugreifen und zuletzt kommt ein Loadbalancer-Konstrukt mit 2 Webservern und einem File- / Datenbankserver in Frage. Wobei ich das Loadbalancing nicht so gerne mag. Da ich glaube, dass es eher die Datenbank sein wird, würde ich eher versuchen mit mehreren Datenbankservern als Inselverbund zu arbeiten. Aber das ist noch Zukunft und wird in der Managedvariante ziemlich teuer (über 1.500,- EUR pro Monat).
▲	pn email

Woll-E Premium-Member Name: Woll-E Geschlecht: Fahrzeug: EH6 Anmeldedatum: 03.05.2009 Beiträge: 21228 Wohnort: Köln	27.09.2009, 23:09 zitieren Loadbalancing halte ich einfach zu übertrieben für die Größenordnung hier. Naja, hab oben alles geschrieben - wenn du Hilfe brauchst bei der Fehlerlokalisierung, bin ich gern bereit zu helfen. Andernfalls viel Glück beim Umzug.
▲	pn

mgutt Administrator Name: Marc Geschlecht: Anmeldedatum: 28.08.2004 Beiträge: 52423 Wohnort: Lohmar Meine eBay-Auktionen:	28.09.2009, 06:53 zitieren Wie kannst Du denn helfen? Am häufigsten beschäftige ich mich hier mit der Generierung von Zwischenspeichern, um MySQL-Abfragen zu reduzieren. Dabei bin ich jetzt darauf gekommen neben den Beiträgen in Topics auch die Autorendaten in einen Zwischenspeicher zu schreiben und diese dann minimal zeitversetzt auszuwerfen, falls sie öfter aktualisiert werden (z.B. der Beitragszähler). Auf die Art sollen z.B. die Topic-Ansichten möglichst ohne DB-Abfragen auskommen. Das wir kein Loadbalancing brauchen liegt übrigens nur an den zahlreichen Optimierungen, die wir bisher schon durchgeführt haben. Der Server würde sofort abstürzen, wenn ich den Cache deaktiviere
▲	pn email

Woll-E Premium-Member Name: Woll-E Geschlecht: Fahrzeug: EH6 Anmeldedatum: 03.05.2009 Beiträge: 21228 Wohnort: Köln	28.09.2009, 09:14 zitieren Ich könnte dabei helfen, diese Spitzen zu suchen und ggf. zu neutralisieren. Ich glaube nicht, dass das einfach nur normale Besucherzahlen sind. Mich würde es wundern, wenn der jetzige Server unter dieser Last so ans Kot*** käme. Die Idee mit dem Cache ist gut. Hast du auch einen PHP Cache aktiviert?
▲	pn

mgutt Administrator Name: Marc Geschlecht: Anmeldedatum: 28.08.2004 Beiträge: 52423 Wohnort: Lohmar Meine eBay-Auktionen:	28.09.2009, 09:42 zitieren Ja natürlich. Es läuft aktuell xCache auf dem Server. Mein Hauptproblem ist die rückwärtige Sortierung von Themen. D.h. die Abfrage auf der Startseite und der Forenansicht, sowie im Civic-Forum, Kleinanzeigen usw. Aber auch auf Profilen und in Feeds, die wir ja neuerdings auch auswerfen. MySQL kommt nicht mit der Abfrage klar: `SELECT t.* FROM topics t WHERE t.moved_id = 0 AND t.host_id = 1 ORDER BY t.last_time DESC LIMIT 10` MySQL gibt als possible keys die aus (last_time hat natürlich auch einen): moved_id,host_id und nutzt dann diesen: host_id Dabei muss MySQL aber immer noch 92.495 Zeilen abarbeiten und mit where und filesort arbeiten. Dieses Problem habe ich irgendwie immer, wenn ich rückwärts sortieren muss und parallel eine Where-Bedingung einsetze. Wenn ich übrigens einen zweispaltigen Index auf moved_id und host_id setze, nutzt er trotzdem nur host_id als Index. moved_id muss ausgeschlossen werden, damit nicht topics angezeigt werden, die kopiert wurden und auf ein anderes verweisen. Und host_id muss als Vergleichswert herhalten, da ich darüber zwischen topics aus maxrev.de und z.b. carhififorum.de unterscheide. Ich habe vor lauter Verzweiflung schon überlegt, ob ich noch last_time einbeziehe und nur die Themen herausfiltere, die höchstens 30 Tage alt sind: `AND t.last_time >=1251417600` Aber das Problem ist, dass nicht jede host_id Topics zu bieten hat, die innerhalb von 30 Tagen geschrieben wurden. Weiterhin löse ich damit nicht das Problem, dass ich bald in den Unterforen haben werde. Nämlich dann, wenn ein Unterforum ebenfalls 100.000 topics oder mehr enthält. Dann werden auch dort 100.000 Zeilen resultieren, die erstmal rückwärts sortiert werden müssen. So nun bist Du dran Verfasst am: 28.09.2009, 10:15 zitieren Ok, ich arbeite bei MaXReV nun mit einer extra Regel. D.h. da lese ich die letzten Beiträge so aus: `AND t.last_time >= ' . intval(round((time() - 86400) / 600) * 600)` Ich runde das jeweils auf 10 Minuten, damit ich den Cache entsprechend lange nutzen kann. Aber das ist nicht ganz so wichtig, da der Cache bei den letzten Beiträgen eh nur 5 Sekunden lang erhalten bleibt Früher hatte ich da mal Minuten eingestellt, aber dann kamen schnell Beschwerden, dass die eigenen Beiträge nicht gefunden werden konnten. Jetzt muss ich mal überlegen, wie ich das für die Feeds/Foren umsetze. Das Problem ist nämlich, dass für jede Foren-ID mehrere Rechte gelten, je nachdem wer sich das Forum anschaut (Admin, Mod, Gast, User, Gruppe X etc.). Ich denke ich könnte den Cache komplett abschaffen, wenn ich eine Lösung finde, die dynamisch auf die Anzahl der möglichen Ergebniszeilen reagiert. D.h. eine Abfrage, die mehr als 100k Zeilen resultiert, muss zusätzlich per Timestamp reduziert werden. Vielleicht könnte ich das so machen, dass ich in 1:1000 Fällen einen COUNT() auf die Abfrage absetze und wenn es mehr als 1000 Zeilen resultiert, extrahiere ich die älteste last_time und setze die als Mindestwert ein. So sollte das sehr dynamisch funktionieren. Kannst Du mir folgen?
▲	pn email

maxrev.de Gast	29.10.2009, 12:59 zitieren Mach mit! Wenn Dir die Beiträge zum Thread "Neue Server für Filesystem und Datenbank" gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden: Registrierte Mitglieder genießen die folgenden Vorteile: ✔ kostenlose Mitgliedschaft ✔ keine Werbung ✔ direkter Austausch mit Gleichgesinnten ✔ neue Fragen stellen oder Diskussionen starten ✔ schnelle Hilfe bei Problemen ✔ Bilder und Videos hochladen ✔ und vieles mehr...
▲

	Re: √	Letzter Beitrag
der neue Server ist da Ich habe die Nachricht erhalten, dass der neue Server da ist. D.h. die Techniker werden in den nächsten 2 Tagen den Umzug durchführen. Technische Daten stehen hier: http://www.maxrev.de/neuen-server-bestellt-t31792.htm#955848 Derzeit gehen wir... Seite 2 [Ankündigungen]von mgutt	10 1.498	06.03.2007, 15:25 mgutt
Arma 2 Mod DayZ/DayZ Epoch - Einladung auf unseren Server - neue IP! Gibt es hier eventuell Leute die die Arma 2 Mod Dayz bzw Dayz Epoch spielen? Wir würden uns freuen ein paar weitere Spieler auf unserem neuen Private Hive Server begrüßen zu können. Edit: Wir haben nun einen neuen Server von Vilayer.com Die IP lautet... [Computer & Spiele]von KAIZA	3 195	05.10.2013, 23:20 KAIZA
Datenbank aufgeräumt Über die Jahre haben sich sehr viele nutzlose Daten angesammelt. Mit dabei über 1 Millionen Chat-Beiträge: https://www.maxrev.de/chat-aufgeraeumt-t375847.htm Aber es gab auch andere Daten wie z.B. Wörter, die in unserer Suche eingegeben wurden usw. Oder... [Ankündigungen]von mgutt	0 182	03.02.2017, 08:59 mgutt
Datenbank programmieren...nur mit was? Hallo allerseits! Ich möchte eine Datenbank erstellen, bin mir aber nicht sicher mit welcher Sprache oder welchen Tools. Die Anforderungen wären: -Speichern und verwalten von einigen tausend Datensätzen -Tools/IDE zum erstellen sollten... von Septa	0 367	09.08.2012, 18:24 Septa
Abgasgutachten Datenbank Hallo, die Dekra bietet eine Datenbank im Internet an, wo sie ihre Gutachten anpreisen: Abgasdatenblätter für Benzinmotoren bieten wir zu einem Stückpreis von 350,00 EUR plus gültiger MwSt. an. Bei Dieselmotoren liegen die Preise bei 750,00 EUR netto;... [ABE & Gutachten-Sammlung]von mgutt	0 3.767	09.12.2010, 11:51 mgutt
Datenbank Problem Hallo Leute... Ich bin so ein Idiot.... vor ein paar Jahren habe ich mir eine MySQL-Datenbank erstellt, in die Ich ein Forum für eine damalige Homepage gepackt habe... Da ich es nicht besser wusste, habe ich meine Wiki ebenfalls in dieses... von Indy4	2 295	06.09.2011, 06:40 carchaias
Datenbank zu groß Hallo zusammen, meine Datenbank für die mediawiki-Version 1.13.2 ist inzwischen 680 MB groß und mein Provider sagt das ist zu groß. Meine Frage an Euch ist nun ob es möglich ist diese DB zu splitten und in Zukunft über mehrere DBs zu benutzen. Ich... von stefansvw	8 320	28.07.2011, 15:44 carchaias
Phraser:Datenbank:Bootloader Hallo ich habe eine Frage auf die die älteren von euch vieleicht eine Antwort wissen. Ich möchte eine Anwendungsumgebung Entwikeln sozusagen ein kleines Betriebsystem Nun habe ich die Frage was brauche ich zuerst einen Phraser die Datenbank oder den... von Dr:Kurz	0 187	21.08.2016, 11:26 Dr:Kurz
Hochgeladene Einträge als Datenbank Hallo, ich habe eine Liste in Excel erstellt von alle hochgeladenen Einträge die ich bis dato gemacht habe. Dabei ist mir aufgefallen, dass jeden Tag neue Einträge gemacht werden. Wenn ich jeden Tag diese Einträge neu suchen muss und in der Excel... von Helado87	0 140	27.07.2012, 09:05 Helado87
Ziel der Hacker: Emailadressen aus der Datenbank Eigentlich jeder Angriff auf große Communities zielt auf Benutzerdaten ab. Entweder Anschriften, Kreditkartendaten oder Emailadressen. Wie könnte man diese Daten schützen? Und vor allen Dingen, wie macht man das, ohne das es übermäßig langsam wird.... von mgutt	0 2.182	06.02.2008, 09:34 mgutt