» Die eigene Suchmaschine bauen - Studenten haben es gemacht

mgutt · 26.01.2015, 09:53

Das Experiment ist schon eine ganze Zeit her. Und zwar fand es im Jahr 2008 statt. Die Studenten Hsin-Tsang Lee, Derek Leonard, Xiaoming Wang und Dmitri Loguinov der Texas A&M Universität stand dafür ein Quad-CPU AMD Opteron 2.6 GHz Server mit 16 GB RAM und 24-disk RAID-5 zur Verfügung der am Campus mit 1 Gbit/s angebunden war.

In 41 Tagen haben sie damit 7,6 Milliarden Abfragen abgesendet und 7,4 Milliarden Antworten von 117 Millionen Hosts (IPs und Domains) erhalten. Sie konnten dann 6,4 Milliarden HTML Seiten herunterladen (Status-Code 200).

Insgesamt fanden Sie in den HTML Dokumenten 641 Millionen Hosts. Wobei viele Spam URLs schon aussortiert wurden.

Durchschnittlich wurden 319 MB/sec (1.789 Seiten) heruntergeladen. Die Seiten waren insgesamt 178 TB groß, wovon alleine 254 GB auf die robots.txt der Seiten entfiel.

Sie haben sogar eine kleine Backlink-Tabelle erstellt, wobei ich mich wundere wie Microsoft so einen großen Anteil erreichen konnte.

Schlussendlich sieht man aber wie viel Aufwand die Suchmaschinen haben, die ja deutlich mehr machen als nur herunterladen und Links rausfiltern. Gerade für die Positionen in den Suchergebnissen werden ja heute deutlich mehr Faktoren berücksichtigt als die Anzahl der Backlinks.

maxrev.de · Gast

Mach mit!

Wenn Dir die Beiträge zum Thread "Die eigene Suchmaschine bauen - Studenten haben es gemacht" gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden:

Registrierte Mitglieder genießen die folgenden Vorteile:
✔ kostenlose Mitgliedschaft
✔ keine Werbung
✔ direkter Austausch mit Gleichgesinnten
✔ neue Fragen stellen oder Diskussionen starten
✔ schnelle Hilfe bei Problemen
✔ Bilder und Videos hochladen
✔ und vieles mehr...

Autor	Nachricht
mgutt Administrator Name: Marc Geschlecht: Anmeldedatum: 28.08.2004 Beiträge: 52420 Wohnort: Lohmar Meine eBay-Auktionen:	26.01.2015, 09:53 zitieren Das Experiment ist schon eine ganze Zeit her. Und zwar fand es im Jahr 2008 statt. Die Studenten Hsin-Tsang Lee, Derek Leonard, Xiaoming Wang und Dmitri Loguinov der Texas A&M Universität stand dafür ein Quad-CPU AMD Opteron 2.6 GHz Server mit 16 GB RAM und 24-disk RAID-5 zur Verfügung der am Campus mit 1 Gbit/s angebunden war. In 41 Tagen haben sie damit 7,6 Milliarden Abfragen abgesendet und 7,4 Milliarden Antworten von 117 Millionen Hosts (IPs und Domains) erhalten. Sie konnten dann 6,4 Milliarden HTML Seiten herunterladen (Status-Code 200). Insgesamt fanden Sie in den HTML Dokumenten 641 Millionen Hosts. Wobei viele Spam URLs schon aussortiert wurden. Durchschnittlich wurden 319 MB/sec (1.789 Seiten) heruntergeladen. Die Seiten waren insgesamt 178 TB groß, wovon alleine 254 GB auf die robots.txt der Seiten entfiel. Sie haben sogar eine kleine Backlink-Tabelle erstellt, wobei ich mich wundere wie Microsoft so einen großen Anteil erreichen konnte. Schlussendlich sieht man aber wie viel Aufwand die Suchmaschinen haben, die ja deutlich mehr machen als nur herunterladen und Links rausfiltern. Gerade für die Positionen in den Suchergebnissen werden ja heute deutlich mehr Faktoren berücksichtigt als die Anzahl der Backlinks. 2015-01-26 10_49_14-2008-IRLBot.pdf.png - Angeschaut: 177 mal 2008-IRLBot.pdf [504,69KB] Gefällt mir Teilen twittern
▲	pn email

maxrev.de Gast	26.01.2015, 09:53 zitieren Mach mit! Wenn Dir die Beiträge zum Thread "Die eigene Suchmaschine bauen - Studenten haben es gemacht" gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden: Registrierte Mitglieder genießen die folgenden Vorteile: ✔ kostenlose Mitgliedschaft ✔ keine Werbung ✔ direkter Austausch mit Gleichgesinnten ✔ neue Fragen stellen oder Diskussionen starten ✔ schnelle Hilfe bei Problemen ✔ Bilder und Videos hochladen ✔ und vieles mehr...
▲

	Re: √	Letzter Beitrag
Schüler und Studenten haben keine Ahnung von Finanzthemen... ...so lautet ein häufig zitiertes Vorurteil, wenn es um die Wissensbewertung genau dieser Zielgruppe hinsichtlich Finanzthemen geht. Aber ist das auch wirklich so? Und wenn ja, wo liegen die Gründe dafür? Meine Gymnasial- und Studienzeit liegt nun... von Anlegermesse	12 468	30.09.2016, 20:19 point
Dinge die Ihr bereut gemacht zu haben Hi leute, was habt Ihr mal gemacht das Ihr jetzt richtig bereut?? Also ich war mal betrunken beim Tattowierer und dadurch habe ich jetzt den Namen meiner Exfreundinn am rechten Unterarm stehen, und zwar so das es ein blinder noch lesen kann. :wall:... Seite 2, 3 [Offtopic]von white_dream	24 1.930	22.11.2007, 21:25 Konis
Was haben wir falsch gemacht??? Civic EP2 Was haben wir falsch gemacht??? Civic EP2 -------------------------------------------------------------------------------- Hey Leuts, haben heut in meinen Wagen ein Frontsystem eingebaut. Alles verlief gut doch zum schluß kam ich nur noch... [Civic 01-05]von Maxcivic	3 761	04.10.2006, 16:23 Civic-ep2
Die haben Google kaputt gemacht: Ein HTML5 Experiment Hi, schaut mal auf die Seite: http://mrdoob.com/projects/chromeexperiments/google_gravity/ Google ist kaputt :cry: Das funktioniert übrigens nur in FF, Chrome und Safari so viel ich... [Computer & Spiele]von mgutt	4 3.782	23.07.2010, 17:50 mgutt
Honda Jazz Dröhnt extrem ohne etwas gemacht zu haben hallo ich bin ganz neu hier ich wollte wissen ob jemand damit erfahrung gemacht hatt der der wagen hiten extrem laut dröhnt + (auto ist nicht getunt oder sonstiges) bei 60 kmh fengt es an und dann wird es immmer schlimmer und lauter bei 120 könnte mann... [Jazz 02-08]von Valix1989	9 2.108	29.03.2009, 21:57 Valix1989
next/prev für die Suchmaschine Die Suchmaschinen möchten einen Zusammenhang der Seiten eines Thread genannt bekommen. Wir kommen diesem Wunsch nun nach und haben das <link rel="prev"> bzw. <link rel="next"> hinzugefügt. Google erklärt in diesem Video... [Ankündigungen]von mgutt	0 44	23.04.2015, 18:20 mgutt
Suchmaschine von Mediawiki nicht so gut wie bei Wikipedia.de Hallo, ich habe ein Mediawiki mit folgenden Versionen: MediaWiki 1.16.2 PHP 5.2.9 (apache2handler) MySQL 5.1.33 Wenn ich die Volltextsuche benutze bekomme ich oft nicht die richtigen Treffer: Bei kurzen Suchbegriffen (z.B. dreistelligen... von KabaSBL	5 463	13.04.2012, 05:57 MScherm
adressfeld von firefox führt immer auf suchmaschine.de wenn ich im adressfeld von firefox etwas eingebe komme ich immer auf www.suchmaschine.de . das will ich nicht. ich rede nicht von dem separaten suchfeld. da komm ich zu google, wie ich es will. da ist auch keine andere suchmaschine eingegeben.... Seite 2, 3 [Computer & Spiele]von hfg	26 2.015	21.06.2012, 20:42 hfg
Google muss personenbezogene Einträge in der Suchmaschine entfernen Heftiges Urteil, das ich so nie erwartet hätte: http://www.stern.de/digital/loeschung-von-sensiblen-daten-europaeischer-gerichtshof-weist-google-in-die-schranken-2110191.html U-Bürger haben ein "Recht auf Vergessenwerden" im Internet.... [Politik & Nachrichten]von mgutt	1 240	15.05.2014, 07:24 mgutt
An die Studenten was schreibt ihr gerade??? habe heute catia geschrieben und hatte nicht genug zeit. erst fing er erst um 9.10 an und dann auf einmal sagt der idiot noch, dass wir nur 60 min schreiben. und ich bin sicher, dass prof sagte, dass wir 90 min... Seite 2 [Offtopic]von Jay Geeno™	15 1.063	06.07.2007, 18:45 Chris 1985