sirmark

Anfang verpasst?

Das Portal wurde von Amazon übernommen. Die Ranking-Daten sind nun über einen Amazon Web Service abrufbar. Allerdings nicht für lau. Die Kosten sind allerdings überschaubar und ich habe mich heute für den Webservice angemeldet. Meine Kreditkarte wird schon nicht zu glühen anfangen, hoffe ich. Spätestens beim Studium der API wird ersichtlich, warum ich auf diesen kostenpflichtigen Webservice setze: Denn der Webservice liefert durchaus einiges an Daten, die für mich interessant sind. Neben dem Ranking kommen noch bis zu drei Kategorien aus dem DMOZ-Verzeichnis (siehe Tag 5) mit. Bedeutet, ich muss die Daten nicht manuell pflegen, sondern kann mich nun auf die Abfrage hier stützen. Ferner bringt die API die Felder „Keywords“, „OwnedDomains“, „LinksInCount“ und „SiteData“ mit. Die Keywords sind sicherlich interessant. Decken sich diese mit den Keywords, die ich für die neue Seite vorhabe, kann dies ein Vorteil sein. Auch die SiteData, also der Titel und die Beschreibung der Seite sind vielleicht ein Kriterium. Das sind alles Daten, die ich hätte selbst über meinen Spider hätte ermitteln können, doch wenn mir der Webservice diese Daten liefert, dann nehme ich doch gerne. Auch selbst zu ermitteln sind die Daten des Feldes „OwnedDomains“. Hier kommt eine Liste mit Domains zurück, die dem gleichen Besitzer der Seite gehören. Dies ist ebenfalls ein Kriterium, auf das die Tante schaut. Zumindest munkelt man dies. Bis heute habe ich dem nicht so arg viel Ermessen eingeräumt. Ich werde nun die Daten hier analysieren und man schauen, ob es Überraschungen gibt. Eines ist auf jeden Fall sicher: Was Alexa kann, kann die Tante auf jeden Fall (und vielleicht noch besser). Ich werde sicherlich darauf noch zurückkommen. Als letzten sehr interessanten Wert sehe ich noch den „LinksInCount“ an, also die Anzahl Links, die auf die Domain linken. Diesen Wert finde ich extrem wichtig, denn die Tante wird daraus (und vielen, vielen weiteren Werten) die Qualität der Domain bemessen. Ich gehe mal davon aus, dass dieser Wert von Alexa selbst ermittelt wird. Die Erfahrung zeigt, dass eine Ermittelung der Backlinks bei drei verschiedenen Diensten auch drei verschiedene Zahlen offenbart. Dies liegt daran, dass jeder Spider wieder seine eigenen Gesetze hat. Allerdings verlassen sich viele auf den Yahoo Site Explorer. Ich plane beide Werte zu ermitteln. Eine Gegenüberstellung beider Zahlen dürfte sehr interessant sein. Ach ja, falls jemand die Frage hat, warum man sich hier nicht auf google verlässt: Der Suchmaschinengigant geizt mit diesen Informationen. Der Crawler kennt mehr Links auf eine Seite, als er anzeigt. Dies ist Politik des Konzerns. Vielleicht könnte man aus der genauen Liste zu große Rückschlüsse auf den Suchalgo ziehen.

Hier geht es weiter

Anfang verpasst?

Tag 8: Domain-Alter über archive.org hinzugefügt
Der Spider lief über das Wochenende sehr stabil. Knapp 30.000 Domains wurden inzwischen gefunden. Kleinere Anpassungen wurden vorgenommen. Auch der Pinger läuft stabil. Bis heute Nacht. Da haben beide Programme ein „Freez“ erfahren. Warum ist mir noch nicht klar. Ein Neustart der Applikationen hat das Problem erst einmal behoben. Aussitzen ist erst mal die Devise. Vielleicht tritt das Problem ja nicht mehr auf. Doch meistens ist dies nicht der Fall.
Heute wurde der Ping-App ein Zugriff auf archive.org hinzugefügt. Da der Tante bekanntermaßen „alte“ Domains wichtig sind, kann das Datum aus Archive.org wichtig sein. Denn es gibt nirgendwo eine Möglichkeit, das genau „Domainalter“ zu ermitteln. Das Vorhandensein einer Seite bei archive.org ist immerhin ein „Näherungswert“. Diesen Wert prüft der Pinger nun und fügt, sofern vorhanden, der nicht erreichbaren Domain hinzu.
Kleiner Ausflug in die Vorgehensweise von archive.org: Dieser Dienst existiert im Internet schon lange. Es handelt sich bei der „Wayback Machine“ selbst um einen Spider, der Seiten im Internet besucht und den Inhalt der Seiten speichert. Nach deutschem Recht vielleicht gar nicht so legal. Wie auch immer. Findet der Spider beim nächsten Besuch eine geänderte Seite vor, speichert er die Seite erneut. Der Vorteil von archive.org ist, dass alle Stände im Nachhinein ersichtlich sind. So kann sich beispielsweise prüfen lassen, welchen Content eine Seite im Februar 2000 hatte. Wer sich mit der Seite beschäftigt wird feststellen, dass nicht jede Domain und auch nicht jeder Stand dort vorhanden ist. Wann die Seite und nach welchen Kriterien die Inhalte speichert, das ist das Geheimnis dieses Spiders. Der gemeine SEO geht einfach davon aus, dass wenn eine Seite dort gespeichert wurde, also die Seite für das Archiv interessant war oder ist, dann gilt dies auch für die Tante. Nach diesem Gedanken ist eine Domain, die dort seit Jahren auftaucht, also durchaus interessanter, als eine ohne diese Verewigung.
Heute Abend werde ich mich weiter mit den Alexa-Daten beschäftigen. Darüber hoffentlich morgen mehr. Hier zeigt sich auf jeden Fall, dass das setzen auf C# durchaus nicht falsch war. Denn wieder einmal sind Codebeispiele in PHP und C# erhältlich. Nicht, dass man das nicht auf VB6 hätte umschreiben können, doch es erspart enorm viel Zeit, wenn der Zugriff bereits als Code vorliegt.

Tag 9: Alexa Ranking – oder mein Tag mit Alexa
Erst einmal einiges Vorweg zur Alexa: Bei alexa.com handelt es sich um ein Portal, das einige Informationen über eine Domain zur Verfügung stellt. Unter anderem gibt es den „Alexa-Rank“, einen Wert, der Domains miteinander wertet. Je kleiner der Wert, umso besser. Hat eine Domain keinen Wert, ist dies eher schlecht. Wirklich? Nun, Alexa versucht den Traffic einer Webseite zu ermitteln. Und dies hauptsächlich über die eigene Toolbar. Heisst also, ein User muss die Toolbar installiert haben, damit Alexa den Zugriff auf eine Seite messen kann. Ein Zugriff von einem Rechner ohne die Toolbar fließt dann nicht in das Ranking ein. Diese bedeutet, dass das Alexa-Ranking mit Vorsicht zu genießen ist. Ein hohes Ranking kann positiv sein. Wird eine Domain mit hohem Alexa-Ranking beispielsweise verkauft, würde ich mich nie alleine auf diesen Wert stützen. Denn das Ranking ist relativ leicht zu manipulieren. Doch in die Gesamtbewertung einer Domain kann das Ranking durchaus einfließen.

Hier geht es weiter

Anfang verpasst?

Tag 6: Tag des PageRank
Der PageRank ist ein Kriterium, auf den viele SEOs Wert legen. Die Berechnung des Google-Pagerank (PR) kann hier nachgelesen werden.
Ich möchte an dieser Stelle keine Diskussion über die Wertigkeit des PR beginnen. Ob Sinn oder Unsinn, ob früher sinnvoll und heute nicht mehr: All diese Meinungen sind im Netz vertreten. Ich für meinen Teil schaue mir schon den PR einer Seite an. Wenn man dazu die Backlinks einer Seite vergleicht, kann man daraus schon ein wenig über die Seite bzw. die Domain sagen. Von daher sind die Anzahl der Backlinks und der PR ein weiterer Parameter bei der Domainbewertung.
Der PR kann über die Google-Toolbar ermittelt werden. Automatisiert hat mich dies schon ein wenig auf die Probe gestellt, da ich lange keine freien Webservice gefunden habe, der mir den PR liefert. Wenn man die Angaben des PR einer Domain auf vielen Webseiten vergleicht, wird man feststellen, dass dieser durchaus nicht immer gleich ist – obwohl dies so sein müsste, denn den PR einer Seite legt die Tante fest.
Ich stütze mich seit heute auf einen Webservice aus Holland. Die Daten erscheinen mir bisher plausibel. Ich werde sehen, ob ich hier noch nachbessern muss. Vor allem weiß ich noch nicht, wie ich einen „nicht validen PR“ erkennen soll. Ich habe ja noch Zeit …

http://www.database-search.com/sys/pre-check.php
http://www.heise.de/tp/r4/artikel/19/19401/1.html
http://www.hp-profi.info/pagerank/pagerank-spiegeln.php

Bis heute ist noch nicht klar, ob ich die Daten der gelöschten Domains alleine für mich nutzen werde, oder ob ich die Daten öffentlich bereitstelle. Dies wird die Zeit zeigen …

Tag 7: Ping vs. DNS-Server-Abfrage
Meine Idee zu Anfangs, dass ein Ping auf eine Domain erst einmal langt, hat sich in der Praxis als wenig zufriedenstellend herausgestellt. Zu viele Domains waren nicht mehr pingbar, aber noch registriert. Also musste dieser Programmteil auf eine ordentliche DNS-Abfrage umgestellt werde. Gibt ein DNS-Server „nxdomain“ zurück, kann davon ausgegangen werden, dass die Domain nicht registriert ist. Eine solche Abfrage habe ich realisiert und eingebaut. Nun ist die Ergebnismenge der gelöschten Domains wesentlich kleiner – und diese Domains sind bei einer Überprüfung in der Tat frei.
Aktuell plagt mich noch ein Problem. Ich prüfe die Domains über den DNS-Server meines lokalen Internet-Providers. Diese Daten können natürlich schon bis zu 24h alt sein. Es macht sicherlich Sinn, den DNS-Server des TLD-Anbieters abzufragen, denn dieser sollte zuerst wissen, dass eine Domain gelöscht wurde. Also beispielsweise bei de-Domains den DNS-Server der Denic. Prinzipiell kein Problem, sollte man meinen. Aktuell liefert mir jede Anfrage einen Fehler. Hier muss ich noch einmal darüber schlafen. Bekanntlich gibt’s „manchen der Herr im Schlaf“ …

Hier geht es weiter

Anfang verpasst?

DMOZ-Links ebenfalls erhältlich
Etwas überrascht war ich, dass der Inhalt des DMOZ-Webkataloges ebenfalls per Download erhältlich ist. Kleiner Ausflug: Beim dmoz.org-Katalog handelt es sich um einen alten Webkatalog, der ausschließlich manuell gepflegt wird. Eine Aufnahme dort ist aus meiner Erfahrung gar nicht so einfach. Die Qualität der Inhalte wiederum ist auch fragwürdig. Es heißt in SEO-Kreisen, dass sich die Tante und andere Suchmaschinen bei der Bewertung einer Domain durchaus auf die Aufnahme bei dmoz.org stützen. Soll heißen, wenn eine Domain durch die (strenge) Kontrolle der dmoz-Community gekommen ist, sind die Inhalte wichtig oder einzigartig. Dies ist dann ein Pluspunkt, den die Suchmaschinen bei der automatischen Bewertung einer Domain hinzuziehen. In wieweit dies heute noch der Fall ist: Wer weiß. Als kleine Regel kann gelten: Eine Domain bei dmoz.org anmelden ist sicherlich keine Zeitverschwendung. Wenn sie dort nicht aufgenommen wird, ist dies auch kein Beinbruch. Denn auch Domains, die nicht bei dmoz gelistet sind, können bei der Tante auf den vorderen Plätzen stehen. Bei der Auswahl einer gelöschten Domain wiederum ist der Eintrag bei dmoz durchaus ein Qualitätskriterium. Ist der Eintrag nämlich vorhanden, erspare ich mir diesen.
Um wieder auf meinen Spider zurückzukommen: Ich weiss noch nicht, wie ich mit diesen Daten umgehe. Füge ich sie einfach meinen Domains dazu oder lasse ich die Daten in einer separaten Tabelle? Durch letzteres würde ich mir einen eigenen Zugriff auf die Seite ersparen, da ich direkt über meine SQL-Tabelle nun nachschauen kann, ob die Domain im Webverzeichnis gelistet ist. Bedeutet aber auch, dass ich prüfen muss, ob ein Update vorhanden ist, da ich sonst vielleicht veraltete Daten habe. Und so was gerät oftmals in Vergessenheit.

Wiki-Links auch erhältlich
Auch die Links der freien Enzyklopädie Wikipedia sind per Download erhältlich. Die Files sind groß und wenn man daraus die reinen (und einzigartigen) Domains extrahiert, legt sich die Vorfreude. Ein Kriterium zur Domainbewertung kann dies jedoch schon sein. Denn wenn eine Domain bei Wikipedia genannt ist, sollte dies schon Traffic bringen. Die Tante selbst dürfte den Link aus PR-Sicht nicht bewerten, da Wikipedia die Links „nofollow“ stellt. Doch ein Link ist ein Link.

Der Tag heute war durchaus erfolgreich. Drei Listen aus dem Netz gezogen und auch schon hübsch aufbereitet. Zwar noch nicht auf den Datenbankserver eingespielt, da ich noch nicht genau weiß, wie ich mit den Daten umgehe, doch ungenutzt werden die Daten nicht bleiben. Überhaupt ist immer noch nicht klar, was mir diese ganze Arbeit bringen wird. Sicherlich eine Erkenntnis, doch wird sich die Arbeit irgendwann auszahlen? Wir werden sehen.

Hier geht es weiter

Artikel-Anfang verpasst? Zurück zu „Der erste Domain-Spider für mein eigenes Zone-File“

Tag 3: Feinjustierung des Spiders
Der Spider hat noch seine Macken. Er versuchte auch Dateien wie PDFs, ZIP-Files und MP3s zu spidern. Dies ist natürlich unnötig. Also ignoriert der Spider diese Links seit heute. Auch gibt es einige Seiten, die dem Spider ein Zeitproblem verschafft haben. Ein Timer kontrolliert den Spider und bricht nun gegebenenfalls den Zugriff auf eine Seite ab.

Tag 4: Start des ersten Ping
Wir kommen zu der Frage, wie wir erkennen, dass eine Domain gelöscht wurde. Darauf habe ich auch noch nicht die eindeutige Antwort. Denke, dass die Lösung im DNS liegt. Heute weiß ich noch nicht, wie genau ich das prüfen soll. Ich fange einmal mit einer einfachen Ping-Prüfung an. Der Gedanke: Ist eine Domain per Ping nicht mehr erreichbar, ist die Domain schon mal ein Grund für eine weitere Prüfung. Vor allem, wenn die Domain in der Vergangenheit auf Pings reagiert hat. Ich werde sehen, wie weit ich damit komme.
Meine Ping-Application geht nun alle bereits vom Spider besuchten Domains durch und pingt diese an. Ist eine Domain nicht erreichbar, ist dies noch kein Grund zur Freunde. Ich erhöhe den Status der Domain und pinge die Domain später erneut an. Ist diese wieder nicht erreichbar, pinge ich später erneut. Ist sie nach ein paar Versuchen immer noch nicht erreichbar, ist dies ein Grund zur Kontrolle.
Sind mehrere Domains hintereinander nicht erreichbar, ist dies ein Grund, die eigene Internet-Verbindung in Frage zu stellen. In diesem Fall stoppt der Pinger eine Weile und probiert später erneut. Hier will ich erreichen, dass der Pinger plötzlich hunderte vom Domains aufgrund einer fehlerhaften Netzverbindung als gelöscht kennzeichnet. Eine ähnliche Sperre habe ich auch beim Spider eingebaut. Erreicht der Spider mehrere Seiten hintereinander nicht, legt er eine Zwangspause ein.

Tag 5: Und es gibt sie doch: Zone-Files
Mein Spider findet tagein, tagaus weitere Domains. Der Pinger muss noch angepasst werden. Er ermittelt sehr viele nicht erreichbaren Domains. Mehr, als eine manuelle Prüfung erlauben. Hier muss nachgebessert werden. Im Internet habe ich heute einige interessante Links zum Thema „Domainlisten“ gefunden. Auch eine weitere Seite, die gelöschte Domains veröffentlich und die meines Erachtens sehr gut ist. Wäre ich früher auf diese Seite gestoßen, hätte ich mir vielleicht die Arbeit hier nicht gemacht. Aber das „Projekt“ ist gestartet ….
Auf drei interessante Links bin ich gestoßen: Eine Firma verkauft eine Liste mit DE-Domains. Kostet Geld. Nicht viel, aber mein Spider arbeitet so gesehen umsonst. Die Liste ist in Teilen zum freien Download erhältlich. Ich habe sie mir einmal heruntergeladen. Vielleicht bestücke ich meine Datenbank noch mit diesen Domains. Natürlich war sehr interessant, ob in dieser Liste auch meine eigenen Domains enthalten sind. Ein paar habe ich darin gefunden.

Hier geht es weiter

Anfang verpasst? Zurück zu: „Gelöschte Domains: Wie der Spider entstand“

Wie geht man so was an?
Nun, ebenso wenig, wie eine Liste über gelöschte Domains zu erhalten ist, gibt es eine Liste der vergebenen DE-Domains. Eine solche Liste, auch Zone File genannt, ist aber die Basis der Prüfung. Wie also so etwas erhalten? Ein Spider programmieren, der damit beginnt, eine Webseite und deren Links auszulesen. Deren Links folgt der Spider und liest die nächste und nächste und nächste Webseite aus. Aus den gewonnenen Daten füllt sich die Domain-Liste automatisch.
Die ersten Versuche habe ich heute in VB6 gemacht. Diese alte Microsoft-Sprache gilt nicht zu unrecht als veraltet, doch die Ergebnisse sind schlank, da sie kein großes Framework benötigen. Die Programme laufen auch auf kleinen virtuellen Maschinen und der Code ist stabil. Die Nasa soll die Software ihrer Raumschiffe noch immer in C bzw. einem Dialekt davon programmieren. Warum? Es läuft sein vielen, vielen Jahren. Die Programmierer keinen die Tücken, da alles ausgiebig getestet ist. Es wäre ein Fiasko, wenn ein Satellit wegen eines Softwarefehler abstürzen würde. Oder ein BlueScreen bei einem bemannten Raumflug …
Doch nach einigen Tests heute Morgen habe ich mich doch für C# entschieden. Hintergrund war, dass ich mit zwei Komponenten in VB6, die den iNet-Zugriff steuern, oftmals auf „Kriegsfuß“ stehe. Auch bei diesem Projekt war das der Fall, so dass ich relativ schnell auf C# umgestiegen bin. Doch dies wird sich sicherlich rächen, denn spätestens bei der Virtualisierung muss ich die hier gewonnene Zeit wieder in ein Vielfaches davon investieren.

Tag 2: Der erste Domain-Spider für mein eigenes Zone-File
Die erste SQL-Datenbank habe ich bereits gestern erstellt. Erst einmal ganz einfach. Eine Tabelle mit einem ID-Feld, einem Feld „Domain“, ein Feld mit einem Timestamp und einem Status-Feld. Nichts weltbewegendes. Es ist schon jetzt klar, dass hier noch weitere Felder hinzukommen werden. Ich stehe auf Projekte, die nicht von vorne komplett durchdacht sind … <g>
Der Spider nimmt langsam Formen an. Er liest die Startseite einer Seite aus, extrahiert die Links daraus und gleicht sie mit seiner Datenbank ab. Ist die Domain neu, trägt er diese in die Datenbank ein. Ich habe mich entschlossen, auch alle Seiten eines Web, die von der Startseite aus verlinkt sind, zu spidern. Ich verspreche mir hier doch noch den ein oder anderen Link. Spidert mein Programm ein Webkatalog o.ä, wäre natürlich eine tiefere Analyse wünschenswert. Doch für 90 Prozent der Seiten, so meine Hoffnung, ist dies in Ordnung.
Für den Spider habe ich als Startdomain die Seite des Heise-Verlages festgelegt. Unter Computerkennern ein beliebtes Portal. Er hat dort eine Masse an Domains gefunden und spidert eifrig vor sich hin. Inzwischen ist er bereits in die Tiefen des Internets abgetaucht und nähert sich den ersten 1.000 Domains.
Per Definition habe ich festgelegt, dass der Spider nur Domains folgenden soll, die eine Top-Level-Domain (TLD) DE, COM, NET und ORG haben. Mehr habe ich selbst nicht im Fokus. Evtl. werde ich diese Restriktion irgendwann noch anpassen.

Weiter geht es hier

Tag 1: Auf der Suche nach gelöschten Domains
Aus SEO-Sicht sind gelöschte Domains oft sehr wertvoll. Viele Domains, die aufgegeben werden, haben durch ihre Verlinkung noch einiges an Besuchern zu bieten. Wertvolle Backlinks, auf die jeder SEO auf der Suche ist, sind vielleicht so für lau zu haben. So kann eine gelöschte Domain schon einmal einen guten Grundstock für ein zukünftiges Projekt sein. Auch die Suchmaschine mit dem „G“ (nennen wir sie mal „die Tante“ ist ein Grund, warum SEOs sich auf gelöschte Domains stürzen. Denn die Tante mag keine neuen Domains. Zumindest keine neue Domains mit altbekanntem Thema. Es halten sich Gerüchte, dass neue Domains mit nicht brandaktuellem Thema sich erst einmal ein Jahr bewähren müssen, bis die Tante die Inhalte der neuen Seite positiv bewertet. Also ein weiterer Grund, weshalb viele mit „gebrauchten Domains“ liebäugeln.
Soviel vorweg. Auch ich schaue täglich, was es neues auf dem „Markt“ gibt. Wo? Nun, es gibt drei oder vier Seiten, die jede Minute weitere gelöschte Domains auflisten. Doch nach vielen Wochen ist mir der Kragen geplatzt: Warum? Nun, alle Domains, die irgendwie „lukrativ“ waren, sind bereits wieder belegt. Der Grund liegt auf der Hand: Nicht nur ich bin auf der Suche nach diesen Domains. Und der Inhaber eines solchen Spiders schaut natürlich als erstes auf die Liste. Das liegt einfach in der Natur der Sache. Was liegt also näher, als seinen eigenen Spider zu programmieren?

Denn im Gegensatz zu anderen Domains gibt es (meines Wissens) keine Möglichkeit direkt nachzulesen, welche Domains gerade gelöscht wurden. Die Denic, die deutsche Verwaltungsstelle der DE-Domains, hüllt sich darüber in Schweigen. Also, wie kommt man dann an die Information? Durch Ausprobieren! Und darin liegt der Vorteil des eigenen Spiders: Da es keine zentrale Liste der gelöschten Domains gibt, „stolpert“ jeder mehr oder weniger zufällig über eine freigewordene Domain. Mit diesem Wissen macht es durchaus Sinn, mehrere Seiten täglich zu prüfen, die gelöschte Domains veröffentlichen. Und bei diesem Studium wird man feststellen, dass die Seiten nicht den gleichen Inhalt ausspucken. Vereinzelt gibt es Überscheidungen, doch jede nach Datenbank trudeln die Ergebnisse auch unterschiedlich ein. Und somit kann ein eigener Spider ein großer Vorteil sein.
Nachdem die Entscheidung gefallen war, kam die Frage nach der richtigen Sprache und Hardware auf. Ist ein solcher Spider in PHP auf einem Webserver zu realisieren oder ist besser, das Ganze lokal anzuhandeln. Für PHP würde einiges sprechen, doch die Belastung des Servers darf nicht unterschätzt werden. Da im Keller ein großer SQL-Server läuft und noch einige virtuelle Clients auf Arbeit warten, ist die Entscheidung schnell auf einen lokalen Spider gefallen.

Weiter geht es hier