sirmark

“Cloud” ist in aller Munde. Amazon S3 (Amazon Simple Storage Service) ist im Prinzip eine Cloud. Amazon selbst beschreibt diesen Dienst als “Speicher für das Intranet”. Ich kann also schnell und einfach Dateien dort ablegen und von überall zugreifen. Die Daten werden gespiegelt dort abgelegt, die Datenanbindung ist vorbildlich. Soweit so gut. Nichts wirklich spannendes. Clouds gibt es inzwischen wie Sand am Meer und die meisten Nerds können sich bei der Vorstellung eines neuen Cloud-Anbieters das Gähnen nicht verkneifen. Auch Amazons „Ausführungsanforderungen“ lesen sich wie klassisches Bullshit-Bingo: „Sicher“, „Zuverlässig“, „Skalierbar“, „Geschwindigkeit“, „Günstiger Preis“ und Einfachheit“. Und trotzdem möchte ich den Dienst samt Zugriff per C# vorstellen.

Im vorliegenden Projekt hatten wir das Problem, eine große Shopping-Seite zu beschleunigen. Alleine die Bilddateien belegten über 50 GB und wurden rege von den Kunden aufgerufen. Schon recht früh erkannte man, dass die Bilder auf einen separaten Server ausgelagert werden mussten, um den Zugriff auf den eigentlichen Webserver zu entlasten. Doch man erkannte, dass ein Server, der die Bilder hostet, nicht mehr ausreicht. Zu groß war die Last, die nur das Ausliefern der Bilder verursachte. Des Weiteren waren die Bilder nicht gespiegelt. Bei einem Servercrash wären die Bilder zwar nicht unwiederbringlich verloren gewesen, doch der Ausfall hätte einiges an Zeit benötigt. Und ein Shopping-Portal ohne Produkt-Bilder ist ein Portal ohne Umsätze. Also überlegte man, wie der/die zukünftigen Server beschaffen sein mussten, damit der Zugriff auf die Bilder schnell erfolgte und diese gleichzeitig zuverlässig gespeichert wurden.
Um alle Anforderungen zu erfüllen mussten also mindestens zwei Server angeschafft werden. Neben den Hardwarekosten, den laufenden Betriebskosten sind die Server-Administrationskosten nicht zu unterschätzen. Dem gegenüber wurden die Kosten für die Amazon S3 gestellt. Für Neueinsteiger bietet Amazon ein AWS Gratisangebot an, was für erste Tests durchaus akzeptabel ist. Dies genutzt, konnte der Dienst ein paar Wochen gestestet werden. Zugriffe und deren Geschwindigkeit wurden getestet, die (produktiv anfallenden) Kosten der Eigenlösung gegenübergestellt.
Aktuell halte ich die Amazon Webserver-Angebote nicht unbedingt für finanziell Vorteilhaft (einige Spezial-Angebote ausgenommen). Auch kleinere Webseiten sind sicherlich besser damit bedient, Teile ihres Webs auf eine andere virtuelle Maschine bei einem Hosten auszulagern, als die Daten in einer S3 zu speichern, denn bei jedem Zugriff eines Users tickt der Amazon-Zähler. Und da kann schon ein „Sümmchen“ zusammenkommen.
Doch bei dem oben beschriebenen Projekt ergab sich ein Kostenvorteil. Zudem überzeugte die Zugriffszeit der S3. Genutzt wird der Standort EU (Irland).

Weiter: Amazon S3: Zugriff auf S3 per C#

Es interessiert einem brennend: Wie viel Besucher habe ich durch Suchmaschinen erhalten und vor allem, nach was haben die Besucher über die Suchmaschine gesucht? Die Antwort gibt das Server-Logfile, welches detailliert die Besucher protokolliert. Die gängigste Methode ist, das Logfile in einem Texteditor zu öffnen und manuell nach den Zugriffen zu schauen. Dies macht man eine Weile, dann hat man keine Lust mehr. Denn man möchte schnell eine Übersicht über die Suchmaschinen-Besucher und ihre Suchbegriffe.
Dann sucht man im Internet nach Logfile-Parser und wird schnell fündig. Neben online-Webstatistiken wie AWStats oder Freeware für das Offline-Parsen findet man eine ganze Reihe an Parsern; die meisten jedoch viel zu kompliziert oder eben nicht speziell für diesen Zweck zugeschnitten, so dass die Handhabung zu umständlich ist.

Logfile-Parser speziell für das Ermitteln von Suchmaschinen-Benutzer
Irgendwann war ich es leid und habe den Sirmark-Suchmaschinen-Pareser geschrieben, den ich hier zum Download anbiete. Das Programm ist Freeware, Ihr könnt es kostenlos downloaden und benutzen. Einen Support biete ich jedoch NICHT!

DOWNLOAD: Logfile-Parser SLP V1.2

Systemvoraussetzungen für den Suchmaschinen-Parser
Der Parser ist für Windows .NET geschrieben. Er läuft ab Windows XP und benötigt mindestens das .NET-Framewerk 2.0. Er besteht aus einer einfachen EXE, benötigt keine Installation oder Registry-Einträge. Also einfach downloaden und starten.

Benutzung von Sirmarks-Suchmaschinen-Parser

Die Handhabung des Suchmaschinen-Parsers ist sehr einfach. Nach dem Starten der Anwendung klickt man auf den Button „Logfile laden“. Es öffnet sich ein Dialog, über den man das Logfile auswählt. Dies bedeutet, dass das Logfile also auf der lokalen Windows-Maschine oder per Datenfreigabe über Windows erreichbar sein muss. Also gegebenenfalls das Logfile via FTP vom Webserver herunterladen.
Gezippte Logfiles: Der Logfile-Parser entpackt das Logfile NICHT automatisch. Wenn es sich um ein gezipptes Logfile handelt („.gz“), das Logfile vorher beispielsweise mit 7.zip entpacken!

Logfile nach Suchbegriffen analysieren

Wenn ein Logfile ausgewählt wurde, beginnt der Parser sofort mit seiner Arbeit. Er geht das Logfile zeilenweise durch und zeigt die gefundenen Zeilen in der Box „Zeilen“ zur Laufzeit an. Die Anzahl der Zeilen sowie der Fundstellen wird in einem Label angezeigt.
Wenn das Logfile komplett analysiert wurde, werden die Suchstellen aufbereitet. In der unteren Tabelle erscheinen alle Suchstellen aufbereitet nach Datum, Suchmaschine, Search-Key, Ziel-URL und die IP-Adresse des Besuchers.

Tipps für die Nutzung des Suchmaschinen-Parsers
Beide Tabellen sind durch einen horizontalen Slider miteinander verbunden. Wenn man mit der Maus in den Bereich zwischen der Anzeige „Zeilen“ und der Tabelle fährt, ändert sich der Mauszeiger und man kann die Größe der Elemente ändern.
Die Datenzeilen in der aufbereiteten Tabelle sind markierbar und können so per Copy and Paste schnell in eine Textdatei oder Excel kopiert werden. Um beispielsweise die gesamte aufbereitete Tabelle nach Excel zu kopieren, klickt man am einfachsten (1) in der Tabelle an; die gesamte Tabelle wird markiert. Nun wählt man auf der Tatstatur „Strg“ + „c“ für „Copy“, wechselt dann nach Excel oder einem Texteditor und wählt dort einfügen (oder „Strg“+ „p“ („Paste“).

Change-Log
Version 1.1:

1. Suchanfragen werden nun per URL Decode umgeschlüsselt.
2. BUG in Suchanfrage (String-Länge) bereinigt.
3. Bot, Spider und Crawler-Tab hinzugefügt: Ab dieser Version werden auch alle Crawler-Zugriffe aus dem Logfile extrahiert und aufbereitet in einem eigenen Tab aufgelistet. Durch die Möglichkeit, die Tabelle zu sortieren (Klick in den Tabellen-Spaltenkopf), kann schnell eine Übersicht über die Crawler-Tätigkeit einzelner Bots (Googleboot, Bing etc) erhalten werden.

Version 1.2

1. Tool kommt nun mit weiteren verschiedenen Apache-Logfiles zurecht (Logfile Aufbau-Erkennung)
2. Beschleunigung der Verarbeitungsgeschwindigkeit: Durch C#-Optimierung konnte die Abarbeitungsdauer eines Referenz-Logfiles von 1:37 min auf 1:13 min minimiert werden.
3. Ausführungsdauer wird nun im Fenstertitel mit angezeigt
4. Um die Verarbeitungsgeschwindigkeit zu beeinflussen, kann nun der Analysemodus (alles, nur Suchanfragen, nur Bots) beeinflusst werden
5. BUG: Aufgrund der optimierten Abfragegeschwindigkeit kann es vorkommen, dass normale Besuchereinträge fälschlicherweise als Bot erkannt werden.

Installation Alternativer PHP Cache APC Linux Ubuntu Plesk

Die Installation des „Alternativer PHP Cache“ (APC)  ist eigentlich schnell erledigt. Da jedoch nicht jede im Internet verfügbare Lösung oder jedes HowTo zum Ziel führt, möchte ich hier einige Wege aufzeigen. Gerade unter Ubuntu/Plesk kann die Installation zu Problemen führen. Wie diese Probleme umgangen werden, zeige ich hier.

APC bzw. der Alterative PHP Cache ist ein freies PHP Modul, welches eine robuste Möglichkeit bietet, PHP Zwischencode zu cachen und somit die Zugriffszeiten einer dynamischen PHP-Seite massiv zu optimieren. Gerade Google scheint immer mehr darauf zu achten, dass eine Webseite möglichst schnell geladen wird. Das Stichwort hierzu lautet Page Speed.  Da offensichtlich die Ladezeit einer Webseite sich auch auf den Google-Suchindex auswirken, müssen Webmaster inzwischen auch die Ladezeit im Auge behalten. Im Prinzip auch ein richtiger Ansatz. Kaum ein Leser möchte bei jedem Klick mehrere Sekunden auf den Aufbau der folgenden Seite warten. Im Zeitalter von Breitband-Anschlüssen und DSL verliert der Leser bei langen Wartezeiten schnell das Interesse an einer Seite.

Das PHP-Modul APC ist aktuell noch nicht im Basis-Umfang von PHP enthalten. Dies wird wohl – wie man im Internet lesen kann – sich in einer der folgenden Versionen ändern. Wohl aus diesem Grund ist das Interesse an diesem Cache sprunghaft gestiegen, ist es doch ein Garant, dass der Code dieses Caches von den Machern von PHP als valide angesehen wird. Aktuell müssen wir APC noch per Hand nachinstallieren. Prüfen Sie zuerst über eine PHPINFO(), ob das Modul APC auf Ihrem Server installiert ist.

Je nach Linux-Webserver-Installation führen unterschiedliche Wege zur Installation von APC Bytecode Cache. Im einfachsten Fall genügen die folgenden Zeilen:

# sudo aptitude install php-apc
# sudo /etc/init.d/apache2 restart

Leider wird gerade unter Plesk der Versuch wie folgt enden:

root@XXX:/usr/local/src/APC-3.1.8# apt-get install php-apc
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Couldn't find package php-apc

Wenn APC nicht als Paket vorhanden ist, müssen wir es manuell installieren. Zuerst besuchen wir die Seite http://pecl.php.net/package/APC und ermitteln die aktuellste Version sowie den Download-Link der aktuellen TGZ-Version. Hier in diesem Beispiel ist es die Version „APC-3.1.9.tgz”.

cd /usr/local/src
wget http://pecl.php.net/get/APC-3.1.9.tgz
tar xf APC-3.1.9.tgz
cd APC-3.1.9/
phpize

Fehlermöglichkeit PHP: pecl install liefert „ERROR: ‚phpize‘ failed“
Wenn nach der Eingabe von „phpize“ die Fehlermeldung „ERROR: ‚phpize‘ failed“ erscheint, deutet dies darauf hin, das PECL nicht auf dem Server installiert wurde. Holen Sie dies nach:

apt-get install apache2-threaded-dev php5-dev php-pear make

Wenn der Befehl “phpize” keinen Fehler mehr liefert, können Sie wie folgt weitermachen:

./configure
make
make install

Nun ist APC erfolgreich installiert. Damit PHP dieses Modul auch läd und nutzen kann, muss es in der php.ini auch eingefügt werden. Hierzu können Sie folgenden Befehl nutzen:

echo „extension=apc.so“ >>/etc/php.ini

Je nach Installation hat PHP auch einen Ordner mit dynamischen Inhalten. Prüfen Sie, ob der Ordner
/etc/php5/apache2/conf.d
vorhanden ist. Wenn ja, kopieren Sie ein vorhandenes Ini-File und ändern den darin vorhandenen Dateipfad wie folgt ab:
extension=apc.so

Nach dieser Änderung müssen Sie den Apache Webserver neu starten:
/etc/init.d/apache2 restart
Plesk-Nutzer sollten den Neustart des Apache Webserver über die Weboberfläche von Plesk erledigen.

Prüfen Sie über eine PHPINFO(), ob PHP APC erfolgreich läd.

Wenn man beispielsweise eine MySQL-Tabelle von einem Master Server zum Slave übertragen muss und diese Tabelle schon eine stattliche Größe angenommen hat, macht man sich durchaus Gedanken, wie man den Datenübertrag am sinnvollsten bewerkstelligt.

Datenübertrag per WinSCP
Wer sich zwischen der Windows und der Linux-Welt bewegt, kennst sicherlich das Windows-Tool WinSCP. Mit diesem Tool kann von einem Windows-Rechner per grafischer Benutzeroberfläche auf einen Linux-Server zugegriffen werden. Auch der Datenaustausch zwischen beiden Rechnern ist möglich. Wenn allerdings von einem Linux-Recher zum Anderen die Verbindung erfolgen soll, müsste man die Daten zuerst auf Windows-Rechner zwischengespeichert werden, was in den meisten Fällen weniger sinnvoll ist. Positiv anzumerken ist, dass WinSCP auch ein abgebrochener Upload selbstständig wieder aufnimmt.

Datenaustausch mittels SCP (Secure Copy)
Der direkte Weg zur Datenübertragung zwischen zwei Linux-Rechnern sollte per SCP (Secure Copy) erfolgen. Die Übertragung erfolgt verschlüsselt vom Quell- zum Zielserver. Beginnend vom Quellserver gilt folgende Befehlskette:

scp -r orig_directory USERNAME@machine2:destination_directory

Der Parameter “-r” veranlasst SCP das angegebene Directory rekursiv zu übertragen. Wenn man nur eine einzelne Datei übertragen möchte, kann dieser Parameter weggelassen werden.

Nach Absetzen des Befehles nimmt SCP Kontakt zum Zielserver auf. Danach erfolgt die Abfrage des Passwortes (von USERNAME) und der Übertrag beginnt.
NACHTEIL: Leider kann ein abgebrochener Upload mittels SCP nicht wieder aufgenommen werden. Da gemäß Murphys Gesetz der stundenlange Upload meist bei 99 Prozent abbricht, ist dies ein sehr ärgerlicher Nachteil. Wie man den Abbruch eines Uploads umgehen kann, kann im Artikel „Upload mit SCP abgebrochen, was nun?“ nachgelesen werden.

Dateien unter Linux zippen (komprimieren)
Die bekannteste Komprimierungsform unter Windows ist sicherlich ZIP. Auch unter Linux ist ZIP erhältlich, wenn auch nicht in jeder Distribution vorhanden. In den Linux-Paketen ist der Zipper jedoch meist integriert, so dass die Installation schnell und einfach erledigt ist.

Um ein Directory zu zippen, genügt folgender Befehl:

zip -r archive_name.zip directory_to_compress

Um eine Datei zu entpacken, genügt:

unzip archive_name.zip

Dateien packen mittels TAR.GZ
Verbreiteter als der Zipper ist in der Linux-Welt sicherlich tar.gz. Glaubt man einigen Meinungen im Internet (die ich nicht in Frage stelle), erreicht dieser Zipper wesentlich bessere Komprimierungsraten und schon die CPU beim zippen im Gegensatz zum Zipper.
Um ein Verzeichnis zu zippen, wählt man:
tar -zcvf archive_name.tar.gz directory_to_compress

Zum Entpacken im aktuelle Verzeichnis wählt man
tar -zxvf archive_name.tar.gz

Will man seine Daten in einem bestimmten Verzeichnis entpacken, gibt man das Zielverzeichnis explizit an:
tar -zxvf archive_name.tar.gz -C /tmp/extract_here/

Da ich aktuell meine Server-Cluster mit den Replikations-Datenbanken bestücke, schaufel ich gigabyteweise Daten durch das Netz. Die Dateien sind gepackt bzw. gezippt größer als zwei Gigabyte, also ein nennenswerter Brocken, bei einer normalen DSL-Leitung, deren magerer Upstream an alte ISDN-Zeiten erinnert. Umso ärgerlicher, wenn der Upload der Datei abbricht, denn wie es das Schicksal will, bricht der Upload nicht nach wenigen Minuten, sondern kurz vor Schluss, nach Stunden, bei 97, 98 oder 99 Prozent ab. Es ist nicht leicht, hier ruhig vor der Konsole sitzen zu bleiben.

Bisher habe ich das Replikationsverzeichnis gezippt und dann per SCP (LINK) zum Zielserver geschickt. Leider gibt es keine Möglichkeit, einen abgebrochenen Upload per SCP wieder aufzunehmen. Abhilfe schafft der Befehl rsync. Mit diesem Befehl kann man den abgebrochenen Upload einer Datei „reparieren“. Der Syntax des Befehls lautet wie folgt:

rsync -e ssh –partial –progress quelle [benutzer@]zielrechner:zielverzeichnis/

RSync: Daten und Datenverzeichnisse unter Linux synchronisieren
RSync ist eigentlich dafür gedacht, Daten und ganze Datenverzeichnisse über ein Netzwerk zu synchronisieren. RSync prüft hierzu die Unterschiede zwischen dem Quell- und dem Zielrechner und überträgt nur die Änderungen. Dadurch, dass Rsync auch einzelne Dateien in Teilen ersetzen kann, eignet sich das Programm auch zur Wiederaufnahme abgebrochener Transfers.

Was bedeuten die Parameter von rsync?
-e ssh: Diesen Parameter sollte man aus Sicherheitsgründen beim Transfer über das Internet immer verwenden, da so eine Verschlüsselung der übertragenen Daten erreicht wird.

partial: Der Parameter „partial“ verhindert bei einem Abbruch, dass Rsync die bereits übertragenen Daten nicht einfach löscht.

Progress: Dieser Parameter ermöglicht es, den Fortschritt des Downloads zu überwachen. Für eine ausführliche Darstellung der Synchronisation kann der Parameter „-v“ hinzugezogen werden.

-P: Die Parameter Partial und Progress können mit dem Parameter „P“ zusammengefasst werden.

Komprimierung einschalten
Wenn man nicht gerade eine zip-Datei überträgt, bietet sich eine Komprimierung der übertragenen Daten an. Hierfür eignet sich der Parameter „-z“.

Eine detaillierte Beschreibung der Parameter von Rsync kann auf der Ubuntu-Seite nachgelesen werden.

rsync -Pvze ssh /home/benutzer benutzer@example.com:/backups

Trockentest: Übertragung von Daten nur Testen
Da rsync je nach Konfiguration auch Daten löschen kann, ist ein Datenverlust bei falscher Parameterübergabe nicht ausgeschlossen. Hier bietet es sich an, zuerst einen Test („dry run“) durchzuführen um zu schauen, ob die Parameter richtig gesetzt sind. Eine Simulation kann mit dem Parameter „-n“ gestartet werden.

Während CSV-Dateien quasi zum Standard für den Datenaustausch definierter Listen erklärt haben, sind Excel-Tabellen für den Datenaustausch eher das letzte Mittel von Privatanwendern. Zu Recht, denn zu groß ist die Gefahr, dass die verwendete Version von Excel nicht kompatibel mit der Version von Excel ist, die der Anwender nutzt. Und kann ich überhaupt voraussetzen, dass der Empfänger zahlender Kunde von Microsoft ist und Excel nutzt?
Trotz dieser Bedenken stößt man immer wieder, wenn auch selten, auf Excel-Listen, die Firmen zum Datenaustausch bereitstellen. Und da wir alle Freunde von Automationen sind, möchten wir natürlich auch automatisiert auf die Excel-Tabellen zugreifen.

Selbstredend kann C# den Zugriff auf Excel-Tabellen gewähren, schließlich nutzen wir das .NET-Framework und es ist nur eine Frage, wie man dies am schnellsten erledigt. Zuerst binden wir in unserem Visual Studio-Projekt unter VERWEISE/COM die „Microsoft Excel 11.0 Object Library“ (oder eine andere Version) ein. Als Using-Direktive nutzen wir „using Excel = Microsoft.Office.Interop.Excel;“. Schon haben wir das nötige Rüstzeug, um automatisiert auf die Excel-Tabelle zuzugreifen.

Wie wir im folgenden Code stehen können, können wir durch die Interop.Excell.dll relativ schnell Zugriff auf die Tabelle erhalten. Der Zugriff auf die Tabelle erfolgt mittels „xlApp.Workbooks.Open“. Es ist von Vorteil, zuvor das vorhandensein der Excel-Tabelle mittels „if (File.Exists(sFile))“ zu prüfen.
Neben einigen Definitionen wird der Code erst mit der Zeile „xlWorkSheet = (Excel.Worksheet)xlWorkBook.Worksheets.get_Item(1);“ interessant. Wir erhalten hier Zugriff auf das erste Excel-Tabellenblatt. Dann ermitteln wir die Größe/Range der Tabelle und gehen die Zeilen mittels for-Schleife durch. Um eine Zelle in einer bestimmten Spalte auszulesen, nutzen wir einfach „string sZelleSpalte1 = (string)(range.Cells[rCnt, 1] as Excel.Range).Value2;“

 

static private void ReadExcel(string sFile)
{
try
       {
       	Excel.Application xlApp;
        Excel.Workbook xlWorkBook;
        Excel.Worksheet xlWorkSheet;
        Excel.Range range;

        int rCnt = 0;
        xlApp = new Excel.ApplicationClass();
        xlWorkBook = xlApp.Workbooks.Open(sFile, 0, true, 5, "", "", true, Microsoft.Office.Interop.Excel.XlPlatform.xlWindows, "t", false, false, 0, true, 1, 0);
        xlWorkSheet = (Excel.Worksheet)xlWorkBook.Worksheets.get_Item(1);
        range = xlWorkSheet.UsedRange;

        //Gehe das ganze Zabellenblatt durch
        for (rCnt = 1; rCnt <= range.Rows.Count; rCnt++)
        {
            //Hier haben wir Zugriff auf jede Zeile
            if ((range.Cells[rCnt, 1] as Excel.Range).Value2 != null)
            {
                try
                {
                   string sZelleSpalte1 = (string)(range.Cells[rCnt, 1] as Excel.Range).Value2;
                   string sZelleSpalte2 = (string)(range.Cells[rCnt, 2] as Excel.Range).Value2;
                  }
                 catch { }
              }
         }

          xlWorkBook.Close(true, null, null);
          xlApp.Quit();
      }
      catch (Exception ex)
      {
         Console.WriteLine("Fehler in ReadExcel: " + ex.Message);
       }
}