Um den Inhalt und die Navigation der Webseite permanent zu optimieren, habe ich als Eigenentwicklung eine Server- und SQL-basierte Log-Statistik als Dashboard implementiert. Sie erlaubt eine detaillierte Analyse der Nutzung unserer Webinhalte.
- Besucher Zugriffe werden verdichtet und erlaubt Aufrisse nach Jahr, Monat, Woche, Wochentag, Land, Region, Stadt und besuchte AstroVis Applikation
- Grafisches Balkendiagramm der Zugriffe pro Monat
- Grafisches Balkendiagramm der Zugriffe pro Country
- Grafisches Tortendiagramm der prozentualen Monatsverteilung
- Besucher Page Calls von gelistetem Unternehmen und Aufriss nach AstroVis APP's
- Durchschnittliche Page Calls pro Besucher
- Bot Report pro Tag, Woche, Gesamt seit letzter Archivierung
Um Angriffe auf meine Datenbanken abzuwehren, habe ich mittlerweile auch ein intelligentes und funktionierendes Firewall-System mit Dashboard entwickelt und implementiert. Es erkennt und blockiert beispielsweise SQL-Injection-Versuche in der URL, verdächtige User-Agents (z.B. curl oder python-requests), Pfad-Traversal-Versuche (../ oder ..\), schädliche Query-Parameter (?id=1' OR '1'='1) oder fehlende bzw. falsche Header (z.B. Host oder Referer). Außerdem will ich keine Crawler in meinen Zugriffsstatistiken sehen, da dies keine Nutzung meiner Webseite darstellt.
Ein Dashboard als BOT Report zeigt mir alle Zugriffe nach Kategorien geordnet, vor allem um abgewehrte Fake- oder kriminelle Angriffe anzuzeigen. Um die Datei nicht übermäßig aufzublähen, werden die Daten pro IP gecached und eine Deduplizierung innerhalb eines definierbaren Zeitintervalls verhindert mehrfaches Logging des gleichen Absenders. Außerdem ist eine automatische und manuelle Log-Rotation-Archivierung mit Anzahl- und MB-Begrenzung eingebaut. Alle schädlichen Bots, also getarnte Crawler über Google oder Alibaba (Fake) oder getarnte User (Bans), werden erkannt und abgewiesen.
Mein eigenes Analytics-System ist besser geeignet als jedes Standard-Tool, denn es ist exakt auf meine Bedürfnisse bezüglich Abwehr und Analyse abgestimmt. Folgende Funktionen zur mehrstufigen Erkennung von Fake Bots sind implementiert:
- IP Black- und Whitelist (UA + Reverse DNS)
- Länderblock für Länder mit vorwiegend Fake Bots
- Fake Crawler Erkennung aus anderen Ländern (Reverse DNS)
- Data Center Erkennung
- Browser Consistency
- Referrer Consistency
- Rate Limiting
- Request Timing
- Honeypot für bestimmte Seiten, die nicht von außen ohne Referrer aufgerufen werden können. Damit werden alle Fake Zugriffe, die das Benutzerverhalten verfälscht hatten, herausgefiltert.
To continuously optimize the content and navigation of the website, I implemented a self-developed, server- and SQL-based log statistics dashboard. It enables a detailed analysis of how our web content is used.
- Visitor hits are consolidated and allow breakdowns by year, month, week, weekday, country, region, city and AstroVis application accessed
- Graphical bar chart of hits per month
- Graphical bar chart of hits per country
- Graphical pie chart of the percentage distribution per month
- Visitor page calls from listed companies and breakdown by AstroVis app
- Average page calls per visitor
- Bot report per day, week and total since last archiving
To defend against attacks on my databases, I have also developed and implemented an intelligent, fully working firewall system with a dashboard. It detects and blocks, for example, SQL injection attempts in the URL, suspicious user agents (e.g. curl or python-requests), path traversal attempts (../ or ..\), malicious query parameters (?id=1' OR '1'='1), or missing/incorrect headers (e.g. Host or Referer). I also do not want crawlers appearing in my access statistics, as they do not represent actual usage of my website.
A dashboard as a BOT Report shows me all hits sorted by category – above all to display blocked fake or criminal attacks. To avoid the file becoming excessively large, the data is cached per IP and deduplication within a configurable time interval prevents repeated logging of the same sender. In addition, automatic and manual log rotation archiving with count and MB limits is built in. All malicious bots – disguised crawlers via Google or Alibaba (fake) or disguised users (bans) – are detected and rejected.
My own analytics system is better suited than any standard tool because it is tailored exactly to my requirements regarding defense and analysis. The following multi-stage fake-bot detection features are implemented:
- IP blacklist and whitelist (UA + reverse DNS)
- Country block for countries with predominantly fake bots
- Fake crawler detection from other countries (reverse DNS)
- Data center detection
- Browser consistency
- Referrer consistency
- Rate limiting
- Request timing
- Honeypot for certain pages that cannot be accessed from outside without a referrer. This filters out all fake hits that had been skewing the user behavior.