Big Data - Projekte

Ich unterstütze Unternehmen, die technische Infrastruktur für Big Data-Anwendungen aufzubauen und zu betreiben.

Dazu setze ich die viele Tools ein und bilde mich ständig weiter. Auch nehme ich regelmäßig an Schulungen teil, oder biete selber Schulungen und Beratung an. 

Dienstleistungen

Data Science Data Mining Entwickler ProjekteIch berate, installiere und überwache für Sie Lösungen im Bereich Big Data mit Apache-Hadoop. Dazu biete ich mit Herrn Skulschus, der seine Stärken im Entwicklungsbereich von Hadoop hat ein 360 Grad-Angebot an.

  • Administration

    • Installation und Updates von Hadoop
    • Das Hadoop Distributed File System (HDFS)
    • MapReduce und YARN
    • Hive, Pig, HBase, Kafka
    • Verwalten der Clusterknoten
    • Backup and Recovery
    • Monitoring
  • Beratung
    • Serverhardware
    • Knotentopologie
    • Softwareauswahl
    • Architektur und Infrastruktur
    • Dokumentation
  • Seminare
    • Durchführung von Workshops
    • Öffentliche Seminare, Webinare
    • Inhouseseminare

Technik

Data Science Data Mining Entwickler ProjekteIch setze vor Allem Linux in den Distributionen Debian, SUSE und Red Hat ein.

Im Big Data-Bereich setze ich Apache Hadoop ein. die Technologien sind:

  • Apache Hadoop
    • HDFS Security und Encryption
    • DataNode und Kommunikation
    • MapReduce
    • Yarn
    • API's
  • Apache Spark
    • Installation
    • RDDs
    • Spark MLLib
  • Apache Hive
    • Installation and Queries
    • Partitioning
    • Buckets
    • UDFs
    • SerDes
    • Hive in Spark
  • Apache Kafka
    • Konfigurieren von Kafka
    • Betreuung von Kafka
  • HBase
    • Konfigurieren von HBase
    • HBase Tables, Meta Table
    • Writes und reads
    • Crash Recovery



Referenzen

Data Science Data Mining Entwickler ProjekteIn den letzten Jahren habe ich für verschiedenen Branchen und an sehr unterschiedlichen Standorten in Teams Hadoop mit eingerichtet.  (mit)realisiert.



Banken / Versicherungen

  • Big Data für Finanzprodukte (Zürich)
  • Konkurrenzbeobachtungs­system zur Bewertung des Technologievorsprungs bei einem Unternehmen aus dem Bereich der Telekommunikation (Berlin)

Behörden

  • System für Analyse und Prognose für österreichische Arbeitsmarktdaten (Wien)

Industrie

  • Durchführung und Analyse von Mitarbeiter-Befragungen mit umfassendem Reporting für eine Beratungsfirma im Bereich Personal (München)