{"id":420,"date":"2019-06-18T17:20:55","date_gmt":"2019-06-18T15:20:55","guid":{"rendered":"https:\/\/dam-evangelist.blog\/?p=420"},"modified":"2021-04-28T12:15:21","modified_gmt":"2021-04-28T10:15:21","slug":"professionelles-logging-im-dam-umfeld","status":"publish","type":"post","link":"https:\/\/dam-evangelist.blog\/en\/2019\/06\/18\/professionelles-logging-im-dam-umfeld\/","title":{"rendered":"Professionelles Logging im DAM Umfeld"},"content":{"rendered":"

\"Graylog
\nAus aktuellem Anlass habe ich mich vor Kurzem mit dem Thema Logging innerhalb von DAM Systemen auseinandergesetzt. Jedes DAM System schreibt prinzipiell zahlreiche Logfiles. Meist werden f\u00fcr die unterschiedlichen Events, oder Aktionen jeweils eigene Logdateien geschrieben. Diese liegen leider h\u00e4ufig nur als Textdateien im System vor und k\u00f6nnen, wenn \u00fcberhaupt, nur von Systemadministratoren mit dementsprechenden Kenntnissen gelesen und analysiert werden.
\nMir erschien es daher sinnvoll einmal den Versuch zu wagen ein DAM System an einen Logging Server anzubinden.
\nAls Logging Server habe ich mich in diesem Fall f\u00fcr Graylog (https:\/\/www.graylog.org<\/a>) entschieden. Graylog ist ein hoch professioneller, weit verbreiteter Logging Server f\u00fcr den eine Open Source und eine Enterprise Version vorhanden ist. Die Tests habe ich erstmal mit der Open Source L\u00f6sung durchgef\u00fchrt.
\nAls Pendant auf DAM Seite habe ich Cavok (cavok.pro<\/a>) in der Version 4.1.1 von Peak 14 verwendet. Cavok ist ein DAM System, das im mittleren Preissegment angesiedelt ist und das durch sehr gut definierte Schnittstellen punktet. <\/p>\n

Graylog als Open Source Variante ist relativ einfach und schnell installiert. Meine Instanz l\u00e4uft auf CentOS7. Um Graylog zu installieren wird auf dem CentOS nur Java, MongoDB und ElasticSearch ben\u00f6tigt.
\nIst dies erstmal installiert l\u00e4sst sich auch Graylog in der aktuellsten Version einfach installieren. Die Konfiguration von Graylog ben\u00f6tigt hier schon etwas mehr Aufwand und KnowHow.
\nIst die Grundkonfiguration von Graylog abgeschlossen. Geht es nun daran zu planen wie man welche Logfiles an Graylog schicken m\u00f6chte. Graylog bietet zahlreiche Schnittstellen \u00fcber die man logs schicken kann. Als Transportformat nutzt Graylog das propriet\u00e4re GELF Format, das JSON sehr \u00e4hnlich ist. Schnittstellen die Graylog anbietet sind z.B. eine REST API, oder Input \u00fcber UDP.
\nCavok bietet auf der Gegenseite eine sehr gut definierte SOAP Schnittstelle an und diverse Scripting Schnittstellen, \u00fcber die Daten direkt abgegriffen werden k\u00f6nnen. Ich habe mich f\u00fcr eine Anbindung via UDP entschieden, die direkt Daten aus der Cavok logging Funktion an Graylog schickt.
\nWelche Informationen k\u00f6nnen nun relevant sein, damit man sie \u00fcberhaupt an einen Logging Server schicken m\u00f6chte? Hier hat man sowohl bei Cavok, als auch bei Graylog ziemlich freie Auswahl. In Graylog kann man mehrere sogenannte Inputs erstellen, die jeweils einen Event aus Cavok abbilden k\u00f6nnen.
\nZum Beispiel k\u00f6nnte es ein Anwendungsfall sein, dass ich alle \u00c4nderungen, die an Metadaten gemacht wurden loggen und darstellen m\u00f6chte.
\nDie Ansicht im Graylog k\u00f6nnte dann folgenderma\u00dfen sein:
\n\"metadata-change\"
\nDas Histogramm zeigt eine \u00dcbersicht \u00fcber alle Metadaten \u00c4nderungen innerhalb eines gewissen Zeitraums. Im Bereich Messages kann man detailliert einsehen was genau passiert ist.
\nDie jeweilige Nachricht kann man sich auch durch klick auf den Nachrichten Link im Detail ansehen:
\n\"detail\"
\n\u00dcbrigens ein wichtiger Hinweis hierzu: Was in Graylog geloggt werden soll ist reine Konfigurationssache. So k\u00f6nnen die Loggings auch jederzeit DSGVO konform gestaltet werden.<\/p>\n

Aber nat\u00fcrlich ist Graylog nicht nur n\u00fctzlich und notwendig, um eine darstellbare und verl\u00e4ssliche \u00dcbersicht \u00fcber Statistiken des DAM Servers zu gewinnen, sondern nat\u00fcrlich k\u00f6nnen auch Fehlermeldungen explizit geloggt werden. Hier kann Graylog nicht nur ein Logging vollziehen, sondern auch sogenannte Alerts kreieren. Alerts sind Warnungen, die ausgel\u00f6st werden, wenn bestimmte Logging Nachrichten an Graylog \u00fcbermittelt werden.
\nNehmen wir beispielsweise das Szenario an, dass jemand ein Bild (Format z.B. JPEG) auf Cavok hochl\u00e4dt. Dieses Bild ist aber korrupt und daher kann Cavok auch keine Preview generieren.
\nCavok generiert in diesem Fall einer Fehlermeldung, welche an Graylog geschickt wird. Graylog erstellt hierzu einen Alert im System:
\n\"Bildschirmfoto<\/p>\n

Als Benachrichtigung kann entweder von diesem Alert eine Email an verschiedene Empf\u00e4nger geschickt werden, oder ein Aufruf per http Request erfolgen. In meinem Fall habe ich mich f\u00fcr das Schicken einer Email entschieden:
\n\"Bildschirmfoto<\/p>\n

Beide Szenarien sind nur Beispiele was man im Zusammenspiel zwischen Logging Server und DAM System machen kann. Graylog ist als Logging Server Instanz ein m\u00e4chtiges Tool. Sind die Daten einmal dort eingepflegt k\u00f6nnen sie fast nach Belieben strukturiert werden und nat\u00fcrlich auch wieder exportiert werden. Auf der Gegenseite hat sich Cavok als der perfekte Partner f\u00fcr diesen Test erwiesen, da das Zugreifen auf die Logging Funktion dort sehr einfach zu machen ist.Dies ist eine wichtige Voraussetzung, um \u00fcberhaupt die Daten so an Graylog schicken zu k\u00f6nnen, dass Graylog sie verarbeiten kann. Durch das Andocken an diese Schnittstelle im Cavok spart man sich auch das l\u00e4stige Parsen von Logfiles im System.
\nFazit:
\nAus meiner Sicht gibt es absolut Sinn auch Logdaten aus einem DAM System an Graylog oder einen anderen Logging Server zu schicken. Die Logs werden zentral abgelegt, k\u00f6nnen strukturiert werden, k\u00f6nnen in kritischen F\u00e4llen z\u00fcgig \u00fcber Fehler informieren und die geschickten Logging Infos k\u00f6nnen jederzeit weiterverarbeitet werden. Nat\u00fcrlich kann Graylog als zentraler Logging Server auch Logs von anderen Systemen entgegennehmen und verarbeiten.<\/p>\n

Fragen?<\/p>\n

Nehmen Sie Kontakt mit uns auf, wir helfen ihnen gerne weiter:

\n

\u2190 Back<\/a><\/p>

Thank you for your response. \u2728<\/h4>\n\n