So sehen die Datenbei mir in Grafana aus.
Eine Anbindung an eine DB wäre echt super!
Optimalerweise sollten die Daten bei jeder Wertänderung in die externe DB geschrieben werden, so hat man die Graphen immer in Echtzeit vorliegen! 
1 „Gefällt mir“
Was ist der Mehrwert für Echtzeit ?
Gegenüber nachts im batch ?
Unter der Annahme dass die homee Diagramme korrekt dargestellt sind.
Würde das nicht den homee überlasten wenn er für 100 Geräte ständig werte absetzen muss ?
Da gibt es viele Gründe!
Du lässt Dir ja auch nicht den Status deiner Haustür einmal pro Tag als Zusammenfassung zu schicken lassen, oder?!
Wenn ich Daten Auswerte/Analysiere/Visualisiere/Etc. möchte ich nicht erst ein Tag warten bis diese zur Verfügung stehen!
Wenn ich die Visualisierung auf anderen Plattformen nutze z.B. Grafana zu Imperihome, möchte ich mir auch nicht 1 Tag alte Daten anschauen, etc…
Selbst der Rechner bei der ersten Apollo Mission hatte nur einen Bruchteil der Rechenleistung eines homee.
Diese werden doch heute schon in die interne Datenbank geschrieben.
Ein ständiges Publishing zu anderen Diensten wird doch bereits praktiziert:
- homee zu HomeKit
- homee zu ImperiHome
- homee zu Node Red
- homee zu homeeToMqtt
- etc.
Für mich war das bisher kein relevantes Feature, aber rein aus Neugier : welches Konkurrenzprodukt unterstützt das?
1 „Gefällt mir“
- HC2 über Lua Skript
- Vera Edge über Lua Skript
- Z-Way Server über App
- Home Assistant
- Openhab
- etc.
Es geht also nicht darum sich von der Konkurrenz abzuheben, sondern mit der Konkurrenz gleichzuziehen!!
1 „Gefällt mir“
Ok
Allerdings (siehe auch parallel - Thread) kann man das ab 2.20 jetzt recht gut und mit geringem Aufwand selber bauen.
Insofern halte ich den Begriff „Unding“ von dir hier für etwas übertrieben
all die anderen drängenden Themen (Zigbee stabil (ohne DSDZ), ständig neue Geräte auf dem Markt, Komplettierung der homeegramme mit ODER und Variablenvergleich, Einbindung bidirektionaler Enocean -Aktoren, Heizplan, …) kann ich hingegen nicht selbst lösen.
Wenn Du mir eine Lösung hast, wie ich 1467 Dateien verteilt auf 761 Ordner ohne großen Aufwand einlesen kann, wäre ich die sehr dankbar! Und es kommen täglich neue dazu!
Ich sage ja nicht, dass es keine andere wichtigere Baustellen gibt!
Wir sprechen hier von einen Feature Vorschlag, der in keinster Weise in Konkurrenz
zu den bekannten Bugs oder lang ersehnten Feature Vorschlägen steht.
Ob und wann und in welchen Umfang etwas umgesetzt wird weiß nur CA (hoffentlich).
1 „Gefällt mir“
Ok wir sind uns einig 
Aber das täglich neue Dateien dazukommen, würde ich fast als Vorteil sehen.
Von der Einfachheit und Konsistenz her gebe ich dir recht: ein großer Schnappschuss ist sicher anfänglich handlicher, und im Idealfall ohne Lücken.
Aber skaliert das ausreichend? Ob ich wirklich über die Monate /Jahre mehrere Millionen Zeilen in einer einzigen Datei akkumulieren möchte, weiß ich noch nicht.
Und da ja die Verlaufsdatenbank gelegentlich korrupt ist und der Verlauf zurückgesetzt werden muss, sollte man sichleider ein inkrementelles Einlesen angewöhnen. 
Und dann ist die neue Ordnerstruktur wohl erst recht besser.
Nebenbei aus dem anderen Thread:
@SirDive nutzt die neue Dateistruktur für Analyetools wie PowerBI
Und auch @xenji mit seinem Azure cloud Import kommt damit klar.
Es gibt kaum eine Frage in der IT, die nicht mit RAM beantwortet werden kann. 1.6MB sind jetzt nicht wirklich viel und die Anzahl der Ordner und Dateien ist dabei nicht sachlich relevant. Was soll mit den Daten passieren? Wenn es nicht zu kompliziert ist, scripte ich dir schnell was.
1 „Gefällt mir“
Hallo @xenji,
Es wäre schon eine Erleichterung, wenn die neuen Tagesverläufe in eine bestehende Tabelle einer Datenbank automatisch geschrieben werden könnten.
Mein Setup:
- Synology DS DS214play
- MariaDB
- phpMyAdmin
Ich habe mir eine DB “homee” angelegt und für jedes Gerät eine oder mehrere Tabellen angelegt, in die ich aktuell täglich über phpMyAdmin die CSV-Dateien händisch in die jeweilige Tabelle importiere.
Für die Verlaufsdaten werden aktuell je Gerät ein Ordner angelegt. Und Unterordner für die jeweiligen Dienste.
Darin sind wiederum die CSV-Dateien die täglich abgelegt werden.
Meine Tabellen in der DB habe ich analog der Dateinamen aus den Export benannt, ohne Datum am Ende.
Wenn Du die Muße hast, was zu skripten, das wäre echt toll!
Schon mal Vielen Dank im Voraus.
Ich hab das 2.20er noch nicht drauf, daher brauch ich bitte eine Beispieldatei von dir. Gern per Mail an mario at xenji Punkt com. Wenn du GPG nutzen magst, findest du meine PubKeys hier: https://keybase.io/xenji
Schick mir bitte folgendes:
- Eine zwei Dateien aus zwei verschiedenen Ordnern unterschiedlichen Datums.
- Den Struktur Export deiner Datenbank (ohne Daten!)
- Eine Programmiersprache, die Du zumindest lesen kannst und die auf dem Synology Hobel verfuegbar ist (PHP, Ruby, Python, Java) oder halt, wenn du ne Shell hast, die Ausgabe von
uname -a, dann kann ich dir ne Golang binary cross-compilen.
@anon11314990 So, https://github.com/xenji/homee_csv_to_mysql/releases
Nimm dir die Linux i386 Version fuer deinen Synology Hobel. Auspacken und einfach mal mit ./homee_csv_to_mysql -h die Hilfe aufrufen.
Habs lokal mal getestet und sieht soweit ganz gut aus. Die double-encoded Umlaute werden aktuell noch in die Tabellennamen uebernommen. Habe ich keine schnelle Loesung fuer parat.
Der Rest funktioniert erstmal wie erwartet. Mit --force-all kannst du einen kompletten Ordner neu einlesen, andernfalls werden nur Dateien mit dem Aenderungsdatum von “heute nach Mitternacht”.
Die Importe sind idempotent, d.h. du koenntest theoretisch immer wieder den ganzen Import durchfuehren und es wuerden keine Daten dupliziert werden. Die Importdauer liegt fuer das von dir gelieferte Sample bei ein paar Millisekunden.
4 „Gefällt mir“
Guten Morgen @xenji,
Du bist ein Tier!! 
Vielen Dank!
Werde es heute Abend ausprobieren!
Gruß aus
Osorkon
1 „Gefällt mir“
Ich hab den Quellcode mal n bissl auf Deutsch Kommentiert, vielleicht hilft es ja.
1 „Gefällt mir“
Hallo @xenji,
ich bin letzt leider kein Linux Freak! 
Ich habe jetzt die Linux_i386 Version runtergeladen und entpackt.
Habe es in das gleiche Verzeichnis agelegt wo auch die Velaufsdaten bzw. das Backup agelegt werden
volume1/homee/
Der Import wird jetzt mit dem befehl: ./homee_csv_to_mysql -i
ausgeführt. Wie übergebe ich jetzt die adresse der DB, User und PW sowie den Pfad zu den Verlaufsdaten? Oder habe ich 
auf den Augen?
Vielen Dank und Gruß
Osorkon
Danke @xenji,
Funktioniert! Mit einem Knopfdruck sind alle Tabellen erstellt und die Daten werden in die DB gepusht!
Versuche das ganze jetzt als tägliche Routine auf der DS einzurichten, dann ist es perfekt!!
Gern, kein Thema. Freut mich wenn es gefällt und Spaß macht.
1 „Gefällt mir“
@anon11314990 Es waere uebrigens total genial, wenn du dein Setup und die Schritte dahin in der homeepedia beschreiben wuerdest. Hier findest du, was ich schon zum Thema Metriken gemacht habe: https://www.homeepedia.de/books/homee-metriken
Editoren Status bekommst du nach Anlegen des Accounts gern von mir.
2 „Gefällt mir“
Wenn das der Preis ist, mache ich es gerne!
Ich beschreibe es am Bsp. Synology DiskStation und MariaDB. Da weiß ich das es funktioniert.
6 „Gefällt mir“
Sieh es nicht als Preis… vielleicht eher als Moeglichkeit, dass andere Menschen genau so viel Spass dabei haben, wie du gerade