Verlaufsdaten in eine Datenbank pumpen und diese dann graphisch darstellen

Wäre grandios, wenn Du es Dir mal ansehen würdest…: Wie eine Lösung aussieht ist am Ende des Tages egal - nur End2End wäre die Anforderung (vom Import bis zum vorkonfigurierten Frontend).

3 „Gefällt mir“

Danke, auch wenn Ich vielleicht nicht alles Verstanden habe. :rofl:

Nen Pi mit einer SD-Karte zu betreiben, habe ich schon lange aufgegeben.
Aber wenn ich dich richtig verstehe, ist das nicht nur die SD Karte.

so sieht es aus :wink:

Auch wenn der ARM64 im Pi3 schon echt ne Verbesserung darstellt, ist es halt immer noch kein “workhorse”. Ich fahre meine Haus IT mit dem Tierchen hier: https://www.hpe.com/de/de/product-catalog/servers/proliant-servers/pip.hpe-proliant-microserver-gen10.1009955118.html

Auch wenn der, zugegebenermassen, overpowered ist, kann der halt alles was ich so an pers. Anspruechen stelle. Ich denke mal mit nem kleinen Intel Atom board oder nem klassischen Intel Pentium micro ATX kommt man da gut zu Rande.

@hblaschka Ich denk mal drueber nach, aber ich muss erst mein Proxy Detection Projekt fertig machen. Danach kann ich mich voll und ganz dem hier widmen :wink:

1 „Gefällt mir“

Sowas wie das hier wuerde wahrscheinlich reichen, auch wenn ich dann pers. ne USB 3.0 SSD dran packen wuerde. https://www.amazon.de/Intel-NUC-BOXNUC6CAYH-Ordenador-CELERON/dp/B01MSZTD8N/ref=sr_1_5?s=ce-de&ie=UTF8&qid=1532811557&sr=1-5&keywords=intel+Atom

Bitte nicht als Kaufempfehlung interpretieren, ist nur ein Beispiel!

1 „Gefällt mir“

Es gibt einen Post zu einem verwandten Thema (Auswertung Und Pfade/Dateinamen) , Ich erlaube mir mal einen Link zu setzen

Vorschlag gibt es bereits…

Das ist kein Featurevorschlag :wink:

End-To-End ist halt schon recht anspruchsvoll. Die Daten lesen und umwandeln in “$X” ist ja der einfache Part. Spannend wird es bei der Anzeige. Ich hatte nicht vor ne Timeseries DB selbst zu bauen und einen Installer fuer Prometheus oder Influx zu wrappen find ich auch irgendwie schaebig. Aussderm faengt man schnell an Grafana nachzubauen, was auch grober Unfug ist.

Den Exporter fuer Prometheus gibt es ja schon, diese Zielgruppe ist somit bedient.

Es macht aussderm wenig Sinn sich mit den Exporten auf dem FTP zu beschaeftigen, wenn man sich alle “X” Sekunden die gleichen Daten ueber die Node API ziehen kann.

Nach reichlicher Ueberlegung sehe ich aktuell keinen Mehrwert fuer ein solches Projekt unter den gegebenen Anforderungen.

Wem soll das “Tool” den welchen Wert aus eurer Sicht bringen?

Ich seh grade aus dem FTP Thread: https://powerbi.microsoft.com/de-de/desktop/
PowerBI gibts kostenlos als Desktop App. Das bestaerkt mich in der Annahme, dass ein selbstgebautes Tool auf Basis der FTP Exporte wenig Sinn ergibt.

1 „Gefällt mir“

Ich kann Deiner Argumentation absolut folgen und sie nachvollziehen.

Der angefachte Mehrwert wäre es gewesen, Interessierten (und eher weniger versierten) Usern eine einfache Möglichkeit an die Hand zu geben die Values aus dem homee langfristig komplett zu speichern/zu archivieren und Ihnen einfache Methoden an die Hand zu geben diese zu visualisieren, ohne dass sie sich mit den von Dir genannten Tools tiefer auseinandersetzen müssen.

Wir haben mit homeean ein Tool geschaffen, mit dem Leute, die vorher noch nie mit Linux gespielt hatten, es schaffen Tools zu benutzen, die zuvor für Sie nicht benutzbar gewesen wären und die wir damit motivieren sich tiefer mit den Themen an der Schnittstelle zwischen homee und Drittsystemen auseinanderzusetzen.

Davon profitieren wir alle als Community langfristig und jeder einzelne kurzfristig.

Aber hey, wie gesagt: Deine Argumentation ist nachvollziehbar. Wenn daraus (oder aus genannten Alternativen wie PowerBI) auch nur ein Howto (Wiki-Artikel, anybody?) entsteht, dann wäre das für alle auch ein Gewinn.

Ich habe seit homeeToMqtt im node-red einen Export aller mqtt Nachrichten mit Sensorwerten nach influxdb welche wieder von grafana angezeigt werden. Laufen tut das alles unter docker auf eine Synology DS1515.

Die homeeApi gibt ja jeden Statuswechsel an homeeToMqtt weiter. homeeToMqtt sendet die Statuswechsel an mqtt. Dahinter kann man dann machen was man will. Somit brauche ich den export nicht, da homeeToMqtt mehrere Sachen auf einmal erledigt.

Hier gibt es gleich ein Grafana Bild:

2 „Gefällt mir“

@hblaschka Ich stimme dir zu, dass wir die Chance haben, Menschen Zugang zu Technik zu geben, die sonst eher als Hexenwerk empfunden wird. Ich denke an dieser Stelle ist die Homee API (auch wenn noch nicht offiziell), die bessere Alternative. Man koennte ueberlegen, ob man einen Influx importer oder einen Prometheus importer fuer die CSV bereitstellt.

Kennt jemanden einen guten hosted oder managed Services fuer Metriken? Mir fallen da ein:

Hosted / Managed

  • AWS CloudWatch (Kosten skalieren mit der Anzahl der Metriken)
  • Google StackDriver (Kosten skalieren mit der Anzahl der Metriken)
  • Azure Metriken (Kosten skalieren mit der Anzahl der Metriken, max 90 Tage Retention)
  • DataDog (freie Version hat nur 24h Retention)
  • https://www.hostedgraphite.com/ (ab 29 USD / Monat, dafuer aber mit 2 Jahre Retention)

Self-Hosted:

  • Prometheus
  • InfluxDB
  • ElasticSearch
1 „Gefällt mir“

Habe mal ein paar Daten in meine MariaDB auf der Synology gepumpt.
Und mit Grafana visualisiert

Wäre echt super, wenn homee die Daten gleich in eine DB speichern könnte.
Jede einzelne Datei täglich in die DB zu importieren, ist ein Unding!

5 „Gefällt mir“

Und was hindert dich daran, ein kleines Script zu schreiben, dass das Verzeichnis regelmäßig ausliest und importiert?
Wenn dein Datenbanktool das nicht sogar schon von Haus aus kann?

Versteh mich bitte nicht falsch, das sind sicher alles nette und sinnvolle Features, aber im Vergleich zu unseren Wünschen an homee insgesamt (Stabilität, Heizung, viel mehr neue Geräte, Pflege der Einbindung der bestehenden Geräte, Zugang zu Logfiles) würde ich die Abwesenheit eines nicht zugesicherten Features nicht ein Unding nennen. Zumal du ja mit etwas Bastelei dein Ziel erreichen kannst.
Siehe auch meine Frage im anderen Thread, welches Konkurrenzprodukt dich hier besser bedient.

1 „Gefällt mir“

Ich sehe da auch keine Notwendigkeit irgendwelche zusaetzliche Software drauf zu werfen. Ein einfaches PHP/Ruby/Python/Bash Script sollte da den Dienst tun.

Ich arbeite gerade an nem Stueck Software, dass den homee via der Websocket API mit dem Azure IoT Hub verbindet. Ich denke da kann man ne Menge rausholen. Einen laufenden Prototypen hab ich schon, muss das allerdings noch mal richtig durchimplementieren.

Wenn du Azure sagst, hätte ich noch “PowerShell” erwartet… :wink:
Aber MS ist ja wohl der größte Linux-Hoster der Welt jetzt…

wrt Websocket API: würdest du das mit AMQP oder MQTT angehen?

Das lasse ich aktuell von der Library aushandeln. Ich schreib den Kram in C# und dotnet core 2, damit hab ich halt den kompletten Luxus der Microsoft eigenen Libs.

3 „Gefällt mir“

Moin moin,
wollte hier mal wieder “zündeln” … :wink:
Ich bin gerade dabei meine Hardware zu entschlacken und habe im Keller gerade einen Raspi, Switch und Kabelmodem durch eine Fritzbox 6490 ersetzt.
Möchte also so viel wie möglich auf der DS laufen lassen, wenn auch ressourcenschonend, da ich nur eine kleine DS116 habe. Also Docker fällt schon mal aus.

Nun meine Idee die Verlaufsdaten auf einer Homepage über Wordpress darzustellen.
Diese Visu-Plugins können die Daten ohne Umweg einer DB aus einer CSV lesen und darstellen.
https://fastwp.de/3-plugins-fur-diagramme-in-wordpress/

Weiss nur noch nicht wie man dort eine Datenbank auslesen und darstellen kann.
Oder kann man automatisch neue CSV-Dateien importieren?

Das sind so meine Überlegungen/Denkanstöße.
Da ich meine DS gerade platt gemacht habe und nicht vermüllen will, werde ich mir vielleicht eine xpenology aus nem alten miniPC basteln.

Oder jemand von Euch kennt sich mit WP gut aus ?
Oder ist das ne blöde Idee? :roll_eyes:

Grüße

1 „Gefällt mir“

Moin,
Also habe noch ein bischen gesucht.
Es gibt viel wp-plugins die xls oder csv importieren. Aber wenige die direkt eine sql auslesen und grafischbdarstellen.
Ein Plugin würde super passen:
https://www.drweb.de/wpdatatables-macht-tabellen-wordpress-einem-kinderspiel/

Eine kostenlose liteversion gibt es, die macht aber keine DB, die Pro kostet 44€.

Aaaaber nun bin ich mal in meine exportieren Verlaufsdaten gegangen und war erschrocken wie wenig bzw viel die Sensoren u. Aktoren preis geben.
Manche geben alle paar Wochen was aus, manche alle paar stunden.
Was bringt mir ein Batteriestatus vom 19.9., wenn die Batterie innerhalb 2-3 Tage zusammenbrechen kann?
Wenn man wenigstens einheitlich 1x Tag den Status von allen Geräten bekommen würde, aber so hat das kaum Sinn. Ich glaube ich leg die Sache auf Eis und warte bis homee mir den virtuellen :facepunch: zeigt. “Huhu deine Batterie war gestern schon tot”

Das das Leben immer so kompliziert sein muss … :thinking:

2 „Gefällt mir“

Ich bleib dabei, Wordpress is keine Antwort, egal wie die Frage lautet. Bitte versteh das nicht als geflame, ich sehe halt hier nicht den Grund ein Blogging System mit CMS Ambitionen als Metrik Zentrale in Betracht zu ziehen. Da kommt mir der Vergleich “mit dem Trecker in der Grossstadt zum Einkaufen fahren” in den Sinn. Kannste schon so machen ^^

Ich bin grad n bissl busy. Wenn ich Zeit finde formuliere ich mal eine sachlich fundiertere Aussage dazu :wink:

3 „Gefällt mir“