Automatisches Setup #56

schuer · 2017-09-07T12:31:26Z

Lädt benötigte AddOns runter und installiert sie, importiert die Datenbank und die Assets.

Ein paar Anmerkungen:

Damit die Demo installiert werden kann, noch bevor alle benötigten AddOns installiert worden sind, ist es notwendig, die Dependencies auszuschalten. Deshalb wurden die Dependencies in eine separate Config ausgelagert und werden erst bei der Installation der Demo in deren package.yml gemerged.
In der neuen Config befinden sich Angaben zu konkreten Versionen (fileId) der benötigten AddOns. Das deshalb, weil die Prüfung der Versionsbedingungen (matchVersionConstraints) aktuell nur mit bereits vorhandenen AddOns funktioniert, nicht aber mit solchen, die erst noch heruntergeladen werden müssen. Man kann also die vorhandenen Versionen im Installer nicht so einfach aus der Ferne prüfen. Ein weiterer Grund für die Verwendung der fileIds ist, dass die Demo einen kompletten Datenbankstand importiert und damit schnell in Gefahr läuft, mit aktuellen Versionen eines AddOns nicht richtig zu funktionieren. Das hatten wir neulich beim Redactor, der neue Datenbankfelder eingeführt hatte. Ich finde es deshalb robuster — und nebenbei auch viel einfacher —, spezifische Versionen in der Config zu hinterlegen.
In der Config muss außerdem die Installationsreihenfolge der AddOns angegeben werden, um Konflikte zu vermeiden. Diese muss manuell geprüft werden. Macht es wiederum deutlich einfacher und robuster, als wenn wir einen Auto-Konfliktlöser hätten implementieren müssen.

Ich hoffe, es funktioniert alles wie geplant. Wäre prima, wenn ein paar von euch mal draufschauen und testen könnten.

* require system addons only to allow for demo being installed first and execute code. * move additional requires to separate config file which will be merged in later on. * additional config contains specific addon versions (fileIds) for easier package download. * additional config also contains install sequence which has to be tested against dependency conflicts! * finally, additional config contains dbimport and fileimport.

merging is not dead easy and cannot be done with one `array_merge()`. this is why we need some more lines of code to shake content back and forth. may be improved?

selects missing packages, downloads and installs them. imports database dump and files. notes: * we use fileIds to download specific package versions. This is for several reasons: 1. matching the version constraints from config currently works only with packages already available and cannot be used to check external packages. 2. the demo contains database and may cause issues with newer packages implementing new tables (as happened with redactor2 before). * we make use of a specific install sequence to avoid dependency conflicts. this is way easier than implementing some sort of auto-conflict-solver.

alxndr-w · 2017-09-07T18:46:21Z

Gäbe es auch die Möglichkeit, Standard-Addons in einer normalen Installation automatisch herunterzuladen und zu installieren? Ohne Demo?

schuer · 2017-09-07T20:27:17Z

Hey @alexplusde, die Möglichkeit gibt es. Aktuell ist es nur eine kleine Ergänzung für die Demos, aber man könnte es natürlich allgemeiner aufziehen und z. B. ein AddOn draus machen, mit dem man sowas wie AddOn-Presets hinterlegen kann, die dann mit einem Klick runtergeladen werden.

Allerdings halte ich es für sinnvoller, wenn sowas der Installer übernehmen würde, oder wenn er sich zumindest etwas in die Richtung öffnen würde. Aktuell ist die Prüfung der Versionsbedingungen für noch zu installierende AddOns nicht vorhanden, und es gibt keine Auflösung von Konflikten. Käme der Installer zukünftig mit solchen Features, wären AddOn-Presets wie oben beschrieben vermutlich mit wenigen Zeilen Code abgehandelt.

schuer · 2017-09-07T20:33:38Z

Falls übrigens jemand ohne viel Git-Action testen möchte, es gibt ein ZIP zum Download: https://github.com/schuer/demo_base/archive/schuer-pr-2.zip

schuer · 2017-09-08T09:52:03Z

Ich musste Install/Uninstall nochmal erweitern. Es fehlten Prüfungen der Arrays. Nochmal mehr Code, schaut für mein Empfinden ziemlich doof aus, aber ich wüsste aktuell auch keinen eleganteren Weg.

staabm · 2017-09-08T12:33:02Z

soweit ich mich erinnern kann soll es im installer schon möglich werden zu sagen "bitte auch alle abhängigkeiten autom. laden" anstatt diese alle manuell durchgehen zu müssen.. wie weit diese idee schon durchdacht ist weiß ich nicht.

ich würde die lösung hier nur als temporäre speziallösung für die demos akzeptieren woll

was meint @gharlan ..? hängt in meiner meinung nach hauptsächlich daran wie bald/spät es dieses feature nativ im installer geben wird.

schuer · 2017-09-08T12:38:56Z

@staabm Genau, es soll aktuell nur eine Demo-Lösung sein, speziell auf die Struktur zugeschnitten, die Peter mit der Basisdemo angelegt hat, und nach der sich aktuell noch alle FOR-Demos richten. Sobald der Installer das alles drin hat, wird es vermutlich einfacher oder sogar gänzlich unnötig, dass die Demos eigenen Code für das Setup mitbringen.

Aktuell halte ich es für sehr wichtig, das Feature einzubringen, weil die Demos sicherlich erster Ansatzpunkt für REDAXO-Interessierte sind, und weil der manuelle Weg bis zur fertigen Demo-Installation doch recht mühsam ist. Unser FOR-Docker-Paket kann ja eine fertige Demo in einem Klick auswerfen, aber Docker ist nun leider auch wieder nichts für Interessierte mit wenig WebDev-Erfahrung. Deshalb ist es cool, wenn die Demos sich mit einem Klick selbst einrichten können.

schuer · 2017-09-12T11:16:14Z

Merge? Oder sind Anpassungen gewollt?

polarpixel · 2017-09-12T11:27:50Z

Bei mir hat es tadellos geklappt, hat noch jemand getestet?
Sonst tendieren ich zum Mergen.

staabm · 2017-09-12T11:39:16Z

install.php

+$config1 = rex_file::getConfig($this->getPath('package.yml'));
+$config2 = rex_file::getConfig($this->getPath('package.setup.yml'));
+
+$requires1 = $config1['requires'];


Muss man hier warnungen vermeiden wenn es den index packages nicht gibt?

Erledigt, danke! Der Install flow wurde komplett überarbeitet.

staabm · 2017-09-12T11:43:13Z

pages/install.php

+        foreach ($packages as $id => $fileId) {
+
+            $localPackage = rex_package::get($id);
+            if ($localPackage->isSystemPackage()) {


Warum werden syspackages ausgelassen? Kommentar im source bitte

Erledigt, danke!

staabm · 2017-09-12T11:43:55Z

pages/install.php

+                $errors[] = $this->i18n('package_not_available', $id);
+            }
+
+            if ($localPackage->getVersion() !== $installerPackage['version']) {


D.h. Sobald es updates von einem der abh. packages im installer gibt funktioniert das hier nicht mehr?

D.h. Sollte dieser check auch nach semver gültige kompatible versionen ohne error zulassen?

Es wird geprüft, ob die exakt gleiche Version des benötigten AddOns bereits vorhanden ist. Wenn nicht, wird das AddOn im späteren Verlauf runtergeladen und installiert.

Auf Semver wird hier bewusst nicht geprüft aus vielen Gründen, die oben in der Description stehen. Wir arbeiten stattdessen mit explizit definierten AddOn-Versionen, die vorher von uns manuell geprüft werden, dass sie funktionieren.

staabm · 2017-09-12T11:44:52Z

pages/install.php

+                try {
+                    $archivefile = rex_install_webservice::getArchive($installerPackage['path']);
+                } catch (rex_functional_exception $e) {
+                    $errors[] = $this->i18n('package_failed_to_download', $id);


$e mit in die meldung einbauen, oder wenigstens ins syslog schreiben?

In den anderen catch blöcken auch

Erledigt, danke!

staabm · 2017-09-12T11:45:54Z

pages/install.php

+
+                // validate checksum
+                if ($installerPackage['checksum'] != md5_file($archivefile)) {
+                    $errors[] = $this->i18n('package_failed_to_validate', $id);


Explizitere meldung sodass der enduser eher weiß was das problem ist

Ich wüsste ehrlich gesagt nicht, wie man das hilfreich formulieren könnte. Wenn die Validierung fehlschlägt, war das Package kaputt oder korrupt, und dann müsste man verdammt viel erklären ;)

Letztendlich gehe ich davon aus, dass der Fehler niemals fliegen wird.

staabm · 2017-09-12T11:47:34Z

uninstall.php

+/** @var rex_addon $this */
+
+// read configs
+$config1 = rex_file::getConfig($this->getPath('package.yml'));


Statt 1/2 nen besseren bezeichner?

Erledigt, danke! Der Install flow wurde komplett überarbeitet.

staabm · 2017-09-12T11:49:33Z

install.php

@@ -2,7 +2,40 @@



Hier ggf deine tolle PR beschreibung als kommentar in den source damit man den Hintergrund versteht

Erledigt, danke!

schuer · 2017-09-12T14:44:36Z

Danke @staabm für die vielen Hinweise! Setze ich bei Gelegenheit um.

* log exceptions * add comments * add error check before fetching packages

schuer · 2017-09-14T10:18:18Z

Ich habe den Install/Uninstall-Mechanismus nochmal komplett umgebaut und endlich auch vereinfachen können. Danke Markus fürs nochmal Anstupsen, sonst wäre er vermutlich so geblieben!

Beim Install kommen wir nun mit einem schlichten array_replace_recursive aus. Beim Uninstall wird das Gegenteil benötigt, nämlich ein array_diff_recursive, und weil PHP das nicht mitbringt, habe ich eine Helferfunktion dazu gesteckt. Funktioniert prima und macht den Code um ein Vielfaches kleiner und verständlicher.

schuer · 2017-09-14T10:21:16Z

Ich würde die Anpassungen jetzt noch bei den anderen beiden Demos nachziehen und mergen wollen, falls niemand mehr Einsprüche hat.

schuer added 7 commits September 7, 2017 13:46

update install/uninstall process for new configs

68e3cfe

merging is not dead easy and cannot be done with one `array_merge()`. this is why we need some more lines of code to shake content back and forth. may be improved?

remove description page for new install page

ec90ce7

slightly update index page

7d0d5aa

update language files (some pt_br required!)

af9fe75

add anchors to README

bcb5f61

schuer requested review from tbaddade, staabm, polarpixel and gharlan September 7, 2017 12:31

schuer added the feature label Sep 7, 2017

schuer mentioned this pull request Sep 7, 2017

Automatisches Setup FriendsOfREDAXO/demo_community#15

Merged

schuer added 2 commits September 8, 2017 10:22

fix name strings, use value for package name

274e6c6

update install/uninstall process, check for arrays

5b486e2

schuer mentioned this pull request Sep 8, 2017

Automatisches Setup FriendsOfREDAXO/demo_fullpage#3

Merged

staabm reviewed Sep 12, 2017

View reviewed changes

schuer added 3 commits September 14, 2017 12:08

refactor install/uninstall flow

f36baa0

change markup in lang files

f97f110

improve install flow, thx @staabm

333d8ae

* log exceptions * add comments * add error check before fetching packages

schuer merged commit 37aaa08 into FriendsOfREDAXO:master Sep 14, 2017

schuer deleted the schuer-pr-2 branch September 14, 2017 10:45

schuer mentioned this pull request Nov 8, 2017

Abhängigkeiten zu den AddOns fehlen in der package.yml #59

Closed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Automatisches Setup #56

Automatisches Setup #56

schuer commented Sep 7, 2017 •

edited

Loading

alxndr-w commented Sep 7, 2017

schuer commented Sep 7, 2017

schuer commented Sep 7, 2017

schuer commented Sep 8, 2017

staabm commented Sep 8, 2017

schuer commented Sep 8, 2017

schuer commented Sep 12, 2017

polarpixel commented Sep 12, 2017

staabm Sep 12, 2017

schuer Sep 14, 2017

staabm Sep 12, 2017

schuer Sep 14, 2017

staabm Sep 12, 2017

staabm Sep 12, 2017

schuer Sep 14, 2017

staabm Sep 12, 2017

staabm Sep 12, 2017 •

edited

Loading

schuer Sep 14, 2017

staabm Sep 12, 2017

schuer Sep 14, 2017

staabm Sep 12, 2017

schuer Sep 14, 2017

staabm Sep 12, 2017

schuer Sep 14, 2017

schuer commented Sep 12, 2017

schuer commented Sep 14, 2017

schuer commented Sep 14, 2017

Automatisches Setup #56

Automatisches Setup #56

Conversation

schuer commented Sep 7, 2017 • edited Loading

alxndr-w commented Sep 7, 2017

schuer commented Sep 7, 2017

schuer commented Sep 7, 2017

schuer commented Sep 8, 2017

staabm commented Sep 8, 2017

schuer commented Sep 8, 2017

schuer commented Sep 12, 2017

polarpixel commented Sep 12, 2017

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

staabm Sep 12, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

schuer commented Sep 12, 2017

schuer commented Sep 14, 2017

schuer commented Sep 14, 2017

schuer commented Sep 7, 2017 •

edited

Loading

staabm Sep 12, 2017 •

edited

Loading