Zarafa nach Kopano

UCS Mailstack (Handbuch)

Re: Zarafa nach Kopano

Postby hendrix3er » Mon 9. Jan 2017, 18:04

Hallo,

ich habe diverse Möglichkeiten von Zarafa zu Kopano zu upgraden durchprobiert. Keine funktioniert fehlerfrei.
Als erstes habe ich versucht Zarafa zu deinstallieren und Kopano zu installieren.
Die Installation von Kopano schlägt schon fehl. Offenbar gibt es einen Fehler auf dem Zarafa-Server. Die Logs schweigen sich hierzu weitgehend aus.

Danach habe ich versucht den Kopano-Server auf einem anderen System zu installieren. Dies klappt auch parallel zur bestehenden Zarafa-Installation.
Ein Backup des Zarafa-Servers wollte ich mit folgendem Kommado ausführen:
Code: Select all
kopano-backup -s https://ip-des-servers:237/kopano -U Nutername-eines-Admins -P Passwort-des Admins


Nachdem der Kopano den Benutzer kennt wollte ich einen Restore ausführen:
Code: Select all
kopano-backup --restore -u abc abc/


Auch das schlägt mit einem Fehler fehl.

Zuletzt hatte mich mir überlegt einen mysqldump auszuführen:
Code: Select all
mysqldump --single-transaction -u <user> -p <password> zarafa


Hier passt jedoch kein Username und auch kein Kennwort. Die Meldung lautet immer:
Code: Select all
mysqldump: Got error: 1045: Access denied for user 'USERNAME'@'localhost' (using password: YES) when trying to connect


Kann mir hierzu jemand einen Tipp geben?
Vielen Dank im Vorraus!


Mit freundlichen Grüßen
Hendrik Dreyer
hendrix3er
 
Posts: 55
Joined: Wed 1. Oct 2014, 06:37

zarafa-backup vs. kopano-backup

Postby The Preacher » Mon 16. Jan 2017, 13:49

Hallo,

bevor auch ich mich an die Migration per Skript mache, wollte ich sicherstellen, dass auch die bis jetzt einwandfrei funktionierenden DBDumps und Bricklevel Backups wieder funktionieren.
Leider ist die Dokumentation dazu (https://documentation.kopano.io/kopanocore_administrator_manual/backup_restore.html#brick-level-backups) äußerst dürftig.
Das MySQL-Backup sollte ich problemlos wieder hinbekommen, da sich nur der Pfad zur server.cfg verschiebt, aus der ich die Credentials auslesen kann.
Beim Bricklevel Backup fehlt mir die Dokumentation, ich vermute, dass ich nur die Kommandozeile etwas anpassen muss:
Code: Select all
zarafa-backup -a -o /mnt/Backup_Store/ZaraBck/daily -t 2 -v >> /home/remotebackup/daily/status_d.txt 2>&1


Bin ich auf dem richtigen Weg bzw. gibt es dazu auch eine bessere Doku?

VG,
TP
The Preacher
 
Posts: 153
Joined: Thu 5. Sep 2013, 17:32

Re: Zarafa nach Kopano

Postby hendrix3er » Mon 16. Jan 2017, 15:51

Hallo,

ich habe irgendwo gelesen, dass das Bricklevel-Backup (zarafa-backup) von Zarafa zu Kopano nicht kompatibel ist. Ich finde auf die Schnelle die Seite mit jener Information nicht.
Das Format der Ausgabe beim kopano-backup sieht auch ganz anders aus. ich habe allerdings auf dem Zarafa-Server ein zarafa-backup-plus gefunden welches auf den ersten Blick gleich arbeitet.
Sicher bin ich mir hier nicht!

Ich habe mich dazu entschieden meinen Zarafa-Server via SQL-Dump zu sichern und komplett neu als Kopano zu installieren. Noch bin ich hier in der Testphase. Ich bin Zeitlich noch nicht dazu gekommen.
Ich hoffe jedoch diese Woche einen Actionplan entwickeln zu können.

Bei meinen ersten Versuchen konnte ich den frisch aufgesetzten Server nicht unter gleichen Namen in die Domäne fahren. Ich habe keine Möglichkeit gefunden das Computerkonto zurückzusetzen.
Schlussendlich habe ich es einfach gelöscht. Nun funktioniert es. Jetzt muss ich noch Kopano installieren.
Wenn das klappt versuche ich den SQL-Dump zu importieren und werde dann schauen in wie weit die Zuordnung der Mailboxen zu den Benutzer ausgeführt wird bzw. ich diese zuweisen muss.

Danach dürfte das AD erstmal ziemlich zerschraddelt sein denn ich habe den Zarafa vovor nicht sauber entfernt. Da es sich um eine virtuelle Testumgebung mit Snapshots handelt kann ich einfach zum Ausgangpunkt zurückkehren um einen erneuten Anlauf zu nehmen.

Mit freundlichen Grüßen
Hendrik Dreyer
hendrix3er
 
Posts: 55
Joined: Wed 1. Oct 2014, 06:37

Re: Zarafa nach Kopano

Postby tobiaslorentz » Mon 16. Jan 2017, 23:14

Hallo,

ich hab wie von mehreren beschrieben Zarafa deinstalliert, dann Kopano installiert und anschließend das Script laufen gelassen.
Wenn ich dann kopano-admin -l ausführe, dann bekomme ich folgende Meldung:
root@ucs:/usr/share/kopano4ucs# kopano-admin -l
Unable to list users, object not found
Using the -v option (possibly multiple times) may give more hints.

(Die -v Option liefert das Selbe)

Einloggen per WebApp geht nicht. Im LDAP sind die Rollen für Kopano auch nicht gefüllt.

Anbei das Log von der Migration.

Gruß Tobi
Attachments
kopano4ucs-migrate.log.zip
kopano4ucs-migrate.log
(382.04 KiB) Downloaded 6 times
tobiaslorentz
 
Posts: 27
Joined: Sun 6. Sep 2015, 19:02

Re: Zarafa nach Kopano

Postby The Preacher » Tue 17. Jan 2017, 20:03

Hallo,

uiuiui - das ging ja mal heftig schief. Gleich nach dem Upgrade mittels "kopano-admin -l" gecheckt, alles OK. In der server.log eine wiederkehrende ldap-Meldung (3x wiederkehrend pro Tag: "LDAP search error: Can't contact LDAP server. Will unbind, reconnect and retry."), allerdings scheint diese schon immer dagewesen zu sein.

Beim Login-Versuch per Kopano-Webapp dann Folgendes:
Code: Select all
Unknown MAPI Error: MAPI_E_NOT_FOUND


Diagnose:

Code: Select all
root@ucs:/usr/share/kopano4ucs# kopano-admin --list-orphans
Stores without users:
        Store guid                              Guessed username        Last login              Store size      Store type
        ---------------------------------------------------------------------------------------------------------------------------
        someguid111111111111111111111111        User1Admin               <unknown>               0.00 MB         private
        someguid222222222222222222222222        Room1                    <unknown>               0.00 MB         private
        someguid333333333333333333333333        SM_something    <unknown>               0.00 MB         private
        someguid444444444444444444444444        User1normal               2015-04-08 17:43:20     769.20 MB       private
        someguid555555555555555555555555        Car1                  <unknown>               0.00 MB         private
        someguid666666666666666666666666        User2                    <unknown>               0.00 MB         private
        someguid777777777777777777777777        Car2                  <unknown>               0.00 MB         private
        someguid888888888888888888888888        SM_something2    <unknown>               0.00 MB         private

Users without stores:
        Username
        --------------------------------
        Everyone


Ich konnte die Stores alle wieder mit den Usern verknüpfen (dann zeigen sie auch wieder den korrekten letzten Timestamp und die Größe an), allerdings ist die Ausgabe von "kopano-admin --list-orphans" immer noch nicht großartig anders. Die Stores werden zwar verknüpft, da die WebApp dann wieder funktioniert, aber "Users without stores:" sind dann angeblich immer noch "Everyone".

Dann hätten wir nach einem Neustart des kompletten UCS noch:
Code: Select all
ue Jan 17 18:37:06 2017: [error  ] setSyncStatus(): collision
Tue Jan 17 18:38:50 2017: [error  ] Error while connecting to search on "file:///var/run/kopano/search.sock"


Ich habe jetzt Fetchmail schon ziemlich lange angehalten und musste einige Handarbeit investieren, deshalb würde ich den Snapshot ungern wieder zurückspielen.
Es schaut für mich reparierbar aus, wenn mir bitte jemand assistieren könnte...

VG,
TP
The Preacher
 
Posts: 153
Joined: Thu 5. Sep 2013, 17:32

Re: Zarafa nach Kopano

Postby The Preacher » Wed 18. Jan 2017, 01:35

So,
WebApp und Outlook sind wieder OK, die Sonderbarkeiten nehmen aber nicht ab.

Aufgrund von bösen Fehlern in "kopano-backup":
Code: Select all
2017-01-17 23:01:28,264 - backup0 - ERROR - Traceback (most recent call last):
  File "/usr/lib/python2.7/dist-packages/kopano/__init__.py", line 4227, in log_exc
    try: yield
  File "/usr/lib/python2.7/dist-packages/kopano_backup/__init__.py", line 159, in update
    db[item.sourcekey] = zlib.compress(item.dumps(attachments=not self.options.skip_attachments, archiver=False, skip_broken=True))
  File "/usr/lib/python2.7/contextlib.py", line 154, in __exit__
    self.thing.close()
  File "/usr/lib/python2.7/bsddb/__init__.py", line 296, in close
    v = _DeadlockWrap(self.db.close)
  File "/usr/lib/python2.7/bsddb/dbutils.py", line 68, in DeadlockWrap
    return function(*_args, **_kwargs)
DBRunRecoveryError: (-30973, 'DB_RUNRECOVERY: Fatal error, run database recovery -- PANIC: fatal region error detected; run recovery')


Wollte ich die Datenbank mal allgemein checken. Dabei kam ich drauf, dass sowohl "kopano" angelegt wurde als auch "zarafa" weiterhin vorhanden ist:
Code: Select all
root@ucs:/home/backupuser/daily# mysqlcheck --all-databases -v -u debian-sys-maint -p
Enter password:
# Connecting to localhost...
kopano.abchanges                                   OK
kopano.acl                                         OK
kopano.changes                                     OK
kopano.clientupdatestatus                          OK
kopano.deferredupdate                              OK
kopano.hierarchy                                   OK
kopano.indexedproperties                           OK
kopano.lob                                         OK
kopano.mvproperties                                OK
kopano.names                                       OK
kopano.object                                      OK
kopano.objectmvproperty                            OK
kopano.objectproperty                              OK
kopano.objectrelation                              OK
kopano.outgoingqueue                               OK
kopano.properties                                  OK
kopano.receivefolder                               OK
kopano.searchresults                               OK
kopano.settings                                    OK
kopano.singleinstances                             OK
kopano.stores                                      OK
kopano.syncedmessages                              OK
kopano.syncs                                       OK
kopano.tproperties                                 OK
kopano.users                                       OK
kopano.versions                                    OK
mysql.columns_priv                                 OK
mysql.db                                           OK
mysql.event                                        OK
mysql.func                                         OK
mysql.general_log                                  OK
mysql.help_category                                OK
mysql.help_keyword                                 OK
mysql.help_relation                                OK
mysql.help_topic                                   OK
mysql.host                                         OK
mysql.ndb_binlog_index                             OK
mysql.plugin                                       OK
mysql.proc                                         OK
mysql.procs_priv                                   OK
mysql.proxies_priv                                 OK
mysql.servers                                      OK
mysql.slow_log                                     OK
mysql.tables_priv                                  OK
mysql.time_zone                                    OK
mysql.time_zone_leap_second                        OK
mysql.time_zone_name                               OK
mysql.time_zone_transition                         OK
mysql.time_zone_transition_type                    OK
mysql.user                                         OK
zarafa.abchanges                                   OK
zarafa.acl                                         OK
zarafa.changes                                     OK
zarafa.clientupdatestatus                          OK
zarafa.deferredupdate                              OK
zarafa.hierarchy                                   OK
zarafa.indexedproperties                           OK
zarafa.lob                                         OK
zarafa.mvproperties                                OK
zarafa.names                                       OK
zarafa.object                                      OK
zarafa.objectmvproperty                            OK
zarafa.objectproperty                              OK
zarafa.objectrelation                              OK
zarafa.outgoingqueue                               OK
zarafa.properties                                  OK
zarafa.receivefolder                               OK
zarafa.searchresults                               OK
zarafa.settings                                    OK
zarafa.singleinstances                             OK
zarafa.stores                                      OK
zarafa.syncedmessages                              OK
zarafa.syncs                                       OK
zarafa.tproperties                                 OK
zarafa.users                                       OK
zarafa.versions                                    OK
# Disconnecting from localhost...


Die Datenbank ist also augenscheinlich OK, was "kopano-backup" abschmieren lässt, verstehe ich gerade nicht - "zarafa-backup" hat einwandfrei funktioniert.

Nachdem ich sowohl "zarafa" als auch "kopano" gefunden habe, habe ich mal die UCR gecheckt:
Kopano Zarafa DB UCS.png
Kopano Zarafa DB UCS


Aha. Das verstehe wer will. Ich hoffe, dies hat keine Auswirkungen auf den operativen Einsatz - ansonsten müsste ich wohl die Zarafa-Tabellen dumpen, in "kopano" einlesen und die UCR umstellen.

Wie schaut es denn diesbezüglich bei anderen Migrationen aus?
The Preacher
 
Posts: 153
Joined: Thu 5. Sep 2013, 17:32

Re: Zarafa nach Kopano

Postby damrose » Wed 18. Jan 2017, 10:46

Hallo,

das die Zarafa Datenbank weiterverwendet wird ist erstmal korrekt. Die weiteren Probleme habe ich so noch nicht gesehen. Ich habe mal eine Info an Kopano gegeben, das hier nochmal draufgeschaut wird.

Da sich hier jetzt doch einige Fragen angesammelt haben und es langsam unübersichtlich in diesem Thread wird, möchte ich anregen, dass für Probleme bei der Migration jeweils neue Threads erstellt werden.
User avatar
damrose
Univention Entwicklung
 
Posts: 130
Joined: Thu 24. Oct 2013, 13:07

Re: Zarafa nach Kopano

Postby fbartels » Wed 18. Jan 2017, 12:56

tobiaslorentz wrote:Anbei das Log von der Migration.

Da scheint es einen Fehler bei der Übernahme des LDAP gegeben zu haben:

Code: Select all
+ ldapmodify -h ucs.intranet.tobiaslorentz.de -p 7389 -D cn=admin,dc=intranet,dc=tobiaslorentz,dc=de -y /etc/ldap.secret -f /tmp/zarafa2kopano.ldif.step2_attribute_data
ldap_modify: Object class violation (65)
   additional info: attribute 'kopanoAdmin' not allowed


Wie auch schon von Erik vorgeschlagen würde ich empfehlen hierfür ein dediziertes Topic aufzumachen. Dinge die im Vorfeld gecheckt werden sollten:
- Installation auf Univention Master oder Slave?
- Ist das Kopano Schema korrekt installiert?
User avatar
fbartels
 
Posts: 286
Joined: Wed 18. Dec 2013, 17:51
Location: Hannover/Delft

Re: Zarafa nach Kopano

Postby fbartels » Wed 18. Jan 2017, 13:03

@The Preacher

das kopano-admin -l "alles ok" anzeigt und dann Stores verwaist sind wiederspricht sich ein wenig.

The Preacher wrote:Aufgrund von bösen Fehlern in "kopano-backup":
...
Wollte ich die Datenbank mal allgemein checken. Dabei kam ich drauf, dass sowohl "kopano" angelegt wurde als auch "zarafa" weiterhin vorhanden ist.

Das sowohl eine "zarafa" Datenbank als auch eine "kopano" Datenbank vorhanden sind, ist sowohl ok als auch erwartet. Die von dir bereits gefundene UCR Variable sagt Kopano die alte Zarafa Datenbank zu nutzen (was auch nicht das geringste Problem darstellt).

The Preacher wrote:Die Datenbank ist also augenscheinlich OK, was "kopano-backup" abschmieren lässt, verstehe ich gerade nicht - "zarafa-backup" hat einwandfrei funktioniert.

Zum einen sind zarafa-backup, als auch kopano-backup zwei komplett unterschiedliche Programme (kopano-backup war mal das zarafa-backup-plus), auch ist die im Python Traceback angesprochene Datenbank nicht die MySQL Datenbank. Ich würde hier empfehlen die Backupdaten einmal zu löschen und ein neues Backup anzustoßen. Sollte der Fehler dann erneut auftreten bitte den Traceback entweder im Kopano Forum melden oder an unseren Support schicken.
User avatar
fbartels
 
Posts: 286
Joined: Wed 18. Dec 2013, 17:51
Location: Hannover/Delft

Re: Zarafa nach Kopano

Postby The Preacher » Wed 18. Jan 2017, 13:48

fbartels wrote:@The Preacher

das kopano-admin -l "alles ok" anzeigt und dann Stores verwaist sind wiederspricht sich ein wenig.


Ja, allerdings. Außer, ich lese die Angabe "Users without stores: Everyone" falsch. Jedenfalls konnte ich die effektiv verwaisten Stores neu verknüpfen und operativ ist nun alles in Ordnung. Ein paar vermutlich alte, wirklich verwaiste Stores blieben noch zurück, zudem ein vermutlich nach dem Update fehlerhaft neu angelegter leerer Store eines Benutzers - diese habe ich nun gelöscht um nicht zukünftig Verwirrung zu stiften.

fbartels wrote:
The Preacher wrote:Aufgrund von bösen Fehlern in "kopano-backup":
...
Wollte ich die Datenbank mal allgemein checken. Dabei kam ich drauf, dass sowohl "kopano" angelegt wurde als auch "zarafa" weiterhin vorhanden ist.

Das sowohl eine "zarafa" Datenbank als auch eine "kopano" Datenbank vorhanden sind, ist sowohl ok als auch erwartet. Die von dir bereits gefundene UCR Variable sagt Kopano die alte Zarafa Datenbank zu nutzen (was auch nicht das geringste Problem darstellt).


Ok - danke. Ich hatte erwartet, dass hier wie bei Neuinstallationen die "kopano"-Datenbank verwendet wird. Bezüglich der Anleitungen zum SQL-Dump als Backup ist dies etwas verwirrend.

fbartels wrote:
The Preacher wrote:Die Datenbank ist also augenscheinlich OK, was "kopano-backup" abschmieren lässt, verstehe ich gerade nicht - "zarafa-backup" hat einwandfrei funktioniert.

Zum einen sind zarafa-backup, als auch kopano-backup zwei komplett unterschiedliche Programme (kopano-backup war mal das zarafa-backup-plus), auch ist die im Python Traceback angesprochene Datenbank nicht die MySQL Datenbank. Ich würde hier empfehlen die Backupdaten einmal zu löschen und ein neues Backup anzustoßen. Sollte der Fehler dann erneut auftreten bitte den Traceback entweder im Kopano Forum melden oder an unseren Support schicken.


Ein Neuerstellen der Backupdaten hat nichts gebracht, allerdings habe ich herausgefunden, dass sich das Problem nur auf einige Spezialordner bezieht:
- "Conversation Action Settings"
- "Einstellungen fÃŒr QuickSteps"
- "Einstellungen fÃŒr Unterhaltungsaktionen"
- "Newsfeed"
bei nur einem Postfach sowie:
- "Synchronisierungsprobleme/Serverfehler"
bei mehreren.
Diese Ordner lassen sich auch nicht in der Webapp löschen, "Could not move folder".

Ich werde im Kopano-Forum weitermachen!

Vielen Dank einstweilen!

TP
The Preacher
 
Posts: 153
Joined: Thu 5. Sep 2013, 17:32

Re: Zarafa nach Kopano

Postby fbartels » Wed 18. Jan 2017, 14:03

The Preacher wrote:Außer, ich lese die Angabe "Users without stores: Everyone" falsch.


das ist gut möglich. Tatsächlich ist hier der "Everyone" user gemeint, und nicht alle User insgesamt. Dass "everyone" keinen Store hat ist aber durchaus so gedacht.

The Preacher wrote:Ok - danke. Ich hatte erwartet, dass hier wie bei Neuinstallationen die "kopano"-Datenbank verwendet wird. Bezüglich der Anleitungen zum SQL-Dump als Backup ist dies etwas verwirrend.

Welche Anleitung?
User avatar
fbartels
 
Posts: 286
Joined: Wed 18. Dec 2013, 17:51
Location: Hannover/Delft

Re: Zarafa nach Kopano

Postby tobiaslorentz » Wed 18. Jan 2017, 19:11

Hallo,

ich hab jetzt versucht wieder Zarafa zu installieren (vorher Kopano wieder deinstalliert), bekomme dann aber folgende Meldung:
Code: Select all
root@ucs:/home/Administrator# univention-app install zarafa
Going to install Zarafa Collaboration Platform (7.2.4.29)
(must_not_be_end_of_life) This application was discontinued and may not be insta                       lled
                anymore
Unable to install zarafa. Aborting...


Gibt es da irgend eine Möglichkeit das zu umgehen? Ich hab folgendes Repository verwendet: zarafa_20160722094131

Vielen Dank für die Hilfe!

Mit freundlichen Grüßen
Tobias Lorentz
tobiaslorentz
 
Posts: 27
Joined: Sun 6. Sep 2015, 19:02

Re: Zarafa nach Kopano

Postby The Preacher » Wed 18. Jan 2017, 21:12

fbartels wrote:
The Preacher wrote:Außer, ich lese die Angabe "Users without stores: Everyone" falsch.


das ist gut möglich. Tatsächlich ist hier der "Everyone" user gemeint, und nicht alle User insgesamt. Dass "everyone" keinen Store hat ist aber durchaus so gedacht.


Aha, das hat zu meiner Verwirrung beigetragen. Ich kann mich nur daran erinnern, dass ich vor einiger Zeit bei einem major-release UCS Upgrade das Problem hatte, dass viele Benutzer im AD beschädigt waren und ich diese neu anlegen musste. Möglicherweise gab es Reste im LDAP - keine Ahnung. Jedenfalls war der Migrationslog sauber und wies auf keinerlei Probleme hin.
Wie gesagt, das Verknüpfen war problemlos möglich und die Zustellung daraufhin auch zuverlässig.

fbartels wrote:
The Preacher wrote:Ok - danke. Ich hatte erwartet, dass hier wie bei Neuinstallationen die "kopano"-Datenbank verwendet wird. Bezüglich der Anleitungen zum SQL-Dump als Backup ist dies etwas verwirrend.

Welche Anleitung?
[/quote]

Ich hatte vorgestern noch nach einer Anleitung zur Anpassung Ihres Backup-Skripts https://wiki.zarafa.com/index.php/Full_database_backup für Kopano gesucht und bin dabei fündig geworden, inklusive der neuen Parameter "-p --routines", habe jetzt aber die URL im Homeoffice gerade nicht zur Hand. Der Datenbankname war natürlich "kopano", welcher ja durchaus (leer) gedumpt werden könnte. Das könnte u.U. eine böse Überraschung geben, falls die Größe nicht gecheckt wird...

VG,
TP
The Preacher
 
Posts: 153
Joined: Thu 5. Sep 2013, 17:32

Re: Zarafa nach Kopano

Postby fbartels » Wed 18. Jan 2017, 22:42

Hi,
tobiaslorentz wrote:Gibt es da irgend eine Möglichkeit das zu umgehen? Ich hab folgendes Repository verwendet: zarafa_20160722094131


du suchst

Code: Select all
univention-app install zarafa-webapp --skip-checks must_not_be_end_of_life
User avatar
fbartels
 
Posts: 286
Joined: Wed 18. Dec 2013, 17:51
Location: Hannover/Delft

Re: Zarafa nach Kopano

Postby fbartels » Thu 19. Jan 2017, 08:44

The Preacher wrote:dass ich vor einiger Zeit bei einem major-release UCS Upgrade das Problem hatte, dass viele Benutzer im AD beschädigt waren und ich diese neu anlegen musste. Möglicherweise gab es Reste im LDAP - keine Ahnung.

Manchmal dauert es ja etwas länger bis einem einzelne Details auffallen. AD? Wie in die Nutzer sind gar nicht lokal auf dem Univention? Während der Migration werden Zarafa Attribute im LDAP auf Kopano umgeschrieben, wenn das Skript die nicht in deiner eigentlichen Nutzerquelle umschreiben konnte, dann macht es Sinn, dass die Nutzer verwaist sind.
User avatar
fbartels
 
Posts: 286
Joined: Wed 18. Dec 2013, 17:51
Location: Hannover/Delft

PreviousNext

Return to Mail

Who is online

Users browsing this forum: No registered users and 1 guest

cron