Apache Lucene Index Ordner >2GB

[Markus Glitzner]

Hallo!

Mir ist aufgefallen, dass der Index Ordner „Nuclosconfindex“ mittlerweile 2GB groß ist und einzelne Dateien zwischen 100MB bis 450MB groß sind. Nach dem Datum nach zu urteilen, wurden diese Dateien erstellt, als ich das letzte Nuclos Update eingespielt habe.

Ich frage mich, ob das normal ist und ob derart große Dateien noch performant gelesen werden können. Möglicherweise kommt es daher, weil ich oft große Tabellen immer wieder gellert und befüllt habe.

Kann bzw. soll ich diese Indizes mal löschen?

Gruß
Hugo

Attachments:

• Unbenannt_2013-02-03.JPG

[Frank Pavlic]

Hallo Hugo,
letztendlich kommt es auf deine Datenmenge an. Wieviele Datensätze sind es denn im Gesamten? Wenn ich es richtig verstehe, wird ja Lucene für die Volltextsuche genutzt und damit müssten ja alle Inhalte indiziert werden. Es ist nichts Ungewöhnliches, dass ein Lucene-Index auf > 2GB anwächst, wie gesagt, wenn die entsprechende Masse an Daten in der Datenbank enthalten sind.

Was die Größe der Lucene-Dateien betrifft, ist es Konfiguration von Lucene. Hierfür gibt es Parameter, die dieses Verhalten steuern. Aber das kann ich noch nicht beurteilen, inwiefern nuclos die Konfiguration von Lucene durch Admins zulässt, oder ob die Parameter hart im Programm codiert wurden. Ich habe mich vorerst bei 3.9.4 niedergelassen. Ist für mich momentan das Stabilste aller Versionen und leider fehlt mir momentan aufgrund von Projekten auch die Zeit für Experimente!

Gruß
Frank

[Oliver Brausch]

Hallo zusammen,

Lucene ist mit den Standard-Einstellungen in Nuclos integriert, damit benötigt der Index grundsätzlich ca. 25-30% des Datenvolumens der Datenbank.
Wenn jedoch (wie hier anscheinend der Fall) die Datenbank direkt beschrieben und gelöscht wird, kann der Index darüber hinaus anwachsen. Es gibt momentan noch keinen Mechanismus, der ein solches äußeres Eingreifen berücksichtigt.

Für die Performance bedeutet das keine Probleme, da Lucene leicht mit wesentlich größeren Datenmengen klar kommt. Der Index wird momentan nur für die Live-Suche (Eingabe rechts oben) verwendet.

Man kann das komplette „index“-Verzeichnis jederzeit löschen, dann wird beim nächsten Server-Start der Index automatisch neu gebildet. Man muss dabei beachten, dass bis dahin die Live-Suche nicht mehr funktioniert.

Ich hoffe, diese Information helfen weiter.

[Markus Glitzner]

Danke für die Hinweise!

also aktuell hat die Datenbank 1,5 Mio Datensätze mit 500 MB (+330 MB Index) u. 1.500 Dokumente mit 600 MB (hat zwar nix damit zu tun, aber der vollständigkeit halber). Der Datenbestand wurde fast zur Gänze aus anderen Systemen übernommen und z.T. immer noch abgeglichen (das ist nur dirket über die Datenbank realisierbar).

Im Zuge des Imports wurden wie schon erwähnt viele Tabellen mehrfach gelleert und wieder befüllt. Da standardmäßig ja sämtliche Entitäten in der Livesuche enthalten sind, kann es durchaus sein, dass deswegen der Index so groß geeworden ist.

Ich habe den Index jetzt mal gelöscht und witzigerweise ist er nun noch größer geworden, aber egal solange es die Performance nicht beeinträchtigt, im Gegenteil – die Livesuche ist deutlich schneller geworden und ich bilde mir auch ein das gerade bei Entitäten mit Stausmodell und umfangreichen Layouts das Öffnen etwas zügiger und das Scrollen in der Listenansicht etwas flüssiger geht. Wird sich aber morgen zeigen, wenn wieder mehrere Benutzer drauf zugreifen.

Gruß
Hugo

[Autor]

Beiträge