FileSystemStorage (iw.fss) & Upload von großen Dateien

[Andreas Gabriel]

Hallo,

ich habe bereits diesen Bug eingereicht, aber leider bis jetzt
keine Antwort erhalten

   http://plone.org/products/filesystemstorage/issues/38

Ich beschreibe ihn hier nochmals. Vielleicht kennt von Euch jemand
die Lösung. Ich habe nämlich, um die ZODB zu entlasten, den Storage von
ATFile auf iw.fss umgestellt. Nun stellt sich auf einmal das Problem ein,
dass der für Plone verfügbare Arbeitsspeicher die Größe der Upload-Datei
limitiert. Man kann den Effekt mittels top unter Linux sehr gut beobachten,
während des Uploads steigt der Speicherbedarf von Plone sprunghaft an und
normalisiert sich sofort nach erfolgreichem Upload. Wenn der Speicher nicht
ausreicht ergibt der Upload natürlich einen MemoryError.

Benutzt man allerdings den nativen AnnotationStorage für ATFile, gibt
es diesen sprunghaften Speicherbedarf gar nicht. Der Speicherbedarf
bleibt während des ganzen Uploads auf dem gleichen niedrigen Level.

Woran liegt das nur?

Ciao
Andreas

--
Dr. Andreas Gabriel, Hochschulrechenzentrum, http://www.uni-marburg.de/hrz
Hans-Meerwein-Str., 35032 Marburg,  fon [phone]  fax [phone]
-------------------- Philipps-Universitaet Marburg -----------------------



_______________________________________________
zope mailing list
[hidden email]
https://mail.dzug.org/mailman/listinfo/zope

[Raphael Ritz]

Andreas Gabriel wrote:

> Hallo,
>
> ich habe bereits diesen Bug eingereicht, aber leider bis jetzt
> keine Antwort erhalten
>
>    http://plone.org/products/filesystemstorage/issues/38
>
> Ich beschreibe ihn hier nochmals. Vielleicht kennt von Euch jemand
> die Lösung. Ich habe nämlich, um die ZODB zu entlasten, den Storage von
> ATFile auf iw.fss umgestellt. Nun stellt sich auf einmal das Problem ein,
> dass der für Plone verfügbare Arbeitsspeicher die Größe der Upload-Datei
> limitiert. Man kann den Effekt mittels top unter Linux sehr gut beobachten,
> während des Uploads steigt der Speicherbedarf von Plone sprunghaft an und
> normalisiert sich sofort nach erfolgreichem Upload. Wenn der Speicher nicht
> ausreicht ergibt der Upload natürlich einen MemoryError.
>
> Benutzt man allerdings den nativen AnnotationStorage für ATFile, gibt
> es diesen sprunghaften Speicherbedarf gar nicht. Der Speicherbedarf
> bleibt während des ganzen Uploads auf dem gleichen niedrigen Level.
>
> Woran liegt das nur?

Rein geraten: der "normale" upload (iw.fss) will erstmal das komplette
File im Speicher haben, während der "Zope upload" die reinkommenden
Daten auf Platte cached? Oder weil's gleich 'pdata' (possibly large
data - a linked list) generiert?

Wie gesagt, keine Ahnung,

        Raphael

>
> Ciao
> Andreas
>
>
>
> ------------------------------------------------------------------------
>
>
>
> _______________________________________________
> zope mailing list
> [hidden email]
> https://mail.dzug.org/mailman/listinfo/zope

_______________________________________________
zope mailing list
[hidden email]
https://mail.dzug.org/mailman/listinfo/zope

[Raphael Ritz]

Martin Stadler wrote:

[..]

>
> Ich glaube mit plone.app.blob gibt es das Problem nicht. Vielleicht
> willst du mal in diese angeblich noch nicht ganz stabile Alternative
> reinschauen.

Das mit der Stabilität sollte Vergangenheit sein.
Schliesslich wird das inzwischen von der ZODB (3.9)
und Plone 4 (alpha any time soon now) nativ unterstuetzt.

Raphael


>
> Martin
>
>
>
> _______________________________________________
> zope mailing list
> [hidden email]
> https://mail.dzug.org/mailman/listinfo/zope



_______________________________________________
zope mailing list
[hidden email]
https://mail.dzug.org/mailman/listinfo/zope

[Andreas Gabriel]

Hi,

komisch bei iw.fss ist nur, dass der MemoryError nicht beim
FileSystemStorage auftaucht
(s. Traceback http://plone.org/products/filesystemstorage/issues/38).
Irgendwie behandelt Archetypes hier den Upload anders als beim
AnnotationStorage.

Raphael Ritz schrieb:
 >> Martin Stadler wrote:
>> Ich glaube mit plone.app.blob gibt es das Problem nicht. Vielleicht
>> willst du mal in diese angeblich noch nicht ganz stabile Alternative
>> reinschauen.
>
> Das mit der Stabilität sollte Vergangenheit sein.
> Schliesslich wird das inzwischen von der ZODB (3.9)
> und Plone 4 (alpha any time soon now) nativ unterstuetzt.

OK, ich schaue mir mal den blob an. Anscheinend kann man sich bei
ZEO den NFS-Share sparen. Hat jemand von Euch plone.app.blob in einem
ZEO-Produktivsystem am Laufen?

Ciao
Andreas


_______________________________________________
zope mailing list
[hidden email]
https://mail.dzug.org/mailman/listinfo/zope