Задержка при рендеринге портлетов

[Ярослав Горский]

Добрый день,

Возникла такая ситуация...  нужен совет сообщества.

Есть сервер, довольно не слабый (CPU: C2D 2.6Ггц, ОЗУ:3Гб), и на нем
стоит Plone 3.1.2,
Суть дела: при загрузке страницы, переходах и пр, происходит как-бы
"подвисание" сайта на 5-8 секунд, т.е. шапка грузится, потом ждем
несколько секунд, и появляется все остальное.

Когда я просто "тупо" убрал из main_template колонки с портлетами - то
данный казус исчез (сайт грузится моментально), из этого я сделал
вывод, что задержка происходит при генерации портлетов, и еще, когда
колонки на месте - то при загрузке страницы процесс питона съедает ~
50% процессора, когда их нет - то всего 1-2%.
 в колонках портлеты стандартные, т.е. те что в комплекте.

Посоветуйте, как решить данную проблему.

пс. очень сомневаюсь, что для генерации блоков "навигация", "новости",
"события" нужно затратить 50% процессора и больше 5-ти секунд.
--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Loki[FT]]

У меня та же проблема. Когда сидишь в папке где туча содержимого
задержка была довольно большая. После некоторых эксрериментов понял
что глюк был из-за "навигации". Этот портлет бополнительно шустрит по
папке очевидно с большей глубиной чем мой view (death=1) , ну
покрайней мере когда я его отключил всё быстрее заработало

On Oct 29, 4:04 am, Ярослав Горский <[hidden email]> wrote:

> Добрый день,
>
> Возникла такая ситуация...  нужен совет сообщества.
>
> Есть сервер, довольно не слабый (CPU: C2D 2.6Ггц, ОЗУ:3Гб), и на нем
> стоит Plone 3.1.2,
> Суть дела: при загрузке страницы, переходах и пр, происходит как-бы
> "подвисание" сайта на 5-8 секунд, т.е. шапка грузится, потом ждем
> несколько секунд, и появляется все остальное.
>
> Когда я просто "тупо" убрал из main_template колонки с портлетами - то
> данный казус исчез (сайт грузится моментально), из этого я сделал
> вывод, что задержка происходит при генерации портлетов, и еще, когда
> колонки на месте - то при загрузке страницы процесс питона съедает ~
> 50% процессора, когда их нет - то всего 1-2%.
>  в колонках портлеты стандартные, т.е. те что в комплекте.
>
> Посоветуйте, как решить данную проблему.
>
> пс. очень сомневаюсь, что для генерации блоков "навигация", "новости",
> "события" нужно затратить 50% процессора и больше 5-ти секунд.

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[ichar]

Думаю, здесь та же проблема, что и при обсуждении темы "Оптимизация
ZODB".

Особенность Zope, а именно ZODB, в том, что данный инструмент крайне
тяжело работает с "емким" контентом. Под словом "емкий" я имею в виду
характеристики objectValues() соответствующего объекта-контейнера.
Если ваш код в процессе загрузки формы (страницы) предполагает какие-
либо операции с атрибутом "_objects" и тем более с "телом
контента" (даже опосредованно, например, через ObjectManager, прим:
тут мы предполагаем, что наш контейнер от него наследуется), т.е. с
дочками - экземплярами объектов внутри контейнера, то загрузка данного
контейнера (отработка метода Persistent.__setstate__) будет
предполагать загрузку в кэш соединения всего контента целиком,
конечно, если его там на данный момент еще нет. Соответственно, если
объект большой (емкий), то неизбежно будет задержка. Вторичный рефреш
при этом может выполняться уже быстрей. Точно также обстоит дело и в
фазе _commit.

"Емкий" контент для ZODB - это несколько сотен объектов внутри, очень
емкий контент - 1000 объектов, ну а, если 10000, то тут вам
потребуется достаточно серъезные ресурсы (например, 4 DualCore CPU 3.0
HGz, 16-32GB RAM, хорошая ОС, при этом Windows будет работать хуже
любой Posix).

Рекомендации - не в наращивании оборудования, а в проектировании
приложения, исходя из данных "особенностей" нашего замечательного
инструмента. Несмотря ни на что, Zope все же может быть замечательным
инструментом, правда, не в единственном лице, а комбинации с SQL (или
иными инструментами) и при соответствующих подходах к проектированию.
Увы, Zope - система сложная, я бы сказал, даже очень сложная.

А python, работая под "управлением" Zope, всегда будет съедать CPU и
ОП, и не то что на 50, а на все 100%.
--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Ярослав Горский]

кстати, выяснилась пакостная подробность "подвисания": сей казус
появляется на win-машине, ставлю аналогичную "сборку" на freebsd
(кстати, машина менее сильная) - все более-менее нормально
работает...  чувтствуется, что Билли где-то нашаманил :)

а есть ли средство чтоб подобное поведение Zope подлечить малость?

> А python, работая под "управлением" Zope, всегда будет съедать CPU и
> ОП, и не то что на 50, а на все 100%.
опять же...  на фре аппетит у питона значительно меньше....

весь подвох в том, что согласно "линии партии" я не могу запустить
"проект" на unix-машине...  только win...  :(

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[ichar]

On 11 нояб, 10:12, Ярослав Горский <[hidden email]> wrote:
> кстати, выяснилась пакостная подробность "подвисания": сей казус
> появляется на win-машине, ставлю аналогичную "сборку" на freebsd
> (кстати, машина менее сильная) - все более-менее нормально
> работает...  чувтствуется, что Билли где-то нашаманил :)

так более или менее? Zope под Windows работает, конечно, тяжелее (хотя
бы по причине использования операционной системой графики и
соответствующих ресурсов). Но вот, например, Zope2.8 с Data.fs
размером 3Гб (500 тыс. объектов) на ноутбуке с двумя ядрами DualCore
CPU и ОП 2Гб с задачей справляется достойно + MySQL тут же.

правда в памяти по-прежнему "жирный" питон, и все что можно он при
необходимости будет пытаться "употребить".

Не знаю, что я хочу сказать )). Надо все равно понять детали
(природу) ...

Я как построены ваши данные? Это "елка" или "лес баобабов"? Вы
говорите:

<Суть дела: при загрузке страницы, переходах и пр, происходит как-бы
"подвисание" сайта на 5-8 секунд, т.е. шапка грузится, потом ждем
несколько секунд, и появляется все остальное. >

При загрузке всех страниц/переходов или отдельных? Не могут ли
повлиять здесь объемы и организация данных, используемых при обработке
этих страниц (генерации портлетов)?

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Ярослав Горский]

1. про разницу на вин и фре: на фре работает шустрее.
2. про структуру: все дело то в том, что сайт правтически не забит
ничем... т.е. в корне 5 "папок", в каждой - от двух до пяти
докуентов...  всё (!)  -  именно это то меня и беспокоит, что
практически база пустая...

по поводу подвисания: т.е. шапка, с 5 табсами нормально подгружается,
а когда доходит дело до портлетов навигации, новостей, и событий -
задумывается...  оно как бы не очень страшно, просто "насяльника"
ругается...  :)
п.с. может стоит обновиться до 3.1.6? будет ли результат?


13.11.08, ichar<[hidden email]> написал(а):

> On 11 нояб, 10:12, Ярослав Горский <[hidden email]> wrote:
>> кстати, выяснилась пакостная подробность "подвисания": сей казус
>> появляется на win-машине, ставлю аналогичную "сборку" на freebsd
>> (кстати, машина менее сильная) - все более-менее нормально
>> работает...  чувтствуется, что Билли где-то нашаманил :)
>
> так более или менее? Zope под Windows работает, конечно, тяжелее (хотя
> бы по причине использования операционной системой графики и
> соответствующих ресурсов). Но вот, например, Zope2.8 с Data.fs
> размером 3Гб (500 тыс. объектов) на ноутбуке с двумя ядрами DualCore
> CPU и ОП 2Гб с задачей справляется достойно + MySQL тут же.
>
> правда в памяти по-прежнему "жирный" питон, и все что можно он при
> необходимости будет пытаться "употребить".
>
> Не знаю, что я хочу сказать )). Надо все равно понять детали
> (природу) ...
>
> Я как построены ваши данные? Это "елка" или "лес баобабов"? Вы
> говорите:
>
> <Суть дела: при загрузке страницы, переходах и пр, происходит как-бы
> "подвисание" сайта на 5-8 секунд, т.е. шапка грузится, потом ждем
> несколько секунд, и появляется все остальное. >
>
> При загрузке всех страниц/переходов или отдельных? Не могут ли
> повлиять здесь объемы и организация данных, используемых при обработке
> этих страниц (генерации портлетов)?
>
> >
>

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[ichar]

Тогда точно ничего сказать не могу.

-----Original Message-----
From: [hidden email] [mailto:[hidden email]] On Behalf Of Ярослав Горский
Sent: Thursday, November 13, 2008 1:40 AM
To: [hidden email]
Subject: [ploneru] Re: Задержка при рендеринге портлетов

1. про разницу на вин и фре: на фре работает шустрее.
2. про структуру: все дело то в том, что сайт правтически не забит ничем... т.е. в корне 5 "папок", в каждой - от двух до пяти докуентов...  всё (!)  -  именно это то меня и беспокоит, что практически база пустая...

по поводу подвисания: т.е. шапка, с 5 табсами нормально подгружается, а когда доходит дело до портлетов навигации, новостей, и событий - задумывается...  оно как бы не очень страшно, просто "насяльника"
ругается...  :)
п.с. может стоит обновиться до 3.1.6? будет ли результат?


13.11.08, ichar<[hidden email]> написал(а):

> On 11 нояб, 10:12, Ярослав Горский <[hidden email]> wrote:
>> кстати, выяснилась пакостная подробность "подвисания": сей казус
>> появляется на win-машине, ставлю аналогичную "сборку" на freebsd
>> (кстати, машина менее сильная) - все более-менее нормально
>> работает...  чувтствуется, что Билли где-то нашаманил :)
>
> так более или менее? Zope под Windows работает, конечно, тяжелее (хотя
> бы по причине использования операционной системой графики и
> соответствующих ресурсов). Но вот, например, Zope2.8 с Data.fs
> размером 3Гб (500 тыс. объектов) на ноутбуке с двумя ядрами DualCore
> CPU и ОП 2Гб с задачей справляется достойно + MySQL тут же.
>
> правда в памяти по-прежнему "жирный" питон, и все что можно он при
> необходимости будет пытаться "употребить".
>
> Не знаю, что я хочу сказать )). Надо все равно понять детали
> (природу) ...
>
> Я как построены ваши данные? Это "елка" или "лес баобабов"? Вы
> говорите:
>
> <Суть дела: при загрузке страницы, переходах и пр, происходит как-бы
> "подвисание" сайта на 5-8 секунд, т.е. шапка грузится, потом ждем
> несколько секунд, и появляется все остальное. >
>
> При загрузке всех страниц/переходов или отдельных? Не могут ли
> повлиять здесь объемы и организация данных, используемых при обработке
> этих страниц (генерации портлетов)?
>
> >
>

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Dmitriy Baranov-2]

13 ноября 2008 г. 8:40 пользователь Ярослав Горский
<[hidden email]> написал:
> 1. про разницу на вин и фре: на фре работает шустрее.

Не ставьте на винду плоун из автоматического инсталлятора - ставьте
зоуп, а потом на него накидывайте плон из исходников или яйц - будет
быстрее. Первым это заметила Квинта, скорее всего дело в pyc файлах.

> 2. про структуру: все дело то в том, что сайт правтически не забит
> ничем... т.е. в корне 5 "папок", в каждой - от двух до пяти
> докуентов...  всё (!)  -  именно это то меня и беспокоит, что
> практически база пустая...
>
> по поводу подвисания: т.е. шапка, с 5 табсами нормально подгружается,
> а когда доходит дело до портлетов навигации, новостей, и событий -
> задумывается...  оно как бы не очень страшно, просто "насяльника"
> ругается...  :)
> п.с. может стоит обновиться до 3.1.6? будет ли результат?

Результат будет, когда вы пройдетесь по сайту с профайлером. Поищите в
архивах zopyrus, парочка была живых.

>
>
> 13.11.08, ichar<[hidden email]> написал(а):
>> On 11 нояб, 10:12, Ярослав Горский <[hidden email]> wrote:
>>> кстати, выяснилась пакостная подробность "подвисания": сей казус
>>> появляется на win-машине, ставлю аналогичную "сборку" на freebsd
>>> (кстати, машина менее сильная) - все более-менее нормально
>>> работает...  чувтствуется, что Билли где-то нашаманил :)
>>
>> так более или менее? Zope под Windows работает, конечно, тяжелее (хотя
>> бы по причине использования операционной системой графики и
>> соответствующих ресурсов). Но вот, например, Zope2.8 с Data.fs
>> размером 3Гб (500 тыс. объектов) на ноутбуке с двумя ядрами DualCore
>> CPU и ОП 2Гб с задачей справляется достойно + MySQL тут же.
>>
>> правда в памяти по-прежнему "жирный" питон, и все что можно он при
>> необходимости будет пытаться "употребить".
>>
>> Не знаю, что я хочу сказать )). Надо все равно понять детали
>> (природу) ...
>>
>> Я как построены ваши данные? Это "елка" или "лес баобабов"? Вы
>> говорите:
>>
>> <Суть дела: при загрузке страницы, переходах и пр, происходит как-бы
>> "подвисание" сайта на 5-8 секунд, т.е. шапка грузится, потом ждем
>> несколько секунд, и появляется все остальное. >
>>
>> При загрузке всех страниц/переходов или отдельных? Не могут ли
>> повлиять здесь объемы и организация данных, используемых при обработке
>> этих страниц (генерации портлетов)?
>>
>> >
>>
>
> >
>

--
--
Dmitriy Baranov
(:-) plone-dev

mob.:[phone]
icq: 210-499-829
skype: d9frog9n

CTO of Silver Bullet, the
http://www.sbullet.ru

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Ярослав Горский]

13.11.08, Dmitriy Baranov<[hidden email]> написал(а):
> Не ставьте на винду плоун из автоматического инсталлятора - ставьте
> зоуп, а потом на него накидывайте плон из исходников или яйц - будет
> быстрее. Первым это заметила Квинта, скорее всего дело в pyc файлах.

спасибо, надо проверить

> Результат будет, когда вы пройдетесь по сайту с профайлером. Поищите в
> архивах zopyrus, парочка была живых.

а можно поподробнее, что чтокое "профайлер", для чего "оно" нада, что
"оно" делает? раньше слово такое слышал, но до сих пор не могу понять,
что это за фрукт...

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---