Адски тормозит Zope

[Dr.Korbin]

Доброе время суток!

  Имеется хозяйство:

  FreeBSD 5.1
  Python 2.3.4
  Zope 2.7.4-0
  Plone 2.0.5

  Много лет хозяйство работало хорошо. В последнее время всё это
  начинает зверски тормозить. Python жрёт 90% CPU. Ребут не сильно
  помогает, через несколько минут всё возвращается на круги своя.
  Что можете посоветовать окромя апдейта софта? Как узнать, какой
  участок кода съедает столько процессорного времени?

  Спасибо!

--
Best regards,
 Dr.Korbin                          mailto:[hidden email]


--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Mikhail Kashkin-2]

Включи профилирование. Перепакуй базу, попробуй импортиоровать-экспортировать данные.

Утечек не наблюдается? Какая из нитей тормозит? Локи происходят? 

Может быть удалили какой-то продукт с диска, или наоборот поставили. Очень похоже на рекурсию которая заканчивается ошибкой. Вообще профайлер даст нужную информацию.

А к базе данных обращаетесь?

2008/12/5 Dr.Korbin <[hidden email]>

Доброе время суток!

 Имеется хозяйство:

 FreeBSD 5.1
 Python 2.3.4
 Zope 2.7.4-0
 Plone 2.0.5

 Много лет хозяйство работало хорошо. В последнее время всё это
 начинает зверски тормозить. Python жрёт 90% CPU. Ребут не сильно
 помогает, через несколько минут всё возвращается на круги своя.
 Что можете посоветовать окромя апдейта софта? Как узнать, какой
 участок кода съедает столько процессорного времени?

 Спасибо!

--
Best regards,
 Dr.Korbin                          mailto:[hidden email]

--
Mikhail Kashkin

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Dr.Korbin]

MK> Включи профилирование. Перепакуй базу, попробуй
MK> импортиоровать-экспортировать данные.

MK> Утечек не наблюдается? Какая из нитей тормозит? Локи происходят? 


MK> Может быть удалили какой-то продукт с диска, или наоборот
MK> поставили. Очень похоже на рекурсию которая заканчивается ошибкой.
MK> Вообще профайлер даст нужную информацию.


MK> А к базе данных обращаетесь?

К бд обращаюсь. PostgreSQL. Но это неважно, и вот почему:
Базы перепаковывал, не помогло.

Включил профилирование:

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     8049  235.969    0.029  238.789    0.030 UnIndex.py:309(_apply_index)
    98562    4.531    0.000    4.539    0.000 Skinnable.py:52(__getattr__)
    .....

То есть чёртову кучу времени съедает
$SOFTWARE_HOME/Products/PluginIndexes/common/UnIndex.py:_apply_index.

Чего делать дальше?

--
Best regards,
 Dr.Korbin                          mailto:[hidden email]


--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[ichar]

Это есть тот самый ZCatalog. Что делать - выкидывать нафиг. Не будет работать. Кое-что писал на форумах zope2(plone), zope3. мой ник ichar.

Утверждаю у zope очень серьезная болезнь, конкретно BTrees. Все что с ним связано работать не будет.

Выводы делайте сами. Если будет интерес, можно потолковать.

-----Original Message-----
From: [hidden email] [mailto:[hidden email]] On Behalf Of Dr.Korbin
Sent: Saturday, December 27, 2008 1:57 AM
To: Mikhail Kashkin
Subject: [ploneru] Re: Адски тормозит Zope

MK> Включи профилирование. Перепакуй базу, попробуй
MK> импортиоровать-экспортировать данные.

MK> Утечек не наблюдается? Какая из нитей тормозит? Локи происходят?


MK> Может быть удалили какой-то продукт с диска, или наоборот
MK> поставили. Очень похоже на рекурсию которая заканчивается ошибкой.
MK> Вообще профайлер даст нужную информацию.


MK> А к базе данных обращаетесь?

К бд обращаюсь. PostgreSQL. Но это неважно, и вот почему:
Базы перепаковывал, не помогло.

Включил профилирование:

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     8049  235.969    0.029  238.789    0.030 UnIndex.py:309(_apply_index)
    98562    4.531    0.000    4.539    0.000 Skinnable.py:52(__getattr__)
    .....

То есть чёртову кучу времени съедает
$SOFTWARE_HOME/Products/PluginIndexes/common/UnIndex.py:_apply_index.

Чего делать дальше?

--
Best regards,
 Dr.Korbin                          mailto:[hidden email]




--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[ichar]

Тут вот основные идеи как вырулить когда zope работает медленно:
http://groups.google.com/group/zope3-ru/browse_thread/thread/76c25b07c9d3c73e 

Каталог нужно менять а с ним уйдут и всякие _apply_index -ы.

-----Original Message-----
From: [hidden email] [mailto:[hidden email]] On Behalf Of Dr.Korbin
Sent: Saturday, December 27, 2008 1:57 AM
To: Mikhail Kashkin
Subject: [ploneru] Re: Адски тормозит Zope

MK> Включи профилирование. Перепакуй базу, попробуй
MK> импортиоровать-экспортировать данные.

MK> Утечек не наблюдается? Какая из нитей тормозит? Локи происходят?


MK> Может быть удалили какой-то продукт с диска, или наоборот
MK> поставили. Очень похоже на рекурсию которая заканчивается ошибкой.
MK> Вообще профайлер даст нужную информацию.


MK> А к базе данных обращаетесь?

К бд обращаюсь. PostgreSQL. Но это неважно, и вот почему:
Базы перепаковывал, не помогло.

Включил профилирование:

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     8049  235.969    0.029  238.789    0.030 UnIndex.py:309(_apply_index)
    98562    4.531    0.000    4.539    0.000 Skinnable.py:52(__getattr__)
    .....

То есть чёртову кучу времени съедает
$SOFTWARE_HOME/Products/PluginIndexes/common/UnIndex.py:_apply_index.

Чего делать дальше?

--
Best regards,
 Dr.Korbin                          mailto:[hidden email]




--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Dr.Korbin]

ХИЕ> Это есть тот самый ZCatalog. Что делать - выкидывать нафиг.
ХИЕ> Не будет работать. Кое-что писал на форумах zope2(plone), zope3.
ХИЕ> мой ник ichar.

Просто взять и удалить? И всё будет работать?
Как я понял, надо просто поставить ZSQLCatalog.
Сейчас буду экспериментировать %)

--
Best regards,
 Dr.Korbin                          mailto:[hidden email]


--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[ichar]

Хм. Я только хотел сказать что принципиально решить эту задачу можно таким путем.

Да, нужен sql-каталог, но готового, т.е. доступного, лично я не видел.

Проблема в конфликтах, понимаете? И плохо все то, что эти конфликты порождает. Ктати, хорошо было бы проверить, а как у вас?  Вы можете это проверить. Нужно log-файлы посмотреть.

Думаю, прежде чем что-либо менять, хорошо бы убедиться что все это на самом деле нужно и что результат будет.


-----Original Message-----
From: [hidden email] [mailto:[hidden email]] On Behalf Of Dr.Korbin
Sent: Saturday, December 27, 2008 8:15 PM
To: Харламов Игорь Евгеньевич
Subject: [ploneru] Re: Адски тормозит Zope

ХИЕ> Это есть тот самый ZCatalog. Что делать - выкидывать нафиг.
ХИЕ> Не будет работать. Кое-что писал на форумах zope2(plone), zope3.
ХИЕ> мой ник ichar.

Просто взять и удалить? И всё будет работать?
Как я понял, надо просто поставить ZSQLCatalog.
Сейчас буду экспериментировать %)

--
Best regards,
 Dr.Korbin                          mailto:[hidden email]




--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Игорь =?windows-1251?Q?=D4=E8=EB=EE=ED=E5=ED=EA=EE?=]

заёб уже письмами. звали ебло

______________________________
Я користуюсь поштою на Метi http://webmail.meta.ua


--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[ichar]

On 27 дек, 22:30, Лошарик Гавнище  <[hidden email]> wrote:
> заёб уже письмами. звали ебло
>
> ______________________________
> Я користуюсь поштою на Метihttp://webmail.meta.ua

а это еще что за деятель? користуешься? ну користуйся... Но имей
совесть, и разговаривай по-человечески.

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Игорь =?windows-1251?Q?=D4=E8=EB=EE=ED=E5=ED=EA=EE?=]

ты кто такой блять? швейцар нахуй! дверь закрой

______________________________
Моя пошта живе на Метi http://webmail.meta.ua


--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[ichar]

да, ты точно гавнище!

On 27 дек, 22:44, Гавнище Лошарик  <[hidden email]> wrote:
> ты кто такой блять? швейцар нахуй! дверь закрой
>
> ______________________________
> Моя пошта живе на Метihttp://webmail.meta.ua
--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Игорь =?windows-1251?Q?=D4=E8=EB=EE=ED=E5=ED=EA=EE?=]

та в жопу я тебя ебал.

______________________________
Надiслано http://webmail.meta.ua/


--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Ярослав Горский]

модератор в рассылке есть?

28 декабря 2008 г. 5:49 пользователь Лошарик Гавнище <[hidden email]> написал:

та в жопу я тебя ебал.

______________________________
Надiслано http://webmail.meta.ua/

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Mikhail Kashkin-2]

Мне кажется [hidden email] кто-то взломал, судя по значению поля From. Адрес забанен, тем более обидно, что это был адрес менеджера группы.

2008/12/27 Лошарик Гавнище <[hidden email]>

та в жопу я тебя ебал.

______________________________
Надiслано http://webmail.meta.ua/

--
Mikhail Kashkin

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Mikhail Kashkin-2]

Есть, но адрес был в доверенных. Игорю предлагаю успокоиться и публично извиниться, все таки вестись на такую провокацию, тем более терять лицо перед другими участниками группы непрофессионально.

Онлайн архив постараюсь исправить.  

2008/12/28 Ярослав Горский <[hidden email]>

модератор в рассылке есть?

28 декабря 2008 г. 5:49 пользователь Лошарик Гавнище <[hidden email]> написал:

та в жопу я тебя ебал.

______________________________
Надiслано http://webmail.meta.ua/

--
Mikhail Kashkin

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[ichar-2]

Some javascript/style in this post has been disabled (why?)

Добрый день, коллеги!

Не очень четко понял, может и была в моих словах какая-либо подоплека. Кто знает, на самом деле людям не нравится когда только декларируют, но ничего не предлагают дельного. Честно говоря, мне и предложить толком нечего. Все что я делал  и сделал не пригодно для тиражирования.

 

Но что-то сделать все же можно и я постараюсь. Может подскажете куда можно выложить статью или py-код?

 

А по форме подобных высказываний, мне они глубоко неприятны, и первая реакция была удалиться из конференции...

----- Original Message -----

From: [hidden email]

To: [hidden email]

Sent: Monday, December 29, 2008 6:02 PM

Subject: [ploneru] Re: Адски тормозит Zope

Есть, но адрес был в доверенных. Игорю предлагаю успокоиться и публично извиниться, все таки вестись на такую провокацию, тем более терять лицо перед другими участниками группы непрофессионально.

Онлайн архив постараюсь исправить.  

2008/12/28 Ярослав Горский <[hidden email]>

модератор в рассылке есть?

28 декабря 2008 г. 5:49 пользователь Лошарик Гавнище <[hidden email]> написал:

та в жопу я тебя ебал.

______________________________
Надiслано http://webmail.meta.ua/

--
Mikhail Kashkin

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Michael Krishtopa-2]

ichar пишет:
> А по форме подобных высказываний, мне они глубоко неприятны, и первая
> реакция была удалиться из конференции...
Да брось ты. Мало ли уродов бывает. Из-за каждого расстраиваться -
нервов не хватит.


--
Regards, Michael Krishtopa [Theo]

--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---

[Dr.Korbin]

Удалил продукт ZCatalog - не помогло. Кроме того, после перезагрузки
он установился опять.

Порыскал по каталогам сайтов - везде мало записей, лишь в двух сайтах
их по ~10 тысяч. Это из-за того, что зарегилось много ботов и
понасоздавали пустые страницы в папке Members. (на остальных сайтах
регистрация была запрещена)

Как теперь их по-умному удалить, чтобы ничего не порушилось?
По-умному, потому что когда-то давно я в ZMI зашёл в папку Members,
выделил почти всех пользователей и тупо нажал Delete. В результате всё
начало сильно глючить, и изменения пришлось откатить.

--
Best regards,
 Dr.Korbin                          mailto:[hidden email]


--~--~---------~--~----~------------~-------~--~----~
Russian Plone Group http://plone.org.ru/
Для отправки сообщений [hidden email]
Новые участники контролируются
Архив и настройки подписки http://groups.google.com/group/plone-ru
-~----------~----~----~----~------~----~------~--~---