[Wikipedia-fa-tech] چگونه لبز بسیار پایدار شد.

[Huji Lee]

احتمالا منظورتان چیزی شبیه به این بوده:

 jsub -once -N "weekly-slow" -mem 1g -o
/data/project/huji/err/weekly-slow.out -e
/data/project/huji/err/weekly-slow.err
/data/project/huji/core/scripts/weekly-slow.p

آن یک قدم اضافی را برای این گذاشتم که دست که چند ماه پیش که این کد را
نوشتم، وقتی از داخل خود دستور jsub اجرا می‌شد با یونیکد مشکل پیدا می‌کرد
اما وقتی jsub یک اسکریپت را اجرا می‌کرد این مشکل رخ نمی‌داد. الان دستور
بالا را زدم اجرا شود ببینیم چه می‌شود

اما مشکل کند بودن را حتی بدون jsub هم می‌توان دید. وقتی من فقط دستور زیر را
اجرا می‌کنم:

python core/pwb.py weekly-slow

از زمانی که من دستور را اجرا می‌کنم تا زمانی که خروجی «Stats bot started
...» برای من ظاهرا می‌شود نزدیک یک دقیق طول می‌کشد! این در حالی است که آن
سطر تقریباً اول سطر ربات است. این یعنی لود کردن pywikibot دارد این همه زمان
می‌گیرد که اصلا منطقی نیست چون روی ماشین درپیتی من کلش یک ثانیه هم نمی‌برد!

2016-09-16 14:08 GMT-04:00 Amir Ladsgroup <ladsgroup at gmail.com>:

> خب چرا مستقیما ران نمی‌کنید؟
>  jsub -once -N "weekly" -mem 1g -o /data/project/huji/err/weekly.out -e
> /data/project/huji/err/weekly.err /data/project/huji/core//data/
> project/huji/err/weekly.err /data/project/huji/core/scripts/weekly.py
> (= مسیر کامل اسکریپت شما)
>
> این کمی بهتر است و ممکن است روی سرعت I/O تاثیر مثبت بگذارد.
>
> گاهی متصل شدن به رپلیکاهای دیتابیس کند می‌شود که همان مشکل I/O است و حدسم
> این است که با انتقال به کیوبرنیتیس درست شود. اول موضوع بالا را امتحان کنید
> و اگر جواب نداد به کیوبرنیتیس منتقل میکنیم.
> On Fri, Sep 16, 2016 at 10:28 PM Huji Lee <huji.huji at gmail.com> wrote:
>
>> البته ناگفته نماند که من اسکپریت‌ها را با jstat روی گرید اجرا می‌کنم.
>> شبیه این:
>>
>> jsub -once -N "weekly" -mem 1g -o /data/project/huji/err/weekly.out -e
>> /data/project/huji/err/weekly.err /data/project/huji/jobs/weekly.sh
>>
>> که weekly.sh فقط یک سطر است:
>>
>> python ~/core/pwb.py weekly
>>
>>
>>
>> 2016-09-16 13:48 GMT-04:00 Huji Lee <huji.huji at gmail.com>:
>>
>>> کد را در https://github.com/PersianWikipedia/fawikibot می‌توانید ببینید
>>> (چهار پروندهٔ stats.py و weekly.py و weekly-slow.py و inactive-users.py را
>>> ببینید، سه تای آخری صرفاً اولی را صدا می‌کنند که کوئری‌های مختلف را اجرا
>>> کند؛ بیشتر تاخیر مال «قبل از» اجرا شدن کوئری است).
>>>
>>> ربات هم روی تول لبز اجرا می‌شود. حدس من هم مشکلات I/O بود. به گمانم بهتر
>>> است ربات را به پروژهٔ خودمان منتقل کنم یا به kubernetes. شما نظرتان چیست؟
>>>
>>> 2016-09-16 13:11 GMT-04:00 Amir Ladsgroup <ladsgroup at gmail.com>:
>>>
>>>> رباتتان در تول لبز است یا در پروژه ویکی‌فا در لبز؟ اگر در پروژه باشد که
>>>> یک ماشین مجازی خاص خودش است و مشکلاتش ممکن است به دلیل کمبود رم یا سی پی یو
>>>> باشد (اورس در لبز گاهی به این مشکلات برخورد می‌کرد). اگر در تول لبز است
>>>> ممکن است به خاطر مشکلات نوشتن در NFS یا سرعت بسیار پایین I/O باشد که حدسم
>>>> این است کیوبرنیتیس ممکن است در موردش بهتر عمل کند. نام سرویس گروپ را بدهید
>>>> و اگر خواستید منتقلش می‌کنیم اگر هم خواستید کد را با من به اشتراک بگذارید
>>>> تا نگاهی به آن بیندازم.
>>>>
>>>> ارادتمند
>>>>
>>>> On Fri, Sep 16, 2016 at 8:47 PM Huji Lee <huji.huji at gmail.com> wrote:
>>>>
>>>>> من نمی‌دانم مشکلی که من با آن مواجهم مربوط به این قضیه هست یا نه، اما
>>>>> ربات‌هایی که با پایتون اجرا می‌کنم گاهی برای یک برنامهٔ ساده ده‌ها ثانیه
>>>>> برای لود شدن زمان می‌برند.
>>>>>
>>>>> روند انتقال به کیوبرنیتیس به چه شکلی است؟
>>>>>
>>>>> 2016-09-16 12:06 GMT-04:00 Amir Ladsgroup <ladsgroup at gmail.com>:
>>>>>
>>>>>> امروز به ارائه‌ای رسیدم که توضیح کوتاهی است چرا لبز بسیار ناپایدار
>>>>>> بود و چگونه این مشکل رفع شده‌است. توصیه می‌کنم ببینید:
>>>>>> https://www.youtube.com/watch?v=6XGUTu3WhBw
>>>>>>
>>>>>> خلاصه‌اش این است که سیستم تول لبز که بازمانده از تول سرور بود روی سان
>>>>>> گرید انجین ۶.۲ می‌چرخید که مشکلات خاص خودش را داشت ولی اکنون یک سامانه
>>>>>> دوتایی شده‌است که بخش دوم از کیوبرنیتیس استفاده می‌کند و بعضی از سرویس
>>>>>> گروپ‌ها مانند ربات من از کیوبرنیتیس هستند. کیوبرنیتیس سیستم هندل کردن
>>>>>> سیستم‌های توزیع‌شده است که توسط گوگل برای کنترل سرورهای خودش ساخته شد و
>>>>>> اکنون به صورت اوپن سورس دراختیار عموم است.
>>>>>>
>>>>>> اگر می‌خواهید که سرویس گروپ شما به کیوبرنیتیس مهاجرت کند که سریعتر
>>>>>> ران شود و پایدارتر باشد بگویید تا دنبال انجام دادنش بروم.
>>>>>>
>>>>>> اردتمند
>>>>>>
>>>>>> _______________________________________________
>>>>>> Wikipedia-fa-tech mailing list
>>>>>> Wikipedia-fa-tech at lists.wikimedia.org
>>>>>> https://lists.wikimedia.org/mailman/listinfo/wikipedia-fa-tech
>>>>>>
>>>>>>
>>>>> _______________________________________________
>>>>> Wikipedia-fa-tech mailing list
>>>>> Wikipedia-fa-tech at lists.wikimedia.org
>>>>> https://lists.wikimedia.org/mailman/listinfo/wikipedia-fa-tech
>>>>>
>>>>
>>>> _______________________________________________
>>>> Wikipedia-fa-tech mailing list
>>>> Wikipedia-fa-tech at lists.wikimedia.org
>>>> https://lists.wikimedia.org/mailman/listinfo/wikipedia-fa-tech
>>>>
>>>>
>>>
>> _______________________________________________
>> Wikipedia-fa-tech mailing list
>> Wikipedia-fa-tech at lists.wikimedia.org
>> https://lists.wikimedia.org/mailman/listinfo/wikipedia-fa-tech
>>
>
> _______________________________________________
> Wikipedia-fa-tech mailing list
> Wikipedia-fa-tech at lists.wikimedia.org
> https://lists.wikimedia.org/mailman/listinfo/wikipedia-fa-tech
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <https://lists.wikimedia.org/pipermail/wikipedia-fa-tech/attachments/20160916/04f4de12/attachment-0001.html>