שאלה: איך לייצור תוכנה שתאגור מידע

[Theye]

שלום לכם

אני מעוניין לייצור תוכנה שתאגור עבורי מידע מדפי אינטרנט - היא תחפש אותו במקומות רלוונטיים ותציג אותו כמו שאני אבקש.

היא תסרוק בכל פעם את העמוד שאני אדרוש או שהיא תעבור לבד בין עמוד לעמוד.

האם יש תוכנה שעושה את הדבר הזה.

אם זה לא מובן אני אתן דוגמא - אני אתן לה עמוד של טוויטר ובכל פעם שתהיה מילה מסויימת היא תבצע שמירה של המידע.

אני חשבתי לכיוון של SEARCHBOT או BOT אבל לא הצלחתי ממש למצוא מידע על זה באינטרנט.

תודה רבה לכם

[domiel]

אתה רוצה להכין crawler/spider.

מבחינה טכנולוגית אין כאן שום דבר מסובך, אתה סה"כ צריך להוריד htmlים מאתרים,לפרסר אותם ולהכניס את המידע לDB כלשהוא.

הבעייתיות פה היא שאתה לא יודע איך הולך להראות הHTML שאתה מפרסר, אין לך הרשאות להרבה מאוד דפים, איפה אתה מחפש וכמה עמוק אתה נכנס בכל דף (ללינקים), ושים לב שאם אתה עושה הרבה מאוד בקשות מאוד מהר מול אותו דומיין רוב הסיכויים שיחסמו אותך. (גוגל לדוגמא)

מציע לך לחפש בגוגל כי חיפוש קצרצר של webcrawler מצא לי ספריות בפייתון ובPHP שמיועדות רק לנושא הזה והמון המון דוגמאות בשפות אחרות.

שים לב גם לקרוא על הקונבנציה של robots.txt, חבל שתקבל מכתבים מוזרים מספקיות אח"כ.

[Theye]

תודה לך על תגובתך

מה זה לפרסר?

אני בערך יודע מה אני מחפש - אני רוצה שהוא ירוץ מול דף של טוויטר ויבצע חיפוש למילה מסויימת כל כמה שניות במידה ויש ציוץ המכיל את המילה הוא יבצע שמירה של כל הציוץ.

אני יודע מיקום ספציפי אני יכול להגדיר טיימר, והרשאות יהיו כי יש לי משתמש בטוויטר.

[Theye]

=הקפצה=

[domiel]

לפרסר=להוציא מטקסט חופשי/תוכן מסויים את המידע בצורה שהתוכנה שלך תוכל להתמודד איתו.

תנסה להוריד את העמוד שאתה רוצה לדגום תתחיל להבין איך הhtml בנוי ולחלק אותו ללטוויטים