כיצד עובד מנוע חיפוש ל newsgroups

[nondos]

שלום

התחלתי פרוייקט מסויים כחלק מהפרוייקט אני רוצה לבנות תוכנה שתדע לסרוק ב newsgroups האם יש למשיהו מושג האם זה אפשרי ואם כן כיצד מנועי החיפוש של ה newsgroups עובדים?

חיפשתי ב rfc אבל לא מצאתי תשובות

תודה

[Nemesis]

כדי לבצע חיפוש ב-Newsgroups לא תהיה לך ברירה אלא להוריד את כל ה-Headers.

בנוסף, אם אתה רוצה לחפש בתוך ההודעות עצמן, תאלץ להוריד אפילו את כל ההודעות!

[איסתרא בלגינא]

לא טרחתי להתעמק בזה, אבל נדמה לי שתוכל להוריד רק הדרים שמכילים מחרוזת מסויימת בעזרת XPAT.

[nondos]

האם יש מצב שקיים איזשהו Database פתוח וחופשי שמתעדכן כל הזמן שאני אוכל לגשת אליו ולמשוך ממנו את המידע?

[Nemesis]

פתוח, חופשי ומעודכן?

אין סיכוי.

לספק אינטרנט שלך קרוב לוודאי יש שרת newsgroups שפתוח לך, אבל הוא בטח מכיל מעט מאוד קבוצות, מעט מאוד מהתוכן הממשי עם הרבה חוסרים ומעט מאוד זמן אחורה.

להחזיק את ה-Newsgroups שלמים ומעודכנים דורש חוות שרתים אדירה, רוחב פס אדיר והרבה מאוד כסף.

[nondos]

לא הבנת אותי

ברור שעבור שגישה ל newsgroups עולה כסף, ואני אפילו מנוי ל giganews

השאלה שלי היא האם ישנו Database כלשהוא המכיל מידע מאיפה אפשר למשוך את התוכן מה newsgroups?

זאת אומרת לכל search engine באינטרנט ישנו database שממנו מחפשים את החומר האם ישנו database של searchengine שאני אוכל להשתמש בו או משהו דומה?

אני מחפש דרך שהתוכנה שלי תוכל להוריד דברים מה newsgroups אני יודע איך להוריד ולתקשר אך אני לא יודע איך למצוא את החומר

[Nemesis]

איך אתה רוצה להשתמש במשהו קיים?

התוכנה שלך צריכה ליצור את הדטבייס הזה שלך בפורמט שאתה צריך עם התוכן שאתה צריך...

[nondos]

כן אבל ליצור database כזה ידרוש הרבה משאבים והמון זמן ישנם מנועי חיפוש באינטרנט סטייל גוגל אבל לnewsgroups שיוצרים database כזה השאלה היא כיצד התוכנה שלי תוכל לבצע חיפוש כמו האתרים האלה ולכוון את המשתמש לאן שצריך

[Nemesis]

כי האתרים האלה בנו לעצמם את ה-DB?

[nondos]

אני חושב שכן אני לא יודע בוודאות איך זה עובד

לדוגמא האתר http://www.newzleech.com

כנראה יש לו database שבו הוא מבצע חיפוש

השאלה היא כיצד האתר בונה את הdatabasse שלו, האם מישהו מעדכן אותו ידנית בתכנים שנוספים ל newsgroups או שזה נעשה אוטומטית ואם כן כיצד

[Nemesis]

אני מתאר לעצמי שיש לו תוכנה שסורקת את כל הקבוצות, ומורידה Headers חדשים כאשר יש.

[איסתרא בלגינא]

זה תלוי. אתרים כמו Google Groups פשוט מורידים כל דבר שנשלח לקבוצות דיון ומכניסים לאינדקס. הם יכולים לעשות את זה כי הם מתעלמים מקבצים בינאריים. אתרים כמו Newsleech מקבלים עדכונים ידניים ממשתמשים בד"כ.