סקריפט פייתון לבדיקת התעדכנות של דף אינטרנט

[shaks]

היי, המצב הוא כזה:

האוניברסיטה שלי קצת מפגרת כשזה נוגע לפרסום ציונים.

ישנו דף אינטרנט שעושים אליו LOGIN ואז שם מופיע רשימה של כל הבחינות, כאשר מתפרסם ציון מופיע כפתור ליד הרשומהה של הבחינה שעליו ניתן ללחוץ כדי לראות את הציון.

בגלל שלא בא לי לעשות ריפרש כל כמה דקות ולהתחבר בטלפון כדי לעשות ריפרש לראות אם התעדכנו ציונים חשבתי על לכתוב סקריפט פייטון שעושה לוגין ומרפרש וברגע שמשתנה מבנה העמוד (הרי אם יש ציון נוסף כפתור חדש בעמוד) שיתריע לי.

 

אשמח להכוונה לגבי ספריות/כלים למטרה הנ"ל (צריך שיידעו להתמודד עם עברית כי העמוד מכיל כיתוב בעברית) אולי אפילו הכוונה מה לכתוב.

 

תודה מראש

[שניצל]

לפייתון יש ספריית http נוחה בשם http.client.

הנה דף התיעוד הרשמי, יש שם גם דוגמאות בסוף.

 

בשביל להבין איך עובד הלוגין, אתה צריך קצת לנטר את התעבורה. אופציה אחת היא שימוש בכלים של הדפדפן עצמו, לדוגמה ה-inspector של גוגל כרום, ואופציה אחרת היא באמצעות כלי לניטור תעבורה כמו Fiddler או Wireshark שמקליטים בדיוק איזה בקשות http יוצאות מהדפדפן.

[shaks]

אני קצת בור בנושאים של פיתוח web, למה שבקשות הhttp יישתנו ברגע שהעמוד ישתנה? או שהכוונה לתשובות לאותן בקשות?

[שניצל]

לא הבנתי את השאלה שלך.

 

[Milford Cubicle]

מה זה איך עובד הלוגין? זה טופס שעושה POST לאנשהו (ב-form רגיל או באג'קס), אין אפשרויות אחרות...

כמובן שאם הוא כותב את הסקריפט האוטומטי שלו אז הוא יצטרך לשלוח 2 קריאות - אחת שתעשה את הלוגין ואח"כ אחת שתקרא את הדף.

לא נראה לי שהוא חשב אחרת...

[שניצל]

ודאי שיש אפשרות אחרת. יכול להיות שהוא מצפין את הסיסמה לפני הפוסט, יכול להיות שיש איזשהו token שהוא צריך להוסיף לבקשה...

[Milford Cubicle]

מה..? זה לא משנה את העובדה שיש טופס לוגין ושהוא עושה לו POST.

(אף אחד לא מצפין שום סיסמה בצד לקוח לפני ה-POST, לא ברור מאיפה המצאת את הרעיון המופרך הזה)

 

 

[trew]

ציטוט של shaks

היי, המצב הוא כזה:

האוניברסיטה שלי קצת מפגרת כשזה נוגע לפרסום ציונים.

ישנו דף אינטרנט שעושים אליו LOGIN ואז שם מופיע רשימה של כל הבחינות, כאשר מתפרסם ציון מופיע כפתור ליד הרשומהה של הבחינה שעליו ניתן ללחוץ כדי לראות את הציון.

בגלל שלא בא לי לעשות ריפרש כל כמה דקות ולהתחבר בטלפון כדי לעשות ריפרש לראות אם התעדכנו ציונים חשבתי על לכתוב סקריפט פייטון שעושה לוגין ומרפרש וברגע שמשתנה מבנה העמוד (הרי אם יש ציון נוסף כפתור חדש בעמוד) שיתריע לי.

 

אשמח להכוונה לגבי ספריות/כלים למטרה הנ"ל (צריך שיידעו להתמודד עם עברית כי העמוד מכיל כיתוב בעברית) אולי אפילו הכוונה מה לכתוב.

 

תודה מראש

 

היי

 

אתה צריך לראות איך המידע מגיע אל הדפדפן, זאת אומרת תצטרך "להסניף" את הרשת כדי לראות איזו בקשה שולחת את רשימת הציונים אל דף האינטרנט, זה יכול להגיע כדף HTML וזה יכול להגיע כJSON שיעדכן את הנתונים (איכשהו אני מאמין שמה שקיים זאת האופציה הראשונה).

 

בשתי המקרים הכלים שלך לעבודה אלו ספריות requests ו BeautifulSoup

הראשונה לתקשורת וקריאת JSON והשניה לניתוח הבקשה (במידה והתוכן הוא HTML ולא JSON)

 

תוכל לראות דוגמה בסקריפט הבא, הוא ממש את התקשורת עם ספריית urllib במקום requests כשהאחרונה פשוט קלה יותר לשימוש ומפשטת את העבודה עם urllib (למעשה היא מממשת את urllib בצורה נוחה יותר)

https://github.com/razielb/sdarot-dl/blob/master/sdarot-dl.py

 

הערות שנאמרו בקשר לסקריפט תוכל לראות פה

https://www.hacking.org.il/showthread.php/5193-Sdarot-tv-downloader?highlight=sdarot

 

 

בהצלחה

מקווה שהועלתי

[Ghosthunter]

סביר שהאונ' משתמשת ב- ssl. במקרה כזה הסיסמא כן מוצפנת, ולא תוכל לראות אותה ב- wireshark.

את אתה ממש רוצה אתה יכול להתקין fiddler ולראות את התעבורה המוצפנת שלך. רק אל תשאיר את זה פתוח הרבה זמן, כי הוא מתקין לך סרטיפיקט משלו וזה עשוי להיות מסוכן.