זמן שליפה של שורה מטבלת מסד נתונים

[שוקו]

היי,

לא בטוח שאני שואל במקום הנכון\מגדיר את השאלה נכון.

יש לי טבלה בגודל מסויים (גדולה) ואני צריך למצוא תוכל של שורה ספציפית בהתאם לפרמטרים (בזמן קצוב)

השאלה היא איפה אני יכול למצוא השוואות\הערכות לכמה זמן לוקח לשלוף רשומה מטבלה בהתאם לגודל הטבלה (כמובן שזה תלוי חומרה וכו'...) תוך שימוש בפתרונות מוכנים (SQL?)

חידוד נתונים: אני צריך לדעת כמה זמן לוקח לשלוף שורה של כ10 עמודות (בהתבסס על העמודות) מתוך מאגר של כמיליון שורה על מחשב סטנדרטי (נגיד i7 וSSD )

תודה

[multicore]

זה ממש מדע שלם ואני לא רואה פה שום קשר לIT באופן כללי.

זמן ריצה של שאילתה תלוי בהמון גורמים שונים - איך כתובה השאליתה/איזה אינדקסים קיימים/איזה מנוע מסד נתונים בשימוש (SQL היא שפה ולא מוצר או מנוע איחסון של structured data)/ האיחסון בוא עליו יושב המידע וכד'...

ניתן למדוד ולנתח ביצועים עם profiler ואז להגיעה להחלטות שיקצרו את זמני השליפה או לבנות שכבת caching.

[Milford Cubicle]

פשוט תפעיל את השאילתא ב-phpmyadmin והוא יציג לך את הזמן שהיא לקחה.

[שוקו]

תודה על התגובות,

אממ כן חשבתי שזה לא המקום, אבל אין לי מושג בנושא אז לא ידעתי לאן לשייך (אחד מהפורומי תכנות?) אז תרגישו חופשי להעביר את הדיון.

לצערי מה שאמרתם לי לא מדבר אלי (אין לי שום ניסיון בSQL)

האם יש דרך לקבל הערכת סדר גודל בלי באמת לממש את זה? (אני כרגע בודק יישימות של פתרון, אין עדיין כלום מיושם ואני בודק האם אני יכול לקבל מענה לדרישת הזמן המקסימלי שלי)

[Milford Cubicle]

לא הבנתי מה בדיוק אתה מנסה לעשות, על אחת כמה וכמה שאתה אומר שאין לך *שום ניסיון* ב-SQL...

SQL זאת תורה שלמה, אם אתה לא מבין מה אתה עושה זה פשוט לא יעבוד טוב. מסד הנתונים צריך להיות כתוב נכון, ובצורה יעילה. השאילתות צריכות להיכתב נכון ובצורה יעילה. צריך להיות שימוש באינדקסים. אם יש שאילתות מורכבות אז צריך לממש אותן בצורה האידיאלית וזה לא משהו שאפשר לעשות "בלי שום ניסיון".

מה גם שכתבת "טבלה בגודל מסויים (גדולה)" ואני לא בטוח שההגדרה שלך ל"גדולה" היא בכלל רלוונטית...

לצורך העניין גם טבלה של עשרות מיליוני (!) שורות היא לא בהכרח נחשבת לגדולה/בעייתית.

עריכה: עכשיו שמתי לב לחידוד - טבלה של מיליון שורות זה כלום.

הזמן שיקח לך לשלוף ממנה שורה, בהנחה שאתה משתמש באינדקסים כמו שצריך, שואף לאפס.

רוצה דוגמה בפועל? הרגע הרצתי שאילתה ששולפת שורה מתוך טבלה של 4,893,873 שורות (4.9~ מיליון). זמן הריצה של השאילתה היה 0.0004 שניות. והשרת נמצא כרגע יחסית בעומס, אנחנו ב-22:00 בערב...

[שוקו]

לא הבנתי מה בדיוק אתה מנסה לעשות, על אחת כמה וכמה שאתה אומר שאין לך *שום ניסיון* ב-SQL...

SQL זאת תורה שלמה, אם אתה לא מבין מה אתה עושה זה פשוט לא יעבוד טוב. מסד הנתונים צריך להיות כתוב נכון, ובצורה יעילה. השאילתות צריכות להיכתב נכון ובצורה יעילה. צריך להיות שימוש באינדקסים. אם יש שאילתות מורכבות אז צריך לממש אותן בצורה האידיאלית וזה לא משהו שאפשר לעשות "בלי שום ניסיון".

מה גם שכתבת "טבלה בגודל מסויים (גדולה)" ואני לא בטוח שההגדרה שלך ל"גדולה" היא בכלל רלוונטית...

לצורך העניין גם טבלה של עשרות מיליוני (!) שורות היא לא בהכרח נחשבת לגדולה/בעייתית.

עריכה: עכשיו שמתי לב לחידוד - טבלה של מיליון שורות זה כלום.

הזמן שיקח לך לשלוף ממנה שורה, בהנחה שאתה משתמש באינדקסים כמו שצריך, שואף לאפס.

רוצה דוגמה בפועל? הרגע הרצתי שאילתה ששולפת שורה מתוך טבלה של 4,893,873 שורות (4.9~ מיליון). זמן הריצה של השאילתה היה 0.0004 שניות. והשרת נמצא כרגע יחסית בעומס, אנחנו ב-22:00 בערב...

כן ידעתי שאני אהיה גרוע בלהסביר את עצמי, זה ממש לא התחום שלי.

אני לא מתכוון לעשות\לממש את זה לבד, אלא לפנות למתכנת אמיתי. הסיפור קצת מסובך אז רציתי לנסות להבין האם יש על מה לדבר לפני שאני מתקשר אליו מחר (התשלום אליו מתחיל להיספר מהרגע שהתחלנו לדבר)

אני אתאר את מה שיש לי בצורה הכי פשוטה שאני יכול:

יש לי טבלה של מיליון שורות ו10 עמודות. 9 מתוכן כוללות ספרות (בעצם אינדקס 9 מימדי) והעמודה האחרונה כוללת טקסט.

המשתמש מזין את 9 האינדקסים (או מוזנים ע"י תוכנה אחרת) בו זמנית, וצריך לקבל את העמודה העשירית התואמת עם הטקסט תוך פחות משניה.

המערכת תופעל ככל הנראה בסביבת ווינדוס על טאבלט (מצידי הכי חזק שיש בשוק כיום)

לפי הדוגמא שלך אני מבין שאני בכלל לא קרוב לגבול והמצב שלי "פשוט". באיזה שרת מדובר ומה הוא מריץ?

בנוסף, האם אני יכול למצוא איזשהם נתונים בגוגל בסגנון? (כל מילות החיפוש שניסיתי לא נתנו לי כלום שימושי)

[MiniMizer]

זה אכן נשמע מצב מאוד (מאוד) פשוט. יש לך כולה טבלה אחת, קטנה למדי. אני לא חושב שיהיו לך איזשהן בעיות ביצועים עם שליפה של מידע ממנה...