HWzone - אתר המחשבים הישראלי - המדריך המלא והמפורט ביותר לבניית מסך מרובה מגע Multi-Touch

מבוא:

טכנולוגיית המגע קיימת כבר שנים רבות, היא הוצגה לראשונה בשנת 1982 באוניברסיטת טורונטו
קנדה אשר הייתה אחראית על פיתוח הראשוני של מסכי המגע שהמשיכו להתפתח בהדרגה ובמהירות
רבה עד לצאת המוצר הסופי הראשון שהושק בשנת 1999. אחד הפיתוחים העיקריים בתחום מסכים המגע
נקרא "ריבוי מגע" או בשמו הלועזי והמוכר יותר: Multi-Touch, שזה למעשה ממשק המאפשר למשתמש לשלוט
על ידי יותר מאצבע אחת על המחשב והאפליקציה, להבדיל מטכנולוגיה מגע סטנדרטית המאפשרת לשלוט
באמצעות אצבע אחת בודדת. דוגמא טובה לשימוש ב Multi-Touch היא האפשרות לצפות בתמונות מוצגות
וליצור הקרבה (זום), במסכי מגע רגילים נשתמש בלחיצה כפולה או בסיבוב אצבע יחידה כדי להקריב את התמונה,
בעוד שבמסכי המולטי נשלב ונרחיק שני אצבעות כדי ליצור הקרבה או הרחקה מהתמונה, כך שאם השנים חברות
רבות אימצו טכנולוגיה זו כדי לשפר או להקל על המשתמש בשימוש במוצרים שלהם.

קשה שלא להזכיר את טכנולוגית ריבוי המגע מבלי להזכיר את המכשיר הסלולארי הפופולרי של Apple
ה Iphone שהיה לאחד החלוצים העיקריים המשתמשים בטכנולוגית ריבוי המגע, נייד אשר זוכה להצלחה
ורווחים רבים אשר הפכו אותו למוקד לחיקוי מצד יצרניות האחרות בשוק החומרה והסלולאר. לפני שנתיים בערך ,
הציגה חברת Microsoft את מסך ריבוי המגע שלה הנקרא Surface. למרות שהיה מרשים מאוד הוא יועד בעיקר
לחברות ומוסדרות בעיקר בשל העלות הגבוהה שהגיעה עד ל 10 אלפים דולר בחלק מהדגמים, סכום שנחשב לרחוק
מהישג ידם של מירב האנשים. ובכל זאת, במהלך הסקירה נפרט ונסביר דרך תמונות ווידאו אך ליצור בעצמנו מסך
מולטי מגע וזאת עם שימוש בחומרים זמינים וזולים יחסית, כדי להתאים את התקציב כך שיתאים גם לנו, המשתמשים הביתיים.
כיום קיימות מספר שיטות ליצירת משטח מגע :

השיטות הקיימות :

FTIR - Frustrated Total Internal Refection

RearDI - Difused Illumination - front and rear

LLT - Laser light planE
DSI - Difused Surface Illumination
LED-LP - LED Light Plane

[SIZE=2

במדריך זה נתמקד ונרחיב על השיטה השניה RearDI .

השיטה RearDI :

התמונה המוצגת מסבירה את העיקרון של השיטה:

שני לדים אינפרא אדום שמקרינם כלפי משטח העשוי מחומרים שקופים כמו זכוכית או פלקסיגלס,
כך שבזמן נגיעה במסך עזרת האצבעות נוצרת "נקודה" הקרן מוחזרת כלפי מטה, נקודה זאת מוזהה על
ידיה מצלמה שכל תפקידה לקלוט נקודות כאלה ולשלוח אותם למחשב . ה Diffuser היא שכבה הנמצאת מעל משטח
הנגיעה שמנטרלת את הסביבה של המסך, כך שהמצלמה לא תראה את מה שמעל למסך, ובנוסף התמונה המוקרנת
מוצגת למשתמש על הDiffuser

רכיבים נדרשים - חלק ראשון:

אחרי הצגת עיקרון השיטה נעבור לחלק שבו נאסוף את הרכיבים הדרושים לביצוע ,ונפרט בעזרת תמונות כל רכיב:

שולחן\ארון:

תפקידו פשוט למדי: להכיל את כל הרכיבים הדרושים ולהיות השלדה עצמה של מסך המגע שלנו. אין כללים קבועים לארון הדרוש,
כך שזה יכול להיות סתם ארון שזרוק במחסן, או לחלופין ניתן לבנות שולחן או ארוך על פי דרישות המידות, הצורה והצבע שרוצים.

את מידות השולחן נקבע לפי גודל המסך הרצוי , להמחשת הגודל של הארון הנמצא בתמונה המצורפת,
גודל הארון הוא 80 ס"מ גובה 80 אורך 80 רוחב גודל מסך 30" , המסך יהיה גדול יותר ככל שגודל השולחן יהיה יותר גדול וגבוה.
אך עדיף שיהיה צד אחד יהיה כמו דלת שתיצור גישה נוחה לסידור\התקנת המערכת, או בדיקה של אחד מהרכיבים שנמצאים בתוך השולחן,
חשוב מאוד לקחת בחשבון לתכנן נכון את השולחן כך שיהיה שיהיה מאוורר בצורה נכונה במידה ורוצים להכניס את המחשב אל תוך השולחן
צריך להתחשב במיקום של המאווררים תזכרו המקרן פולט חום רב

.

טיפ: כדאי ומומלץ לבנות דוגמה להמחשה לפני הביצוע הסופי.
ורצוי להשתמש בתוכנת תלת מימד כדי לתרגם את הרעיון שלכם ולתת לו להראות אמיתי יותר כמתואר בתמונה שמראה את התכנון לפני ואחרי הביצוע הסופי

המסך\משטח הנגיעה:

בתמונה מתואר משטח הזכוכית עם ציפוי ניילון (ניילון פשוט לכיסוי שולחנות). משטח זכוכית בעובי של 5 ס"מ (יכול גם 4-3),
בשיטה הזאת ספציפית אפשר להשתמש בזכוכית שקופה או פלקסיגלס שקוף אבל בשיטות אחרות כמו FTIR משתמשים רק בפלקסיגלס.

חותכים את הגודל שרוצים השווה לגודל המסך פלוס כמה ס"מ בצדדים (תלוי בעיצוב שבחרתם) . אם בחרתם פלקסיגלס צריך להיות בעובי המתאים,
ככל שהמסך גדל יותר המסך יתעקם\יתגמש יותר בלחיצות.

diffuser:

מכסים את משטח הזכוכית בשכבה שהיא תהווה שטח ההקרנה, ובנוסף גם כיסוי המשטח יימנע אפשרות שהמצלמה תצלם אם מה שמעבר למשטח,
במילים אחרות חוסמת את סביבת המשטח . ישנם מבחר גדול מאוד של חומרים, אני השתמשתי בחומר בניילון לבן (גליל ניילון שמשמש לכיסוי שולחנות),
אופצייה מאוד זולה וקלה להשגה חתכתי לפי המידה של הזכוכית, האיכות בסדר אבל לא מצויינת.

.

קיים מבחר גדול מאוד של חומרים שמחירהם מתחילים משני דולר למטר ומגיעים אפילו עד לסכומים של 1500 דולר לחומרים המקצועיים ביותר. בקישור הבא ישנה השוואה מקצועית וענקית לרוב החומרים הקיימים והדרושים,
אלו נציין שהרוב לא נמצא בארץ ויש להזמין אותו מחו"ל.

מקרן:

כל אחד יבחר את המקרן המתאים לו (לפי התקציב) , אפשר להשיג מקרנים משומשים ב 1000-1500 ש"ח.
כמובן ככל שהמקרן איכותי יותר תתקבל תמונה טובה יותר. לא נרחיב יותר על איך לבחור מקרן .

הנתון הקריטי היותר בנוסף לאיכות התמונה הוא גודל התמונה שהמקרן יכול להקרין במרחק מסוים,
שכן הדבר משפיע בצורה ישירה על מידות השולחן וגודל המסך שאתה יכול לתכנן.
האיור הבא ממחיש את גודל התמונה שהמקרן יכול להקרין במרחק נתון , נשים לב שאנו חייבים להשתמש במחשבון כדי לקבוע מידות.
התמונה נכונה לגבי המקרן שלי והמידות יכולים להשתנות ממקרן לשני.

:

קיימים מקרנים מאוד יקרים שיכולים להקרין תמונה גדולה במרחקים קצרים.

רכיבים נדרשים - חלק שני

מראה:

תפקידה העיקרי של המראה הוא להגדיל את המרחק בין המקרן למשטח, וזאת כדי לקבל עוד כמה אינצ'ים לתצוגה.
לא חייבים לשים ,אבל ככל שאתה בוחר מסך גדול יותר תצטרך להרחיק את המקרן מהמסך כדי לקבל תמונה בגודל שנרצה. .

שימוש במראה יכול להקטין משמעותית את גודל השולחן . אפשר להשתמש יותר ממראה אחת אז נצטרך לתכנן טוב את זווית השבירה .
בפרויקט שלי השתמשתי במראה רגילה אך שימוש שמראה רגילה יכול לגרום תופעות Ghost למסך ,קיים סוג שני של מראות שנקרא Front Surface Mirror (לא יכולתי להשיג בארץ )
כדי להבין יותר את ההבדל בין מראה רגילה לבין מראה FS נסתכל על התמונה הבאה :

בתמונות: מצד ימין מראה רגילה מצד שמאל מראת FS

לדים אינפרא אדום:

תפקידם הוא הקרנת קרן אינפרא אדום לעבר המשטח, כך שנגיעה במשטח תיצור נקודת החזר לקון ,
הקרינה תוחזר למטה בנקודה בה יש לחיצה והמצלמה קולטת את הקרינה המוחזרת .

כל יחידה אחת מכילה 48 לדים אינפרא אדום, רצוי מאוד לשים לפחות ארבע יחידות. מחירהם של היחידות האלו בארץ הוא יקר מאוד,
כ 450 ש"ח בערך ליחידה, בעוד שבחול ניתן לרכוש ארבעה יחידות במחיר של 270 דולר כולל משלוח, דוגמא של פריט אחד שאם
מכפילים בארבעה יוצא כ 150 ש"ח (לא כולל משלוח שאפשר להגיע להסדר עם החנות שתשלח את כולם במשלוח אחד ולחסוך את בעלויות המשלוח) קישור למכירה.

המצלמה:

אחד מהחלקים החשובים ביותר בבניה. תפקידה של המצלמה הוא קליטת האינפרא אדום המוחזר מהנגיעות של האצבעות,
והעברת הנתונים למחשב (הסבר לתוכנה בחלק הבא). שימוש במצלמה זולה (50-100 ש"ח) יביא ככל הנראה לכישלון הפרוייקט,
וזאת מהסיבה שצריכים מצלמה איכותית שמספקת מספר ריצודים - frames גבוהה ברזולציות גבוהות לדוגמה :
60 frames ברזולוציה של 640 על 480 ו 120 frames ברזולוצייה של 240 על 120.

מצלמות זולות מגיעות בקושי ל 15 frames ,המצלמה המומלצת ביותר והמועדפת עבור קהילת מסכי המגע היא המצלמה של סוני פליסטיישן 3
בארץ אפשר להשיג אותה ב270 ש"ח ובחו"ל פחות ב100 ש"ח . המצלמה המדוברת מהווה תחליף של מצלמות יקרות כמו Firefly MV
שמתחברות דרך חיבור FireWire ואלו למעשה המצלמות שמיקרוסופט השתמשה בהן בשולחן המגע שלה, שכן הן נחשבות למקצעיות ומהירות במיוחד.
המצלמה PS3Eye לא מיועדת להתחבר למחשב אבל אחד החברה המוכשרים מפורום nuigroup ייצר דרייבר מיוחד
המאפשר לחבר את המצלמה למערכת ההפעלה חלונות, (קישור לדרייבר תמצאו בחלק התוכנות). בניגוד למצלמה רגילה,
אנו רוצים שהמצלמה "תראה" רק אינפרא אדום, ולכן חייבים להסיר את הפילטר שמונע מאינפרא אדום להכנס לחיישן,
פעולה זו פשוטה יחסית ונסביר אותה בעזרת תמונות.

מוצאים את הגומי ומפרקים את המצלמה מחלקה האחורי:

[SIZE=2

נחשוף את חלקה הקדמי של המצלמה ונפרק את העדשה .
]

חיישן CMOSדגם OV07720

לאחר שפירקנו את המצלמה נבחין בחלקה הפנימי של העדשה ,העיגול הקטן באמצע הוא הפילטר שחוסם מהאינפרא האדום להיכנס לחיישן של המצלמה.
את הפילטר חייבים להסיר.

ניתן לראות שהפילטר לא יצא בעדינות, שכו הוא מובנה בפלסטיק. מכל הנסיונות שראיתי להוציא אתת הפילטר אף אחת מהן לא הסתיימה בצורה עדינה וחלקה.
הערה:
אי אפשר להחזיר את הפילטר אלא אם קונים פילטר חדש , יש אתר שמוכר חלקים למצלמה זו במיוחד לקהילת מסכי המגע !

לאחר שהוציאנו את הפילטר, החלק הלפני אחרון הוא לשים חתיכה של או החלק הפנימי של הפלובי או סרט של ניגטיב ממצלמות
הישנות את החתיכה יש לשים מעל המקום שהיה בו פילטר תפקיד השכבה הזאת הוא חסימת או ניטרול אור החדר (היום)
ונותנת רק לאינפרא אדום להיכנס למצלמה . אחרי זה מרכיבים את המצלמה בחזרה .

השימוש במצלמת PS3Eye הוא בגדר המלצה ולא מחייב,יש כאלה שניסו מצלמות אחרות Xbox למשל והצליח להם .
חשוב מאוד: לא כל מצלמה מאפשרת להסיר את הפילטר!
חשוב לבדוק לפני שמתחילים את התהליך כי אתה יכול להרוס את המצלמה .
קיים דרייבר מיוחד להתקנת עד 8 מצלמות בבת אחד! שימושי בעיקר למסכים גדולים מאוד , ולקבלת דיוק ומהירות חלקה יותר .
ניתן לראות בווידאו הזה את השימוש בדרייבר זה (אותו בחור שכתב את הדריבר הרגיל) http://www.youtube.com/watch?v=UKup53DYXto&feature=player_embedded

מחזיר\מפזר אור:

תפקידו הוא פיזור האינפרא אדום בצורה טובה יותר, שמים את החומר בצדדים (קירות השולחן),
לא חייבים לשים, יש מבחר של חומרים שיכולים לשמש כמפזרי קרן, אני בחרתי בחומר זול וזמין (כיסוי לשמשה הקידמית של האוטו) .
יש חומרים יותר יקרים שעולים מאות דולרים למטר.

תמונה לכל הרכיבים אחר ההתקנה :

תוכנה, הגדרות ואפליקציות שימושיות

חלק משלים לחלק הראשון והוא בעצם המקשר בין הHardware לבין המחשב , העליתי את כל מה שצריך לקישורים הבאים (כולל אפלקציות מגע) קישור ראשי | קישור נוסף, והוא כולל שלושה תיקיות:
MultiTouchVista - second release - refresh 2
תיקייה שמכילה הרבה קבצים שדרכה הופכים את הווינדוס וויסטה או 7 לווינדוס עם מגע במקום עכבר יש מדריך מפורט איך לעשות את זה פרטים בהמשך ...

Flashs
תיקייה שמכילה מבחר גדול של אפלקציות מגע שדרכם אתה בוחן את המסך שלך. CCV-1.2-win-bin ה

תוכנה שמקשרת בין המחשב לבין השולחן החיצוני , מקבלת נתונים מהמצלמה,
דרך פילטרים מובנים בתוכה היא מעבדת נתונים אלה ומתרגמת אותם לנקודות ( bulbs) , ונותנת מיקום.
קיימת גירסה יותר חדשה אבל לא הסתדרתי איתה, הגירסה שהעליתי נתנה לי תוצאות טובות יותר קיימות תוכנות
נוספות שעשות אותה עבודה אבל תוכנה זאת לדעתי הכי קלה וטובה ביותר. התוכנה תופסת ומנצלת משאבים רבים של המחשב ,
משום שהיא עושה הרבה פעולות והכל בזמן אמת, קבל נתונים מהמצלמה העברת הנתונים דרך פילטרים העברת הנתונים דרך סוקט
מוגדר אל התוכנות שמיועדות לכך . שימוש במחשב ישן לביצוע הפרוייקט יקשה על הצלחתו.
X,Y לכל bulbs ואחרי זה מעבירה את הנקודות האלה לתוכנת המגע שמקבלת את המיקומים של bulbs ועושה מה שהוגדר לה , כל תוכנה מגיבה אחרת לתנועות האצבע . קישור לדרייבר של מצלמת PS3Eye לקבלת הסבר מפורט איך להתקין את המצלמה ניתן למצוא בבלוג הרשמי של מי שכתב את הדרייבר : Sony PS3Eye Camera DirectShow Capture Source Filter *Update* v3.0.0.0901 « AlexP’s Weblog הממשק:

1)

מסך שרואים בו את התמונה "האמיתי" , במילים אחרות מה שהמצלמה רואה .
2) אותה תמונה מסעיף 1 לאחר שעברה כמה פילטרים פנימים של התוכנה ומציגה את התמונה הסופית , רואים את הנקודות הלבנות (Blobs) שכל נקודה מהווה אצבע , כדי לעבור לשלב הבא חייבים לקבל מספר נקודות כמספר האצבעות שנוגעות במשטח. נקודות עם רעשים נקראים (False Blobs) , רעש זה מתבטא בנקודות שווא או נקודות לא בצורת עיגול עם קווים, אפשר לבטל רעשים אלה ע"י שימוש בהגדרות נכונות בעזרת הפילטרים. המסך חייב להיות שחור אם לא נוגעים במשטח ועבור כל אצבע שנוגע במשטח תוצג נקודה לבנה אחת. ככל הנקודות הלבנות "נקיות" וחלקות יותר ככל שאיכות זיהוי הנגיעות היה איכותי יותר, שלא פתאום תוכנות המגע יתחילו להגיב למקומות שלא לחצתם.

3) מיד לאחר הפעלת התוכנה לוחצים פעם אחת על Remove BG המבטל או "מנקה" את המסך לפני התחלת הפילטור .*
4) Max Blobs Size ו Min Blobs Size מגדירים את הגודל של כל נקודה לבנה (מיקום הלחיצה) הגדרה חשובה עד קריטית שעוברים לכיול*.
5) שלב הכיול, ביצוע כיול לקביעת קוארדינטה של הלחיצות (Y,X) של כל לחיצה, את הפעולה עושים פעם אחת אלה אם החלפנו מסך. כל הנתונים נשמרים בקובץ XML. 6) קביעת סוג פרוטוקול תקשורת, כל תוכנות המגע מקבלים את הנתונים מתוכנה זו ששולחת בזמן אמת את הנתונים דרך סוקט מוגדר . קיימים שני סוגים עיקריים של פרוטקולים אותם נבחר לפי סוג האפליקציה שנפעיל: TUIO TCP - מותאם במיוחד לתוכנות שנכתבו בתוכנת פלאש . TUIO OSC - ווינדוס ותוכנות שלא נכתבו באמצעות פלאש משתמשים בפרוטוקול זה.
7) השלב הסופי, שמירת כל הנתונים אל הקובץ, הפעלה הבאה, התוכנה תשלוף את ההגדרות מתוכה.

נעצור ונסכם את התהליך מההתחלה עד הסוף צעד אחר צעד :

1)מחליטים איזה שיטה הולכים להשתמש , איזה גודל מסך ואז מחליטים איזה שולחן מתאים.

2)קונים (אם צריך) את הרכיבים (מקרן,זכוכית,ניילון,....)
3)מרכיבים את החלקים בתוך השולחן
4)עוברים למחשב מוודאים שכל התוכנות מותקנות(כולל דרייבר של המצלמה)
5)כיול , התאמת הפילטרים ושמירת הנתונים
6)הפעלת תוכנות כדי לבחון את המסך.

מבחן ביצועים

הכנתי כמה סרטונים מהפרוייקט שנמצא במדריך שממחשים את השימוש בכמה אפלקציות מיועדות למסכי מגע . סרטון ראשון :

ממחיש את השימוש בShell של Microsoft Surface שלא מזמן שוחרר לקהל המשתמשים. הסרטון מציג חלק מהאפלקציות שנמצאות בשולחן של מיקרוסופט. http://www.youtube.com/watch?v=Yg6JktO_2mU סרטון שני :

ניסוי חבילת הטאץ' של Windows 7 http://www.youtube.com/watch?v=3AVCjgIASK0

סרטון שלישי :

הצגה כוללת של הפרוייקט ושימוש של כמה אפלקציות נבחרות http://www.youtube.com/watch?v=-ZQALGcj2fg

סיכום והערות

הפרויקט דורש הרבה סבלנות, רוב הסיכויים שתתקל בבעיות בשלב הראשון . לא להתייאש בסוף חייב לעבוד אם חוזרים ומתקנים\משפרים איפה שצריך .
אין לי נסיון מעשי כדי לספק תמיכה או התייעצות לגבי שיטות אחרות 99% מהבעיות שתתקל בהם קראו איתי או עם מישהוא אחר וחייב להיות פתרון.
מדריך זה נחשב מפושט ומתומצת וכתבתי אותו אחרי עשרות שעות של "שבירת ראש" להבין איך למה ואיך.
הפרוייקט נמשך חודשים בודדים , רוב הזמן היה איך לפתור בעיות כי הרבה דברים לא היו מובנים יש אפשרות לעשות מסך כקיר ,
ולא בהיכרח בצורה שנמצאת במדריך . ראיתי כמה פרוייקטים שעשו שולחנות בסלון , שולחן משחקים עם כיסאות . השמים הם הגבול

קישורים שימושיים :

Main Page - NUI Group Community Wiki NUI Group - Natural User Interface Group

מידע אישי

חדשות מחשבים