בניית תוכנה לבניית מקצבים ברמה מקצועית

במסמך זה מפורטת הדרישה לבניית מערכת אוטומטית שנועדה לחולל מהפכה בתחום יצירת המקצבים (Styles) והסטים לאורגני Korg, בדגש על דגם Pa600.
המטרה שלנו היא לבנות "צינור עיבוד" (Pipeline) שלם וחינמי המבוסס על ספריות קוד פתוח (Open Source) ומודלים של בינה מלאכותית שאומנו מראש (Pre-trained Models). המערכת תקבל קובצי דגימות של האורגן וקובץ שמע של שיר, ותפיק באופן אוטומטי קובץ MIDI מיושר וממופה המותאם בדיוק לדגימות שהוזנו, מוכן לשימוש באורגן.

אין כאן צורך לאמן מודלים מאפס על מאגרי ענק, אלא לבצע אינטגרציה חכמה בין כלים קיימים לבין אלגוריתמיקה ייעודית שנכתוב לטובת המיפוי של חברת Korg.

להלן פירוט הארכיטקטורה ומפת הדרכים המלאה לביצוע:

1. הטכנולוגיות הנדרשות (Tech Stack)
   שפת פיתוח מרכזית (Backend): Python (גרסה 3.10 ומעלה) – חובה, עקב התמיכה המוחלטת בספריות האודיו וה-AI.

מודל הפרדת ערוצים (Source Separation): Demucs (מבית Meta).

מודל תמלול לתווים (Audio-to-MIDI): Basic Pitch (של Spotify) או Omnizart.

מודל ניתוח צליל (Audio Analysis): Essentia או Librosa.

ספריית עיבוד קובצי MIDI: Mido או Pretty_MIDI.

ממשק משתמש (Frontend): React.js (או לחלופין Streamlit / Gradio לפיתוח ממשק מהיר מבוסס פייתון).

1. מפת דרכים – 5 שלבי צינור העיבוד (The Pipeline)
   שלב 1: מנוע פענוח דגימות קורג (Korg Parser & Classifier)
   מטרת השלב: לחלץ את גלי הקול מתוך קובצי הסט של האורגן, לזהות איזה כלי נגינה הם מייצגים, ולמפות אותם לתווי MIDI.

פעולות לפיתוח:

כתיבת סקריפט Python הקורא את המבנה הבינארי של קובצי .KSF (הדגימה עצמה) ו-.KMP (קובץ המיפוי של קורג).

המרת הנתונים הבינאריים של ה-.KSF לקובצי שמע תקניים בפורמט .wav (16bit / 44.1kHz).

העברת כל קובץ .wav שחולץ דרך ספריית Librosa או Essentia כדי לסווג את סוג התוף (Kick, Snare, Hi-Hat, Tom).

יצירת קובץ התאמה בפורמט JSON (Drum Map), השומר איזה קליד ב-MIDI שייך לאיזה כלי (לדוגמה: מפתח 36 (C1) = Kick, מפתח 38 (D1) = Snare).

שלב 2: הפרדת ערוצים מתוך שמע קיים (Audio Separation)
מטרת השלב: לבודד את מקצב התופים מתוך שיר מלא או הקלטה שממנה המשתמש רוצה לקבל השראה.

פעולות לפיתוח:

קבלת קובץ שמע (WAV/MP3) מהמשתמש.

שליחת הקובץ למודל ה-Demucs. המודל מחזיר 4 קובצי שמע נפרדים (Drums, Bass, Vocals, Other).

שמירת קובץ ה-Drums בלבד לטובת השלב הבא, תוך סינון רעשי רקע באמצעות אלגוריתם Noise Gate בסיסי במידת הצורך.

שלב 3: תמלול האודיו לתווים דיגיטליים (Audio-to-MIDI)
מטרת השלב: להפוך את קובץ התופים המבודד מרצף של גלי קול לרצף של פקודות MIDI מדויקות.

פעולות לפיתוח:

העברת קובץ ה-Drums המבודד למודל Basic Pitch או Omnizart.

הפקת קובץ MIDI (Format 0) גולמי. הקובץ חייב להכיל את הנתונים הבאים לכל מכה: זיהוי התו, זיהוי עוצמת המכה (Velocity), וזמן ההקשה המדויק במילישניות.

שלב 4: יישור קצב ומיפוי מחדש (Quantization & Remapping)
מטרת השלב: עיבוד הקובץ הגולמי כדי שיישמע מהודק כמקצב מקצועי, והתאמתו לדגימות של המשתמש משלב 1.

פעולות לפיתוח:

Quantization (יישור לקצב): שימוש בספריית Mido כדי ליישר את מיקומי התווים לרשת קצב קבועה (Grid) של 1/16 או 1/8. יש להוסיף משתנה שיאפשר להחיל "Swing" (הסטה קלה של התווים הזוגיים ליצירת תחושה אנושית).

Remapping (מיפוי מחדש): הסקריפט יקרא את קובץ ה-JSON שנוצר בשלב 1. עליו להחליף את התווים שהופקו בשלב 3 בתווים המדויקים הנדרשים עבור הסט של קורג. (לדוגמה: אם Basic Pitch זיהה Kick בתו C2, אך מפת ה-JSON של קורג דורשת שה-Kick יהיה בתו C1, הקוד יבצע המרה אוטומטית ל-C1).

שלב 5: בניית פורמט המקצב למשתמש (Style Generation & UI)
מטרת השלב: יצירת התוצר הסופי ובניית ממשק ידידותי למשתמש שמנהל את התהליך.

פעולות לפיתוח:

עטיפת ה-MIDI שהופק כך שיכיל סמנים (Markers) המזהים חלוקה לוריאציות (Variation 1-4) ומעברים (Fills), כדי שמערכת הקורג תזהה זאת כמקצב תקין ולא סתם כשיר MIDI.

פיתוח ממשק Web המאפשר: העלאת קובצי הדגימות, העלאת שיר רצוי, קביעת מהירות (BPM), וכפתור ייצוא.

שילוב רכיב Chat פשוט בממשק, בו ניתן להקליד פרמטרים מילוליים. הצ'אט יתרגם הנחיות מילוליות (לדוגמה: "עשה קוונטיזציה של 1/16 והוסף 10% Swing") לפקודות במערכת ה-Python.

1. שלבי ביצוע לפרויקט (Milestones)
   כדי להבטיח התקדמות בטוחה ויעילה, אני מבקש לעבוד לפי אבני הדרך הבאות:

אבן דרך 1: הוכחת יכולת (PoC) של התמלול והמיפוי (ללא ממשק משתמש).
המשימה: קח קובץ שמע קצר של תופים בלבד, העבר אותו דרך Basic Pitch, ישר אותו ב-Python (Quantization) ושמור אותו כ-MIDI תקין.

אבן דרך 2: פיצוח פורמט קורג (Parser).
המשימה: כתיבת סקריפט ממוקד שיודע לפתוח קובץ .KMP ו-.KSF, לשלוף מהם קובץ .wav אחד תקין ולקרוא את מפת התווים.

אבן דרך 3: חיבור צד השרת המלא (Backend Pipeline).
המשימה: חיבור שלבים 1 עד 4 לרצף עבודה אחד אוטומטי הפועל משורת הפקודה (CLI).

אבן דרך 4: פיתוח צד לקוח (Frontend).
המשימה: בניית האתר, לחצני ההפעלה, ויצירת התקשורת מול השרת.