הסרטון כבר היה ערוך. הקצב עבד, החיתוכים ישבו, והבעיה שנשארה הייתה באודיו. זה נשמע כמו פרט קטן, אבל ב-AI Video קל מאוד להפוך בעיה בשכבה אחת לסיבה לייצר הכול מחדש.
במקרה הזה זה היה בדיוק הדבר שלא רציתי לעשות.
קודם בודקים מה באמת נשבר
אחרי normalization / gain נחשף noise floor חזק: hiss ורעש דמוי רדיו שנשאר גם בשקט וגם מתחת לדיבור. הווידאו עצמו לא היה הבעיה.
ההבחנה הזאת חשובה, כי generation חדש לא רק עולה עוד ניסיון. הוא גם מסכן דברים שכבר הצליחו: פריימינג, timing, מבטים, פאוזות והחיבור לשוטים שלידו.
מה ניסינו בדרך
Normalization / gain
לא ניקו את המקור. להפך - הם הרימו יחד עם הדיבור גם את הרעש שכבר היה שם.
ניקוי אדפטיבי
במקרה הזה הוא היה אגרסיבי מדי והחליף רעש אחד בארטיפקטים חדשים.
Voice isolation
ElevenLabs Voice Isolator שיפר משמעותית את ההפרדה והראה שיש טעם להמשיך להציל את הפס במקום לוותר עליו.
ניקוי שמרני
RNNoise / arnndn בעוצמה שמרנית נתן כאן תוצאה טבעית יותר אחרי הבידוד, בלי לנסות להפוך את החדר לשקט מוחלט.
למה ניקוי חזק מדי יכול להיות כישלון אחר
כשמנסים למחוק כל רעש, אפשר לקבל קול מתכתי, נשימות לא טבעיות, ציוצים, מילים שנחתכות ושקט שנשמע מלאכותי. לפעמים גם רעש החדר הוא חלק ממה שמחזיק את הסצנה.
לכן המטרה לא הייתה להגיע לגרף נקי. המטרה הייתה שהצופה יפסיק לשים לב לבעיה בלי שהטיפול עצמו יהפוך לבעיה חדשה.
סדר הפעולה שאני לוקח מזה
- מבודדים את שכבת הכשלאם הבעיה באודיו, לא פותחים מחדש את הווידאו לפני שבדקנו אם אפשר לטפל באודיו בלבד.
- מתחילים שמרנימעדיפים טיפול קטן שאפשר להשוות ולבטל על פני ניקוי אגרסיבי שמוחק גם מידע טוב.
- שומרים על מה שכבר עובדחיתוכים, קצב, פריימינג ופאוזות הם נכסים. generation חדש מסכן אותם.
- מייצרים מחדש רק אם השכבה לא ניתנת להצלהזה מוצא אחרון, לא ברירת מחדל.