הערת סטודיו

פחות הוראות, יותר שליטה: למה הפסקנו להעמיס את הפרומפט

במהלך העבודה על סצנות Friends גילינו שיותר פירוט לא תמיד נותן יותר שליטה. לפעמים הוא עושה בדיוק את ההפך: יותר פעולות, יותר דמויות ויותר הוראות באותו generation גרמו לשוט לעבוד קשה מדי. אז התחלנו להוריד.

קל מאוד להגיע בווידאו AI למסקנה שאם המודל לא עשה בדיוק מה שרצינו, פשוט לא הסברנו לו מספיק.

אז מוסיפים.

עוד תיאור של התאורה.

עוד הוראה על תנועת הראש.

עוד שורה על הידיים.

עוד פעולה לדמות ברקע.

עוד משפט על הקצב.

עוד פרט קטן שאמור "לנעול" את התוצאה.

ובשלב מסוים הפרומפט כבר מתאר לא שוט, אלא הפקה שלמה.

בעבודה על סצנות Friends ב-Studio Haim גילינו שוב ושוב שהכיוון הזה לא בהכרח מקרב אותנו לתוצאה.

לפעמים הוא מרחיק.

כשניסינו להכניס סצנה שלמה ל-generation אחד

באחד משלבי העבודה ניסינו לגרום לשוט לעשות יותר מדי בתוך חלון זמן קצר.

כמה דמויות בפריים. פעולות קטנות לכל אחת. תזמון קומי. שפת גוף. תגובה של דמות אחת לאחרת. דיאלוג.

על הנייר הכול נשמע קטן.

אבל עבור מודל וידאו, שלוש פעולות "קטנות" הן עדיין שלוש החלטות תנועה שצריכות לקרות בזמן מוגבל.

ב-Master רחב עם Joey, Chandler ו-Monica ניסינו לתת לכל אחת מהדמויות micro-action בתוך כחמש שניות.

התוצאה לא הרגישה טבעית.

השוט התחיל לרוץ.

תנועות הראש נעשו מהירות מדי, הדמויות ניסו להספיק לבצע את מה שביקשנו, ומה שאמור היה להרגיש כמו רגע סיטקום קטן התחיל להרגיש כמו רשימת משימות.

זו הייתה נקודה חשובה.

לא הייתה בהכרח "בעיה במודל".

הייתה בעיה בבקשה.

מודל וידאו לא קורא פרומפט כמו מסמך דרישות

כשאנחנו כותבים מפרט למפתח, פירוט יכול לעזור.

כשאנחנו עובדים מול מודל גנרטיבי, כל הוראה נוספת נכנסת לאותה מערכת הסתברויות.

היא לא תמיד מחזקת את ההוראות הקודמות.

לפעמים היא מתחרה בהן.

אם Chandler צריך להסתכל על Joey, להרים גבה, לקחת נשימה, להזיז מעט את הגוף, לשמור על חיוך לחוץ ולדבר - אלה לא "פרטים".

אלה כמה אירועי performance שונים.

ואם לידו Joey ו-Monica מקבלים גם הם משימות, המודל צריך להחליט מה חשוב יותר בכל פריים.

הפתרון שלנו היה פחות מתוחכם ממה שחשבנו.

התחלנו להסיר.

פעולה אחת שווה יותר מחמש פעולות קטנות

בשוטים רחבים התחלנו לחשוב אחרת.

במקום "Joey עושה X, Chandler עושה Y, Monica עושה Z" הגישה הפכה להיות: מי באמת צריך לעשות משהו בשוט הזה?

דמות אחת מקבלת את הפעולה.

השאר כמעט סטטיות.

אם צריך performance משמעותי של Chandler - אולי בכלל לא נכון לעשות אותו ב-wide.

עוברים ל-close-up או two-shot.

ה-wide נשאר בשביל setup, awkwardness, מיקום בחלל או תגובה קבוצתית.

ה-performance מקבל שוט משלו.

זה נשמע כמו החלטת בימוי רגילה. וזה בדיוק העניין.

ככל שהכלים משתפרים, העבודה הטובה פחות דומה ל"לכתוב קסם לפרומפט" ויותר דומה לקבלת החלטות של צילום ועריכה.

פחות פרומפט לא אומר פחות מחשבה

זו אולי הטעות הכי קלה כאן.

פרומפט קצר לא אומר: תכתבו חמש מילים ותקוו לטוב.

להפך. כדי לכתוב פחות, צריך להחליט מה באמת חשוב.

אם בשוט אסור לאבד את הפנים של Chandler, את הטיימינג ואת תחושת הלחץ הקומי שלו - אלה הדברים שצריכים לקבל קדימות.

לא חייבים גם לנהל באותו generation את כל העולם מסביבו.

במקרים מסוימים עדיף אפילו לייצר רגע קטן ונקי, לקחת ממנו 1-1.5 שניות שעובדות, ולשלב בעריכה - במקום לנסות להכריח את המודל לייצר שוט שלם מחדש.

מה אנחנו עושים היום

לפני generation אנחנו שואלים: מה הדבר היחיד שהשוט הזה חייב לעשות?

לא מה יהיה נחמד לקבל. לא מה אפשר להוסיף. מה אסור לו לפספס.

אם זו שורת דיאלוג - הדובר וה-performance מקבלים עדיפות.

אם זו תגובה - שומרים את הפעולה קטנה.

אם זה establishing shot - לא מכריחים אותו להיות גם שוט המשחק הכי מורכב בסצנה.

ואם משהו כבר עובד, לא פותחים אותו מחדש רק כי אפשר לנסח אותו "יותר מקצועי".

למדנו את זה בדרך הקשה גם עם Voice Blocks. אבל לזה נגיע בכתבה אחרת.

מה לקחנו מזה

פרומפט טוב הוא לא הפרומפט שמכיל הכי הרבה ידע.

הוא הפרומפט שיודע מה להשאיר בחוץ.

בווידאו AI, שליטה לא מגיעה רק מהוספת הוראות.

לפעמים השליטה מגיעה דווקא מהיכולת להגיד: זה כל מה שאני מבקש מהשוט הזה.