מה זה video-use
video-use הוא ריפו קוד פתוח בחינם שהצוות של browser-use שחרר, והוא הופך את קלוד קוד (או כל סוכן אחר עם גישה לטרמינל) לעורך וידאו. אתם זורקים את חומרי הגלם לתיקייה, פותחים שם את הסוכן, אומרים לו במילים שלכם איזה סרטון אתם רוצים, ומקבלים בחזרה קובץ final.mp4 מוכן.
הרישיון הוא MIT, כלומר חינם לגמרי גם לשימוש מסחרי. נכון לכתיבת המדריך יש לריפו מעל 24 אלף כוכבים בגיטהאב.
הנקודה המעניינת: הסוכן לא באמת צופה בסרטון. הוא קורא אותו. כל קובץ עובר תמלול ברמת המילה הבודדת, וזה מה שמאפשר לו לחתוך בדיוק בין מילה למילה במקום לנחש איפה נגמר משפט.
מה זה עושה
זו רשימת היכולות מתוך ה-README של הריפו עצמו:
רשימת היכולות בריפו הרשמי
| יכולת | מה זה עושה בפועל |
|---|---|
| חיתוך גמגומים | מזהה מילות מילוי כמו אמ ו-אה, התחלות שווא, ושקט מת בין טייקים, וחותך אותם |
| תיקון צבע | מריץ color grading על כל קטע בנפרד, עם פריסטים או שרשרת פילטרים משלכם |
| פייד אודיו | פייד של 30 מילישניות בכל חיתוך, כדי שלא ישמעו פופ בין הקטעים |
| כתוביות | שורף כתוביות בסגנון שלכם, ברירת המחדל היא צמדי מילים באותיות גדולות |
| אנימציות | מייצר שכבות אנימציה דרך HyperFrames, Remotion, Manim או PIL, כל אנימציה בסוכן משנה נפרד שרץ במקביל |
| בדיקה עצמית | בודק את הרנדר של עצמו סביב כל נקודת חיתוך לפני שהוא מראה לכם משהו |
| זיכרון | שומר את מה שלמד עליכם בקובץ project.md, כדי שבפעם הבאה הוא יזכור איך אתם אוהבים לערוך |
מה צריך לפני שמתחילים
שלושה דברים חייבים להיות על המחשב:
- הריפו של video-use, משוכפל לתיקייה קבועה
- ffmpeg זמין ב-PATH. זו דרישת חובה, בלעדיו כלום לא עובד
- מפתח API של ElevenLabs, בשביל התמלול. זה החלק היחיד שהוא לא חינמי לגמרי
ובנוסף, אופציונלי: yt-dlp, אם אתם רוצים למשוך מקורות ישירות מכתובת אינטרנט.
שימו לב: התמלול רץ ב-Scribe של ElevenLabs ולא ב-Whisper מקומי. זו החלטה מכוונת של הריפו, כי Whisper מנרמל את מילות המילוי ומאבד את הפערים מתחת לשנייה, ובדיוק על הפערים האלה כל העריכה מבוססת.
איך מתקינים: הדרך הקצרה
הדרך הכי פשוטה היא לתת לסוכן להתקין את עצמו. פותחים קלוד קוד ומדביקים את הפרומפט הזה:
Set up https://github.com/browser-use/video-use for me.
Read install.md first to install this repo, wire up ffmpeg,
register the skill with whichever agent you are running under,
and ask me for my ElevenLabs API key when you need it.הסוכן ישכפל את הריפו, יתקין את התלויות, ירשום את הסקיל אצלו, ויבקש מכם את מפתח ה-API פעם אחת. זהו.
איך מתקינים: הדרך הידנית
אם אתם מעדיפים לעשות את זה בעצמכם, אלה הפקודות מתוך install.md:
שלב 1, שכפול הריפו:
git clone https://github.com/browser-use/video-use ~/Developer/video-use
cd ~/Developer/video-useשלב 2, התקנת התלויות:
uv sync # or: pip install -e .
brew install ffmpeg # required
brew install yt-dlp # optionalעל אובונטו או דביאן במקום brew:
sudo apt-get update && sudo apt-get install -y ffmpegשלב 3, רישום הסקיל אצל הסוכן. שימו לב שזה קישור סימבולי לתיקייה השלמה, כי התיקייה helpers חייבת לשבת ליד SKILL.md:
mkdir -p ~/.claude/skills
ln -sfn ~/Developer/video-use ~/.claude/skills/video-useולמי שעובד עם Codex:
ln -sfn ~/Developer/video-use "${CODEX_HOME:-$HOME/.codex}/skills/video-use"שלב 4, מפתח ה-API. מוציאים אותו מ-elevenlabs.io/app/settings/api-keys וכותבים לקובץ .env בשורש הריפו:
cp .env.example .env
# then edit .env and add your key:
ELEVENLABS_API_KEY=...אל תעלו את קובץ ה-env לגיטהאב אף פעם.
איך עובדים עם זה
אחרי ההתקנה זה נראה ככה: נכנסים לתיקייה עם חומרי הגלם, מריצים שם את הסוכן, ומבקשים בשפה חופשית.
סשן אמיתי מהריפו הרשמי: הבקשה למעלה, ורשימת המשימות שהסוכן בנה לעצמו למטה
הזרימה שהסוכן עובר:
- מיפוי: מריץ ffprobe על כל קובץ ומתמלל את כולם במקביל
- סריקה מקדימה: עובר על התמלול ומסמן פליטות פה, טייקים כפולים והתחלות שווא
- שיחה: מתאר לכם מה הוא רואה בחומר ושואל שאלות שנגזרות ממנו, לא מרשימה קבועה
- הצעת אסטרטגיה: כמה משפטים על הצורה, החיתוכים, הגרייד והאורך המשוער, ואז הוא עוצר ומחכה לאישור שלכם
- ביצוע: בונה EDL, מייצר אנימציות בסוכני משנה מקבילים, ומרנדר
- בדיקה עצמית: מסתכל על הרנדר שלו סביב כל חיתוך ומחפש קפיצה בתמונה, פופ באודיו או כתובית שנחבאת מאחורי שכבה
- שמירה: מוסיף את מה שלמד ל-project.md
הוא לא מתחיל לערוך לפני שאישרתם את האסטרטגיה, וזה בכוונה.
הכלים שמתחת למכסה המנוע
אם בא לכם לפתוח את התיקייה helpers ולהריץ דברים ידנית, אלה הסקריפטים:
| סקריפט | מה הוא עושה |
|---|---|
transcribe.py | תמלול של קובץ בודד דרך Scribe, עם שמירה במטמון |
transcribe_batch.py | תמלול של תיקייה שלמה בארבעה תהליכים במקביל |
pack_transcripts.py | הופך את התמלולים לקובץ אחד קריא, מפוצל לפי שקט של חצי שנייה ומעלה |
timeline_view.py | מייצר תמונה של פס הזמן, עם פריימים וגל קול והשקטים מסומנים באדום |
render.py | חותך כל קטע, מחבר, מוסיף שכבות, ורק בסוף שורף כתוביות |
grade.py | שרשרת פילטרים של ffmpeg לתיקון צבע, עם פריסטים מוכנים |
טיפים
- תנו לו את כל הטייקים, לא רק את הטוב ביותר. הוא נבנה כדי לבחור בין טייקים כפולים, וזה בדיוק החוזק שלו
- אל תתקנו את הטקסט לפני שאתם מכניסים. מילות המילוי הן מה שהוא מחפש
- כשהוא מציע אסטרטגיה, קראו אותה. שינוי כיוון בשלב הזה עולה שנייה, אחרי הרנדר זה עולה הרבה יותר
- אל תבקשו ממנו לתמלל מחדש קובץ שכבר תומלל. התמלול נשמר במטמון וזה בזבוז של קרדיטים
- העדיפו את הפריוויו לפני הרנדר המלא. יש דגל preview שמוציא 720p מהר
- אחרי כמה סשנים תסתכלו על project.md. שם אפשר לראות מה הוא חושב שאתם אוהבים, ולתקן אותו בכתיבה חופשית
- אם אתם עורכים בעברית, בקשו במפורש כתוביות בעברית מיושרות לימין. ברירת המחדל היא צמדי מילים באנגלית באותיות גדולות
מגבלות
- התמלול עולה כסף. Scribe הוא שירות בתשלום של ElevenLabs, וכל קובץ מקור נשלח אליו
- הפקודות בתיעוד כתובות למק. על ווינדוס תצטרכו להתקין ffmpeg בעצמכם ולהתאים את הנתיבים
- זה לא ממשק גרפי. אין ציר זמן ואין גרירה, הכל בשיחה, וזה מתאים למי שנוח לו בטרמינל
- מנועי האנימציה מותקנים רק כשצריך אותם, אז ההרצה הראשונה שכוללת אנימציה תיקח יותר זמן
לינקים
- הריפו הרשמי:
https://github.com/browser-use/video-use- הוראות ההתקנה המלאות:
https://github.com/browser-use/video-use/blob/main/install.md- מפתח API של ElevenLabs:
https://elevenlabs.io/app/settings/api-keys