Viggle Remake: quay lại video bằng LoRA trên MiniMax H3

Viggle Remake vừa được đội ngũ Viggle Research công bố trên Hugging Face khoảng ngày 4/11/2026 — một cặp LoRA mở trên nền MiniMax-H3 giúp bạn "quay lại" (remake) video có sẵn: đổi nhân vật, chỉnh object, đổi nền / thời tiết / ánh sáng, trong khi vẫn giữ motion, camera, timing và soundtrack gốc.

Khác với hướng tạo video từ đầu, Remake nhắm vào chỉnh sửa có kiểm soát trên footage bạn đã có quyền sử dụng. Bài viết này tóm tắt đúng theo model card chính thức và tài liệu ComfyUI kèm theo, kèm lưu ý license, phần cứng, workflow agent MCP và vài tình huống thực tế cho creator / studio nhỏ.

Nguồn: Hugging Face — social thumbnail model Viggle/Viggle-Remake

Vì sao Remake đáng chú ý ngay lúc này?

Năm 2026, AI tạo video không chỉ còn là "sinh clip ngắn từ text". Nhu cầu phổ biến hơn ở production là giữ nhịp và camera đã quay, rồi chỉ thay lớp nội dung (cast, prop, bối cảnh). Remake đứng đúng chỗ đó:

• Bạn không phải tái dựng toàn bộ chuyển động bằng prompt.
• Soundtrack gốc được mang theo — model không cố sinh nhạc mới.
• Có đường chạy agent-first (MCP) để xử lý film dài theo cửa sổ, không chỉ một shot demo.

Nếu đang theo bức tranh rộng của AI video, có thể đọc thêm Xu hướng AI tạo video 2026. Còn trong hệ sinh thái MiniMax-H3, Remake là nhánh video-to-video có điều khiển, khác với các bài về sinh ảnh/video linh hoạt hơn như Pika H3 Flex / P-H3-Image — bài này không viết lại chủ đề đó.

Viggle Remake là gì về mặt kỹ thuật?

Viggle Remake gồm hai LoRA PEFT (rank 256 / alpha 256) gắn trên transformer FL2VA của MiniMax-H3 base (khoảng 20B tham số ở tầng diffusion). Mỗi mode là một LoRA riêng trên cùng base:

Mode	Thư mục / file	Việc làm được
swap	lora/swap	Thay người / nhân vật — một hoặc nhiều cùng lúc
edit	lora/edit	Đổi / xóa / thêm object; đổi nền, thời tiết, ánh sáng, phong cách

Theo model card, Remake là bản preview hướng "Viggle-Animate v2": Animate chủ yếu thay character; Remake mở rộng sang swap / remove / insert object và chỉnh setting.

Cũng có bản low-rank trong lora_lowrank/ (rank 128 hoặc 64, khoảng 1.34 / 0.67 GB) — phía phát hành mô tả output gần giống bản full. Khi thiếu dung lượng ổ hoặc muốn thử nhanh, đây là lựa chọn hợp lý trước khi tải full rank 256 (~2.67 GB mỗi mode).

Input: video nguồn + khung hình vẽ tay

Luồng chuẩn không phải "chỉ gõ một câu prompt":

1. Video nguồn — nên convert về 24 fps trước khi đưa vào ComfyUI (ffmpeg -i in.mp4 -r 24 source.mp4); sample.py tự xử lý bước này.
2. 1–4 ảnh tham chiếu vẽ tay (ref1 … ref4) — quyết định identity và look. Đây là nơi bạn "vẽ" nhân vật / object muốn thấy.
3. Có thể pin từng ref vào chỉ số frame nguồn (--pin, ví dụ 12, 96) để khóa composition tại khung đó.
4. Prompt theo định dạng sáu phần của MiniMax-H3 (chi tiết trong PROMPTING.md trên repo). Timestamp trong prompt phải khớp độ dài --frames.

Đầu ra giữ motion, camera, timing và soundtrack gốc. Nguồn im lặng → kết quả im lặng. Identity không đến từ một cơ chế "face ID" riêng biệt, mà từ frame bạn vẽ — điểm này rất quan trọng khi bàn về consent (xem cuối bài).

Nguồn: Hugging Face Viggle/Viggle-Remake — examples/inputs/edit-remove-turbines/ref1.png

Nguồn: Hugging Face Viggle/Viggle-Remake — examples/inputs/swap-pineapple-mascot/ref1.png

Hai example trên cũng là bộ kiểm tra nhanh trong examples/demo.sh: nếu turbine vẫn còn hoặc người làm pizza không đổi sau khi chạy, LoRA chưa load đúng.

Cửa sổ render và video dài

Một lần sample/render xử lý khoảng 90–345 frames, với --frames = 17n + 5. Khuyến nghị tới khoảng 294 frames (~12 giây ở 24 fps). Độ phân giải thường gặp:

• short-edge 480 → khoảng 832×480 (16:9),
• short-edge 736 → khoảng 1280×736.

Video dài hơn phải cắt thành nhiều cửa sổ (ưu tiên cắt ở shot), render rồi ghép lại. MCP server được thiết kế đúng cho việc này: agent tự cắt, render, kiểm tra và splice kèm soundtrack.

Chạy trên GPU của bạn với sample.py

Repo cung cấp inference/sample.py làm reference sampler. Bạn cần:

• Base MiniMax-H3 (~144 GB file base theo hướng dẫn download chọn lọc: transformer, text encoder, tokenizer, processor, VAE, audio VAE, scheduler…).
• LoRA + sampler từ Viggle/Viggle-Remake (lora/*, inference/*, examples/* — khoảng vài GB; cả repo ~210 GB nếu tải hết).
• Không git clone kèm git-lfs nếu chỉ cần LoRA — sẽ kéo hết weights.
• GPU khoảng 80 GB+ cho bf16 với sample.py (đo đạc phía phát hành: ~87–91 GiB ở 832×480, 226 frames).

Ví dụ rút gọn theo README:

hf download MiniMaxAI/MiniMax-H3 --local-dir ./MiniMax-H3 \
  --include "modular_model_index.json" "transformer/*" "text_encoder/*" \
            "tokenizer/*" "processor/*" "vae/*" "audio_vae/*" \
            "scheduler/*" "audio_scheduler/*" "docs/*"

hf download Viggle/Viggle-Remake --local-dir ./Viggle-Remake \
  --include "lora/*" "inference/*" "examples/*" "requirements.txt"

pip install -r Viggle-Remake/requirements.txt   # + ffmpeg trên PATH

python Viggle-Remake/inference/sample.py --mode swap \
  --video source.mp4 --prompt prompt.txt \
  --ref ref1.png --ref ref2.png --pin 12 --pin 96 \
  --frames 124 --short-edge 480 --seed 0 \
  --base ./MiniMax-H3 --lora-repo ./Viggle-Remake --out out.mp4

Muốn dùng mà không tự dựng GPU: Viggle cũng có app chạy Remake giúp người dùng cuối ("no setup, no GPU" theo banner trên model card).

ComfyUI: node pack và LoraLoaderBypassModelOnly

Remake có node pack comfyui/ComfyUI-Viggle-Remake với khoảng ba node chuyên dụng (Conditioning, Keyframe Until, Noise) — đã test với ComfyUI 0.42.0. Phần còn lại dùng node stock + MiniMax-H3 (Load Diffusion Model, Load CLIP type minimax, Load VAE ×2, SamplerCustomAdvanced…).

Điểm quan trọng khi dựng graph:

• Dùng diffusion fl2va, không dùng ref2va — LoRA gắn đúng base transformer như sample.py.
• File LoRA ComfyUI: viggle_remake_swap_comfyui.safetensors / viggle_remake_edit_comfyui.safetensors (repack tên layer).
• Bắt buộc load LoRA bằng LoraLoaderBypassModelOnly. Loader merge thường (LoraLoaderModelOnly) cộng LoRA vào trọng số bf16 khiến phần lớn update bị làm tròn mất (ước lượng còn ~37–73% trên attention/MLP). Trên example swap, bản merge kém sắc hơn và lệch reference hơn (PSNR ~21.2 dB so với ~24.7 dB khi bypass).
• Hai mode dùng ManualSigmas khác nhau (bảng trong COMFYUI.md).
• Workflow mẫu: remake_swap_ui.json / remake_edit_ui.json (và bản *_api.json cho /prompt).

Nguồn: ComfyUI Wiki — s.comfyui-wiki.com/news/viggle-remake/cover.jpg

Nếu bạn đang tìm hiểu workflow node-based, đọc thêm ComfyUI là gì — hướng dẫn cho người mới. Về khái niệm LoRA so với checkpoint: LoRA và Checkpoint khác nhau thế nào. Muốn tự train nhân vật riêng (không phải Remake): Cách train LoRA nhân vật AI.

int8 / GGUF cho GPU nhỏ hơn

Mỗi mode còn có bản transformer đã merge LoRA ở fp32 rồi lượng tử hóa — thay cả base diffusion + LoRA loader trong graph (đừng load thêm Remake LoRA lên file này):

Định dạng	Kích thước gần đúng	Gợi ý phần cứng
int8 (native ComfyUI)	~21 GB/file	Ổn trên ~16 GB+ ở 832×480
GGUF Q8_0	~22.3 GB	Chất lượng gần int8
GGUF Q6_K	~17.6 GB	Cân bằng
GGUF Q4_K_M	~14.3 GB	Nhỏ nhất; có thể xuống ~12 GB VRAM với --reserve-vram

Merge không đi qua bản bf16 trung gian, nên không bị mất update LoRA như khi merge bằng LoraLoaderModelOnly. Phía phát hành đo trên B200 (card nhỏ được giả lập bằng free VRAM); trên card consumer thật có thể cần chỉnh flag low-VRAM.

Text encoder MiniMax-H3 (50 layer đầu của Qwen3-VL 32B) cũng có bản bf16 / int8 / nvfp4 — encoder chạy trước sampling và stream qua card, nên ít quyết định "card có chạy được không" hơn transformer.

Agent-first: MCP server

Remake được thiết kế ưu tiên agent. Thư mục mcp/ cung cấp MCP server + render worker để Claude Code, Codex (hoặc agent nói MCP khác) nhận một câu kiểu "recast the band as…", "make it snow", "turn everyone into cats", rồi tự:

• tìm cut / cắt cửa sổ,
• vẽ keyframe,
• viết prompt,
• render trên GPU (worker theo từng GPU),
• ghép kết quả + soundtrack,
• (theo mô tả) tự kiểm tra kết quả trước khi trả film.

Cài nhanh (chỉ MCP, không kéo weights):

hf download Viggle/Viggle-Remake --include "mcp/*" --local-dir viggle-remake
cd viggle-remake/mcp
pip install -e .              # server
pip install -e '.[worker]'    # máy có GPU: thêm render worker

Ví dụ đầy đủ trong mcp/examples/white-house-funk/ (parody AI; người trong ảnh không tham gia / approve / endorse — đọc disclaimer trên model card). Agent tự paint keyframe nên mỗi lần chạy chi tiết khác nhau.

Tình huống dùng hợp lý (và không hợp lý)

Hợp lý khi bạn có quyền trên footage: recast performer đã đồng ý, đổi prop / set / thời tiết cho animatic, thử style trên shot có sẵn, prototype MV / parody có ghi chú AI.

Không hợp lý khi đưa likeness người thật vào cảnh họ chưa đồng ý. Model card nói rõ: quyết định identity nằm ở frame bạn vẽ; không có lớp verify consent bên trong model.

License, attribution và cảnh báo consent

• Weights (gồm int8/GGUF đã merge): MiniMax H3 Community License (Model Derivative). Đọc kỹ trước khi redistribute / ship sản phẩm.
• Code (inference/, examples/, comfyui/, mcp/): Apache 2.0 — chỉ cover script/prompt, không cấp quyền footage thứ ba trong examples/.
• Attribution khuyến nghị: "Powered by Viggle Remake" kèm link Hugging Face. License MiniMax còn yêu cầu hiển thị "MiniMax H3" nổi bật với sản phẩm thương mại, kèm NOTICE / đánh dấu file sửa, và các nghĩa vụ khác (kể cả ngưỡng doanh thu cần xin phép bằng văn bản — xem agreement gốc).
• Consent: gắn nhãn AI-generated khi phát hành; xem Section V.5 nếu bạn offer như dịch vụ.

Hạn chế nên biết trước

• ~12 giây / cửa sổ; clip dài phải cắt.
• Nặng: bf16 + base lớn; consumer GPU nên đi int8/GGUF + ComfyUI.
• Prompt sáu phần bắt buộc; timestamp phải khớp --frames.
• Seed giống nhau giữa ComfyUI và sample.py cho cùng kết quả trực quan, nhưng không bit-identical (kernel attention / thứ tự toán khác).
• Failure đã ghi nhận: nhân vật non-humanoid một take dài; artifact chi tiết nhỏ; drift thời gian khi multi-shot không pin.

Khi cần API thay vì tự host

Tự chạy Remake đòi hỏi ổ đĩa lớn và GPU mạnh (hoặc pipeline lượng tử hóa + RAM hệ thống cao). Nếu bạn cần API tạo ảnh / video cho sản phẩm hoặc pipeline production mà không muốn vận hành cluster riêng, có thể tham khảo Lumina cùng các dịch vụ trên Sydigi: /dich-vu/api-tao-video-ai, /dich-vu/api-tao-anh-ai. Liên hệ để được giá tốt nhất — bài này không công bố mức giá cụ thể.

Kết luận

Viggle Remake là bước đáng chú ý trong hướng video-to-video có kiểm soát trên MiniMax-H3: hai LoRA swap/edit rank 256, workflow ComfyUI rõ ràng (nhớ LoraLoaderBypassModelOnly), bản lượng tử hóa xuống khoảng 12 GB VRAM, và MCP để agent remake cả film dài theo cửa sổ. Nếu bạn đã có footage hợp pháp và muốn đổi cast / prop / setting mà giữ nhịp gốc, đây là công cụ mở đáng theo dõi ngay sau ngày công bố trên Hugging Face (@viggleai).

---

Nguồn tham khảo

1. Viggle/Viggle-Remake — Hugging Face model card (công bố ~4/11/2026)
2. COMFYUI.md — ComfyUI, int8 và GGUF
3. Ảnh minh họa: Hugging Face social thumbnail; ComfyUI Wiki cover; examples/inputs/edit-remove-turbines/ref1.png và examples/inputs/swap-pineapple-mascot/ref1.png trên repo Viggle Remake
4. Tài khoản: @viggleai