Muži, kteří nenávidí filmy

V závěru Digital Humanities jsme opustili text i grafy a pustili se do zkoumání pixelů. Vzorem nám nebyl opět nikdo menší než Lev Manovič, který se v rámci kulturní analýzy zabývá zejména zkoumáním obrazového materiálu. Možná, že jsou Van Goghovy obrazy mistrovským dílem, ale pro nás je to jen shluk čísel vykazujících určité vlastnosti: světlost, dominantní odstín, poměr stran… Namísto kvality děl nás zajímá kvantita dat – vlastnosti, které lze objektivně měřit a porovnávat. Svým způsobem je to leitmotiv Digital Humanities, který nejradikálněji vyjadřuje Franco Moretti jako Distant Reading: proč bychom měli díla číst, když je může analyzovat stroj? Při množství informací a děl, které lidstvo každý den vyprodukuje, má tento přístup něco do sebe. Redukce informací však nemusí být cíl sám o sobě, analytický pohled „z dálky“ nám může odhalit nové souvislosti.

ImagePlot: Larsson v grafu

V naší analýze jsme se zaměřili na filmy. Nejprve jsme si je rozsekali na jednotlivé záběry pomocí aplikace Shotdetect, se kterou jsem se již důvěrně seznámil při analýze zpravodajství. Výsledné záběry jsme si zanesli na graf prostřednictvím ImagePlot, což je zajímavý „hack“ nad aplikací ImageJ.

Software ImageJ byl původně vyvinutý pro analýzu radiologických snímků, jedná se však o dobře rozšiřitelnou platformu pro zkoumání obrazových dat. Manovič a spol. si jej proto vybrali jako základní nástroj pro své kulturní průzkumy a vytvořili makro ImagePlot. Ten vezme výsledek analýzy sady obrázků z ImageJ a zanese je do grafu; co budou jednotlivé osy grafu znamenat, to záleží na tom, co zkoumáte. Podrobný postup popsal Pavel, včetně kreativních triků jak data pro ImagePlot poupravit.

Pro účely analýzy jsem si vybral rovnou dva filmy; konkrétně švédskou a americkou adaptaci románu Stiega Larssona Muži, kteří nenávidí ženy. Není v tom nějaká speciální záliba v předloze nebo v některé z adaptací, na americké verzi mě zdaleka nejvíc zaujal soundtrack od T. Reznora a A. Rosse (Nine Inch Nails). Je to však zajímavý materiál pro porovnání, protože oba filmy zpracovávají stejný příběh a přitom vznikly krátce po sobě (2009 a 2011).

Přes ImagePlot jsem zanesl záběry z filmů na graf ukazující závislost mezi časem a průměrnou světlostí snímku. Pro získání dat o záběrech jsem sáhl do výstupů ze Shotdetectu a pomocí skriptu si je převedl na tabulku. Výsledná data jsem přidal jako další sloupce do výsledku analýzy z ImageJ; tímto způsobem se potom dá se stopáží filmu pracovat jako s dalším parametrem pro ImagePlot.

Co z toho? Obligátně lze konstatovat, že americká adaptace je celkově ponurejší, možná i vizuálně méně kontrastní. Zdá se však, že co do celkové barevnosti jsou si oba filmy podobné; že by se zde projevovala severská bezútěšnost polární zimy?

Hustota informací je v této vizualizaci až tak vysoká, že celek není dobře čitelný. Namísto jednotlivých střihů by stačilo snímky z filmu sesbírat s konstantním odstupem času, třeba každé 3 sekundy. Tím by se eliminovaly „clustery“ střihů a graf by se zpřehlednil. Případně by reálné obrázky z filmů mohly zastoupit barevné body v dominantní barvě záběru (nepodařilo se mi však zjistit, jak k tomu ImagePlot donutit).

Pokud chci analyzovat pouze barevné složení a vyváženost, je pro mě časová informace zanedbatelná. Zajímavě vyšel graf porovnávající průměrnou světlost a směrodatnou odchylku (standard deviation).

Zde rozdíl mezi světelnou (ne)vyvážeností obou filmů bije do očí. Přitom však mají oba filmy jednu věc společnou: nejsvětlejší záběry tvoří detaily obrazovek či papírů. Málo scén se odehrává na denním světle a Fincher zřejmě více pracuje s barevným tónováním scén. Porovnání trochu zkresluje fakt, že řada snímků ve švédské adaptaci je jakoby zduplikovaných, zřejmě v důsledku častějších střihů či chybné automatické detekce záběrů.

Vizuální stopa

Postupnou redukcí informací se můžeme od zdrojového materiálu vzdálit natolik, až nám zůstane jen pouhý záblesk původního díla. Některé projekty se zabývají právě vytvářením takového „perceptuálního hashe,“ otisku, který film jednoznačně identifikuje. Ten může říct něco o obsahu filmu, ale současně třeba umožní jeho porovnání s dalšími díly.

Moviebarcode: Film jako čárový kód

Velice jednoduchý systém představuje moviebarcode. Snímky filmu se zredukují na jeden pixel široké proužky, čímž vznikne barevný „čárový kód.“ Ačkoli nenese mnoho informací o původním díle, jedná se o poměrně efektní a nenáročnou vizualizaci. K tomu existuje řada open-source implementací (já jsem použil tento skript – ano, má čínský manuál a ne, není v něm nic důležitého).

Rozdílná světlost i barevná příbuznost obou filmů je zde už zcela zřejmá, ale to je asi tak vše, co se z tohoto kódu dá odvodit. V každém případě si budou žánrově bližší než třeba… Planeta Teror od Roberta Rodrigueze.

Cinemetrics

Naopak o co nejkomplexnější pohled se pokusil Frederic Brodbeck v projektu Cinemetrics.¹ Jeho cílem je zachytit většinu aspektů filmu – kromě barev a střihů pracuje i s mírou pohybu, zvukovou stopou, rozdělením kapitol či sentimentem titulků. Část kódu pro sběr dat byla zveřejněna, byť bez dokumentace a s chybami; ty se mi podařilo opravit, takže jsem mohl provést analýzu.²

Samotný proces sběru dat je poměrně zdlouhavý; skládá se z minimálně deseti kroků a počítá s tím, že se data budou upravovat. Pro manuální výběr střihů se ze záběrů sestaví slitscan, kde se z každého snímku vezme proužek odpovídající jeho pořadí v průběhu záběru.

Já jsem však záběry po automatickém zpracování netřídil, nebylo to zapotřebí. Sběr dat už neřeší samotnou vizualizaci; výstupem může být plakát či interaktivní animace – k tomu autor vytvořil zajímavou aplikaci, kterou už však nezveřejnil. Tak jsem si jím navržený systém vizualizace implementoval s použitím knihovny D3.

Pro zobrazení animace navštivte článek na původním webu.

Vizualizace se snaží zachytit barevnost jednotlivých kapitol filmu (výseče kruhu) a celkovou míru pohybu v záběrech (znázorněný soustředným pohybem výsečí). V případě americké verze filmu jsem ještě vyjmul úvodní titulky, které se od zbytku filmu výrazně liší.

Na první pohled se zdá, že švédská adaptace bude akčnější, avšak spíše se projevují nedostatky vizualizace v této formě; míra pohybu je spočítaná jako medián záběrů v celé kapitole, takže se ve výsledku akční záběry vykrátí s pomalými. Tempo americké verze je velice proměnlivé, proto pohled na celkovou kapitolu mnoho neodhalí. Zajímavější by bylo vizualizovat míru pohybu po záběrech, což je i myšlenkou Brodbeckovy původní implementace. To by však bylo celkově náročnější na zpracování dat i výsledné zobrazení.

Dalším nedostatkem této vizualizace je zobrazení barev: tím, že zůstávají staticky na místě, to budí dojem, jako by vnější a vnitřní barvy měly větší celkový podíl na záběrech. To není úmysl. Zadřel jsem si mozkové závity na středoškolské geometrii, ale problém se mi vyřešit nepodařilo. Každopádně kód vizualizace je k dispozici (zralý na celkový přepis).

Upřímně, očekával jsem o něco vizuálně atraktivnější výsledek, ale zjevně jsem si vybral špatný žánr. Inu, není to Planeta Teror…

Vizuální otisk filmu vypadá jako esteticky zajímavá, leč neužitečná hračka. Nicméně představuje jednu z cest jak uvažovat nad multimediálním dílem ve snaze postihnout co nejvíce jeho aspektů. Pro zkoumání určitého žánru nebo filmografie konkrétního režiséra to může být užitečný nástroj.

Sen o robotickém divákovi

Strojová analýza filmů je podstatně tvrdší oříšek než analýza textu. Dat je mnohem více a užitečné informace se z nich získávají mnohem obtížněji. Své o tom ví i Netflix, který si pro svou absurdně podrobnou klasifikaci filmů najal armádu lidí, kteří filmy hodnotí v měřítkách jako je „míra romance“ či „morálka postav.“ Výsledek však představuje jen další vstup pro algoritmy strojového učení, které vám doporučí filmy v žánrech typu „Kontroverzní vězeňské satiry z 90. let.“ Nejspíše je pouze otázka času, než nás ve sledování filmů také nahradí dostatečně sofistikované programy…