Tvorba zavádějících obsahů

V sociálních médiích mnoho obsahů neprochází před zveřejněním důkladnou kontrolou. Moderace se často soustředí na extrémně škodlivé obsahy, například materiály určené pouze pro dospělé nebo extremistické obsahy. Oproti tomu běžné informace, názory a komentáře často zůstávají v oběhu, protože platformy jsou vytvořeny pro výměnu názorů a budování komunit kolem určitých témat.

Vytváření zavádějících obsahů může mít automatizovanou formu. Lze zřídit mnoho účtů, které zveřejňují podobné příspěvky a šíří stejné informace, čímž vytvářejí dojem, že se jedná o všeobecně uznávaný fakt. Pro příjemce to vypadá, jako by „všude říkali totéž“, ačkoli ve skutečnosti může příspěvek pocházet z jediného zdroje, jen je opakovaně šířen.

V praxi mohou být takové aktivity součástí boje o vliv, o podporu nebo o udržení moci. Na vyšší úrovni se někdy jedná také o druh informační války, v níž se různé skupiny nebo státy snaží ovlivňovat veřejné mínění. Vzhledem k nadbytku informací a rychlému šíření zpráv je stále obtížnější rozlišit pravdu od sdělení, které pouze předstírá, že jde o spolehlivou informaci.

Důležitým faktorem je také to, že umělá inteligence urychluje tvorbu obsahu. Usnadňuje vytváření mnoha verzí stejného sdělení, psaní komentářů, přípravu popisů a shrnutí. To může problém ještě zhoršit, protože v krátké době lze vyprodukovat velké množství materiálů, které vypadají správně, ale přesto vedou příjemce k mylným závěrům.

Je také třeba mít na paměti, že část moderace funguje teprve tehdy, když někdo nahlásí problém. Pokud mnoho lidí obsah nenahlásí, nebo pokud je obsah napsán „chytře“ a přímo neporušuje pravidla, může se šířit velmi dlouho. Proto by se nemělo předpokládat, že pokud je něco na platformě, bylo to určitě zkontrolováno.