Proč nelze spoléhat na průzkumy?

Informace podle matematické teorie stejného jména snižuje nejistotu. Pokud vám například řeknu, že jsem dvakrát hodil mincí, víte, že mohly nastat čtyři stejně pravděpodobné výsledky. Když vám ale řeknu, že při prvním hodu padl orel, počet možných výsledků se sníží na polovinu: orel/orel nebo orel/panna.

Informace, kterou jsem vám poskytl, tak snížila vaši nejistotu na polovinu. Vše, co děláme v IT, začíná u „bitu“ jako jednotky informace.

A přesto, když čteme pojednání o našem oboru, až příliš často nedokážou užitečným způsobem snížit naši nejistotu ohledně daného tématu.

Ptáte se, proč to říkám? Jedním z důvodů je, že výzkum v oblasti IT většinou vychází z dotazníkových průzkumů a výsledky bývají formulovány podle osvědčené šablony: x procent z n respondentů dělá nebo plánuje dělat to či ono.

Průzkumy tedy pouze snižují naši nejistotu ohledně toho, kolik lidí nebo podniků dělá něco, co nás zajímá (nebo by podle něčího názoru mělo zajímat). A ani to není jisté, protože nevíme, nakolik byli respondenti ve svých odpovědích upřímní.

Odpovědím nelze věřit

Vezměme si náhodný příklad, kdy CIO v průzkumu uvedl, že plánuje racionalizovat své portfolio aplikací. To ale neznamená, že nakonec dostane rozpočet, aby svůj plán uskutečnil. Často bývá odpověď „ano“ pouhým toužebným přáním – dotazovaný by chtěl něco udělat, kdyby mohl.

Přečtěte si také:

ChatGPT ve firemním prostředí?

Stává se i to, že respondent nechce renomované analytické firmě přiznat, že nemá ponětí, o čem je vlastně řeč. A pokud ano, stydí se připustit, že to, o čem analytici tvrdí, že je zásadní trend, který musí následovat každý, kdo se chce udržet na trhu, prostě pro něj není na pořadu dne.

Hodnota průzkumu z velké části spočívá v následujícím: myslíte si, že by váš podnik měl něco dělat. Něčí průzkum této problematice přisuzuje velkou váhu. Vypadá proto důležitě. Ve skutečnosti je však užití průzkumu k ospravedlnění určitého postupu jen napodobováním ostatních.

Na tom, koho se ptáte, záleží více než na tom, co říká

Průzkumy nesníží naši nejistotu, pokud nejsou doprovázeny informacemi o tom, kdo se jich účastnil – nejen jaké firmy nebo typy podniků, ale také konkrétní pracovní pozice. Koneckonců, zeptejte se IT ředitele, na co plánuje v příštím roce vynaložit prostředky, a porovnejte to s tím, jaké informační technologie je ochoten zaplatit generální ředitel nebo jaké nástroje by potřeboval marketingový ředitel. Je velmi málo pravděpodobné, že se jejich odpovědi budou shodovat.

Intervaly spolehlivosti výsledky zpřesňují jen nepatrně

Ano, „pachatelé“ průzkumů se zlepšují v tom, že nás dnes již většinou informují o velikosti vzorku. Věnuje však někdo čas a energii na to, aby na základě těchto informací vypočítával intervaly spolehlivosti?

I kdybyste to udělali, intervaly spolehlivosti mají zajímavou vlastnost – když už mluvíme o nejistotě a jejím snižování: snižují naši nejistotu ohledně toho, jak jisté jsou výsledky průzkumu.

Intervaly spolehlivosti jsou užitečným lékem na falešnou přesnost, které se mnozí výzkumníci dopouštějí. Mohou například „informovat“ své čtenáře, že 53,7 % respondentů tvrdí, že dělají to či ono. Je to podobné, jako udávat průměrný dojezd elektromobilů s přesností na centimetry.

Ti, kdo dělají průzkum, zkreslují výsledky

To mě přivádí k poslední otázce: ve světě IT se mnoho významných firem, které uskutečňují průzkumy a vydávají studie o jejich výsledcích, zároveň pyšní tím, že jsou na slovo vzatými experty na danou problematiku. Neuvědomují si však přitom logickou zacyklenost svého marketingu.

Možná namítnete, že tato výtka není vůči komunitě výzkumníků a analytiků trhů IT příliš férová. Vždyť už jen získat rozumný počet respondentů pro jejich průzkum je dost těžké.

Přečtěte si také:

Konec pohádky. Nejvyšší platy už nerostou. Nejvíc si vydělá IT ředitel v Praze

O tom není sporu.

Ale smyslem typického průzkumu je informovat příjemce výsledků o tom, že to či ono – ať jde o konkrétní produkt, typ technologie, způsob řízení, preference pracovní síly nebo cokoli jiného – je dostatečně důležité, aby tomu byla věnována pozornost.

Toho lze průzkumem dosáhnout, budeme-li tvrdit, že to za důležité považuje dostatečný počet respondentů.

Dějiny světa jsou však plné příkladů, kdy byl většinový názor mylný. Někdo si možná vzpomene na nešťastný případ operačního systému OS/2 od IBM, jemuž tehdejší výzkumy věštily zaručený úspěch v souboji s Windows.

Možný protilék

V zásadě porušuji zásadu, že nikdo by neměl poukazovat na problém, aniž by současně navrhl řešení. Pokud tedy průzkumy nejsou zase až tak užitečné při rozhodování o perspektivnosti nových technologií, o tom, do jakých IT služeb by měl podnik investovat, jaké postupy řízení IT zvolit a tak dále – je otázka, co by bylo užitečnější?

1. Moje nejlepší odpověď není nijak zvlášť empirická. Postupuje následovně:
2. Jaký problém nebo příležitost se snažíme řešit? Je to natolik důležité, že je potřeba to vůbec řešit?
3. Jak předmět našeho zkoumání řeší daný problém nebo příležitost a je toto řešení věrohodné?
4. Jaký je plán na překonání všech forem setrvačnosti, které bude nutné překonat?
5. Představte si, že po vás nějaký podivínský nakladatel chce, abyste napsali beletristické dílo, které bude vyprávět o úspěchu tohoto řešení. Dokážete si představit, že byste napsali třeba povídku, jejíž průměrné hodnocení na Amazonu by přesáhlo tři hvězdičky a jejíž typická recenze by dílko neodsoudila jako ztrátu času?

Ne, není to přístup založený na důkazech. Mnoho průzkumů se však týká budoucnosti. A na budoucnosti je zvláštní to, že o ní neexistují žádná fakta.

Zatím.

Článek vyšel v magazínu CIO BW 4/23, který si můžete objednat zde.

CIO Business World si můžete objednat i jako klasický časopis (v tištěné i v digitální podobně) Věnujeme se nejnovějším technologiím a efektivnímu řízení podnikové informatiky. Přinášíme nové ekonomické trendy a analýzy a zejména praktické informace z oblasti podnikového IT se zaměřením na obchodní a podnikatelské přínosy informačních technologií. Nabízíme možná řešení problémů spojených s podnikovým IT v období omezených rozpočtů. Naší cílovou skupinou je vyšší management ze všech odvětví ekonomiky.