Sintetički podaci u istraživanjima: Genijalnost ili samo lijenost?

Goran Peremin
Sintetički podaci u istraživanjima: Genijalnost ili?
Vrijeme je da otvoreno progovorimo: jesu li sintetički podaci u istraživanjima briljantna inovacija ili samo još jedan shortcut za one koji ne žele prljati ruke stvarnim podacima? Evo što kažu najnovija istraživanja, iskustva iz prakse i rezultati s američkih, britanskih i njemačkih fakulteta – plus, kako sve to možeš iskoristiti za stvarni rast u marketingu.

Što je AI-pokretano sintetičko istraživanje tržišta?

Zamisli da provodiš anketu, ali umjesto da plaćaš stvarne ljude da je ispune (ili moliš prijatelje i rodbinu da odgovore na još jedan dosadni upitnik), pustiš umjetnu inteligenciju da stvori sintetičke ispitanike. To su virtualne osobe koje oponašaju stvarne ljude – s vlastitim stavovima, preferencijama i mišljenjima.

Sintetički podaci su umjetno generirani podaci koji imitiraju strukturu i odnose stvarnih podataka, ali ne sadrže informacije o stvarnim osobama. Drugim riječima, AI analizira stvarne skupove podataka, uči obrasce i potom generira nove, “lažne” podatke koji izgledaju kao pravi – ali bez GDPR glavobolje.

Zašto je to važno?

  • Brzina i skalabilnost: Trebaš milijun odgovora do sutra? Sintetički podaci to omogućuju.
  • Privatnost: Nema više straha od povrede osobnih podataka – sintetički podaci su anonimni po defaultu.
  • Fleksibilnost: Možeš simulirati i najrjeđe scenarije ili “rubne slučajeve” koje bi stvarnim istraživanjem teško uhvatio.

Evo kako to funkcionira:

  • Augmentirani sintetički podaci: Popunjavaju praznine tamo gdje nemaš dovoljno stvarnih podataka. Nedostaju ti mladi dečki u demografiji? AI će ih nadoknaditi.
  • Umjetni sudionici: Potpuno lažni ispitanici koji mogu masovno simulirati odgovore na ankete.

Zvuči kul, zar ne? Sve dok ne shvatiš da su podaci koje izbace samo onoliko dobri koliko i model kojim ih hraniš. Smeće unutra, smeće van, prijatelju.

Kratka povijest prikupljanja podataka

Prije nego što je AI bahato stupio na scenu, istraživanje tržišta bilo je sirovo, skupo i sporo kao vrag. Evo kratke vremenske crte za one koji nisu upućeni:

1930-e – 1980-e: Anketa od vrata do vrata i telefonski pozivi
George Gallup praktički je izmislio cijelu industriju. Tada su ankete provodili stvarni ljudi koji su išli od kuće do kuće ili zvali ljude na fiksne telefone. Bilo je precizno, ali bolno sporo i nevjerojatno skupo.

  • Prednosti: Stvarni, autentični podaci od stvarnih ljudi.
  • Nedostaci: Sporo, skupo i često pristrano prema onima koji su bili kod kuće ili su se javili na rotacijski telefon.

2000-e: Uspon online anketa
Preskočimo do internetskog doba. Online alati poput SurveyMonkey-a omogućili su brže i jeftinije prikupljanje podataka. No, i dalje je bilo problema – zasićenost anketama, ispitanici koji klikću bez razmišljanja, nepotpuni odgovori.

  • Prednosti: Isplativo i brzo.
  • Nedostaci: Problemi s kvalitetom i sklonost privlačenju nezainteresiranih ili dosadno raspoloženih ispitanika.

Danas: Na scenu stupa AI i sintetički podaci – da nas spasi… ili da sve pokvari.

Kako su ih koristili na američkim, britanskim sveučilištima?

Amerika:

Na University of Maryland razvijen je Synthetic Data Project, gdje su sintetički podaci omogućili istraživačima analizu obrazovnih i radnih tranzicija bez kompromitiranja privatnosti. U medicini (Washington University in St. Louis) sintetički podaci su omogućili validaciju modela za predviđanje ishoda operacija – rezultati su bili gotovo identični onima dobivenim na stvarnim podacima.

Velika Britanija:

Alan Turing Institute i UK Data Service proveli su opsežna testiranja i zaključili: sintetički podaci ubrzavaju istraživanja i smanjuju rizik od zloupotrebe osobnih informacija. No, upozoravaju na potrebu standardizacije i edukacije korisnika.

Primjeri iz prakse: Syntho i SAS Viya

Na globalnom SAS Hackathonu, Syntho je demonstrirao kako sintetički podaci mogu unaprijediti analitiku u zdravstvu. Korištenjem Syntho Enginea unutar SAS Viya, bolnice su mogle predvidjeti pogoršanje i smrtnost pacijenata s AUC-om od 0.74 (jedna bolnica) i 0.78 (više bolnica). Korelacije i važnost varijabli ostale su očuvane, što potvrđuje da sintetički podaci mogu biti jednako kvalitetni kao i stvarni.

AI i sintetički podaci u marketingu: konkretna vrijednost

Marketinški AI sustavi (Google Ads, Netflix, Amazon) već koriste podatke za personalizaciju i optimizaciju kampanja. Sintetički podaci omogućuju:

  • Testiranje novih strategija bez rizika za privatnost
  • Brzu simulaciju ponašanja novih segmenata
  • Automatizaciju i skaliranje marketinških eksperimenata

Ali... što može poći po zlu?

Rizici i ograničenja prema istraživanjima:

  • Pristranost: Ako su ulazni podaci pristrani, i sintetički će biti.
  • Gubitak autentičnosti: Sintetički podaci mogu propustiti “anomalije” i neočekivane uvide koji često vode inovacijama.
  • “Habsburška AI”: Ako treniraš modele samo na sintetičkim podacima, može doći do degradacije performansi i “zatvorenog kruga” bez stvarne inovacije.

Kako se sintetički podaci generiraju koristeći algoritme?

Prvo, tu su Generativne Protivničke Mreže (GAN-ovi).

Zamislite ih kao dva tipa u baru: jedan je vječiti lažljivac (generator), drugi je paranoični inspektor (diskriminator). Generator pokušava smisliti što uvjerljiviju laž – sintetički podatak – dok inspektor pokušava provaliti je li podatak pravi ili lažan. Što se više nadmudruju, to su laži (sintetički podaci) uvjerljivije. Kad inspektor više ne može razlikovati lažno od stvarnog, znaš da si stvorio podatak koji može preživjeti i najgore birokratske provjere.

Onda imaš Varijacijske Autokodere (VAE).

Oni rade kao stari detektivi: uzmu stvarne podatke, sažmu ih u svojevrsni “DNA kod”, pa iz tog koda generiraju nove podatke koji su slični originalu, ali uvijek malo drugačiji – kao rođaci iz daleke Amerike koje nikad nisi upoznao, ali vidiš da ste iz iste familije.

Tu su i Veliki Jezični Modeli (kao GPT).

Oni su kao pisci na deadlineu: pročitali su milijune knjiga, članaka i tweetova, pa sada mogu napisati gotovo bilo što – od medicinskih izvještaja do marketinških analiza – i to na temelju nekoliko rečenica uputa. Ako im daš dovoljno primjera, mogu generirati cijele baze podataka koje zvuče kao da su ih ispunjavali pravi ljudi.

Ne zaboravimo i statističke modele – oni su stari školski profesori, koji pažljivo analiziraju prosjeke, varijance i korelacije, pa iz tih brojeva izvlače nove uzorke koji se ponašaju kao original, ali nisu vezani ni za jednu stvarnu osobu.

Na kraju, sve se svodi na ovo: algoritmi prouče stvarne podatke, nauče što ih čini “živima”, a zatim stvaraju nove podatke koji su dovoljno uvjerljivi da prežive svaku inspekciju, ali dovoljno apstraktni da ne otkriju ničiji pravi identitet. To je kao da napišeš reportažu o gradu u kojem nikad nisi bio, ali svi lokalci kažu: “Da, ovo je baš naš grad.”

Agent-Based Modeling (ABM): Simuliraj svijet u malom

ABM je kao igra The Sims za podatke. Stvoriš "agente" (npr. korisnike, stanare grada) s pravilima ponašanja, pustiš ih da komuniciraju, i snimaš podatke koji nastaju iz tih interakcija.

Primjer:

  • Simulacija prometa u gradu: agenti (vozači) slijede pravila vožnje. Algoritam bilježi kolone, brzine, nesreće – sve bez kamera ili senzora.

Evo kako izgleda Agent-Based Modeling (ABM) simulacija glasanja građana pod utjecajem propagande i događaja, kao da vodiš vlastitu "The Sims" igru za društvene fenomene:

Simulacija Glasaj

Svaki građanin je agent sa svojim početnim stavom: može biti "za", "protiv" ili "neutralan".

Na mišljenje svakog građanina utječu dva faktora:
  • Propaganda (npr. medijska kampanja, oglašavanje)
  • Event (npr. politički skandal, ekonomski šok)
Svaki građanin subjektivno percipira propagandu i event (dodana je varijabilnost).
Početni stavovi utječu na otpornost prema promjeni mišljenja: uvjereni građani teže mijenjaju mišljenje.

Kako ovo radi?

  1. Generiranje agenata: ChatGPT kreira unikatne profile s političkim preferencijama i otpornošću na promjene
  2. Simulacija propagande: Svaki dan se generiraju politički događaji koji utječu na agente
  3. Dinamičke promjene: Agenti reagiraju na događaje prema svojoj otpornosti i osobnostima
  4. Vizualizacija: Prikaz konačne distribucije stavova nakon simulacije

Ova integracija omogućuje realističnije modeliranje društvenih procesa gdje svaki agent ima jedinstveno ponašanje generirano naprednim AI modelom.

import openai
import numpy as np
import matplotlib.pyplot as plt

# 1. Inicijalizacija ChatGPT klijenta
class ChatGPTClient:
    def __init__(self, api_key):
        self.api_key = api_key
        openai.api_key = self.api_key

    def generate_response(self, prompt, model="gpt-4-turbo", max_tokens=150):
        response = openai.ChatCompletion.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=max_tokens
        )
        return response.choices[0].message['content']

# 2. Glavna simulacija s AI integracijom
class ABMVotingSimulation:
    def __init__(self, api_key, num_agents=1000):
        self.client = ChatGPTClient(api_key)
        self.num_agents = num_agents
        self.agents = []
        
        # Generiraj početne profile agenata
        self._generate_agents()
        
    def _generate_agents(self):
        personality_types = ['konzervativac', 'liberalac', 'populist', 'apolitičan']
        for i in range(self.num_agents):
            prompt = f"""Generiraj politički profil agenta sa:
            - Početni stav: [za/protiv/neutralno]
            - Osobnost: {np.random.choice(personality_types)}
            - Otpornost na promjene: 0-1
            Odgovori u formatu: stav|otpornost"""
            
            response = self.client.generate_response(prompt)
            try:
                stav, otpornost = response.split('|')
                self.agents.append({
                    'id': i,
                    'stav': stav.strip().lower(),
                    'otpornost': float(otpornost),
                    'promjene': 0
                })
            except:
                # Fallback za neispravne odgovore
                self.agents.append({
                    'id': i,
                    'stav': 'neutralno',
                    'otpornost': 0.5,
                    'promjene': 0
                })

    def _apply_propaganda(self, strength, message_type):
        for agent in self.agents:
            prompt = f"""Agent {agent['id']} (stav: {agent['stav']}, otpornost: {agent['otpornost']}):
            Nova propaganda: {message_type} jačine {strength}. 
            Hoće li promijeniti stav? Odgovori samo s [da/ne]"""
            
            response = self.client.generate_response(prompt).strip().lower()
            if response == 'da' and np.random.rand() > agent['otpornost']:
                agent['stav'] = 'za' if message_type == 'pozitivna' else 'protiv'
                agent['promjene'] += 1

    def run_simulation(self, days=30):
        for dan in range(days):
            # Primjena dnevnih političkih događaja
            event_strength = np.random.uniform(0.1, 0.9)
            event_type = np.random.choice(['skandal', 'ekonomski_rast', 'teroristički_akt'])
            
            # Ažuriranje stanja agenata
            self._apply_propaganda(strength=event_strength, message_type=event_type)
            
        # Vizualizacija rezultata
        self._plot_results()
    
    def _plot_results(self):
        stavovi = [agent['stav'] for agent in self.agents]
        unique, counts = np.unique(stavovi, return_counts=True)
        
        plt.figure(figsize=(10,6))
        plt.bar(unique, counts/np.sum(counts)*100, color=['#ff9999','#66b3ff','#99ff99'])
        plt.title('Distribucija političkih stavova nakon simulacije')
        plt.ylabel('Postotak (%)')
        plt.xlabel('Stav')
        plt.ylim(0,100)
        plt.show()

# 3. Pokretanje simulacije
if __name__ == "__main__":
    # Zamijeni 'tvoj_api_kljuc' sa stvarnim OpenAI API ključem
    simulacija = ABMVotingSimulation(api_key='tvoj_api_kljuc', num_agents=500)
    simulacija.run_simulation(days=45)

Statističko uzorkovanje: Baci kockice i generiraj podatke

Najjednostavniji oblik simulacije. Ako znaš da neki podaci slijede normalnu distribuciju (npr. visina ljudi), možeš generirati nasumične vrijednosti iz te distribucije pomoću NumPy-a ili Monte Carlo metode.

import numpy as np  
sintetičke_vrijednosti = np.random.normal(loc=170, scale=10, size=1000)  # 1000 osoba ~170cm

Pravila i logika: "Ako je X, onda Y"

Ovdje algoritam generira podatke po unaprijed definiranim pravilima. Primjenjuje se tamo gdje je potrebna potpuna kontrola:

Primjer za e-trgovinu:

  • Pravilo 1: Ako je korisnik kupio laptop, generiraj 3 sintetička kupca koji su kupili i miš.
  • Pravilo 2: Ako je prosječna potrošnja > 1000 EUR, smanji cijene za 5%.

Zašto je ovo revolucija?

  • Zaštita privatnosti: Simulacijski podaci ne sadrže PII (osobno identificirajuće informacije) – GDPR ti ne može ništa.
  • Rubni slučajevi: Možeš generirati rijetke scenarije (npr. pandemija ili krah dionica) koje stvarni svijet ne nudi dovoljno često.
  • Brža inovacija: Testiraj AI modele na milijunima sintetičkih scenarija prije nego što ih pustiš u stvarni svijet.

Syntho, Gretel & Co: Alati za simulacijsku magiju

Platforme poput Syntho kombiniraju sve ove metode u jedan interfejs. Njihov "motor" može:

  • Klonirati entitete (npr. korisnike) s novim ID-ovima.
  • Maskirati osjetljive podatke, zadržavajući strukturu.
  • Generirati cijele baze podataka za testiranje softvera za 5 minuta.

Pravna i etička pitanja

Sintetički podaci su GDPR-friendly, ali to ne znači da nema pravnih izazova. Britanska i njemačka istraživanja ističu potrebu za jasnim standardima i transparentnošću u generiranju i korištenju sintetičkih podataka.

Limiti: Zašto simulacije nikad neće biti savršene?

  • GIGO (Garbage In, Garbage Out): Ako početni podaci imaju pristranost (npr. nedovoljno podataka o siromašnima), simulacija će reproducirati tu pristranost.
  • Kaos teorija: Mali pogrešci u početnim uvjetima mogu dovesti do radikalno drugačijih ishoda (tzv. "efekt leptira").
  • Računska snaga: Simulacija svake stanice u ljudskom tijelu zahtijevala bi više računalne snage nego što postoji na planeti.

Sintetički podaci nisu ni čista genijalnost ni puka lijenost. Oni su alat koji, kada se koristi odgovorno i u kombinaciji sa stvarnim podacima, donosi ogromne prednosti: brzinu, skalabilnost, zaštitu privatnosti i mogućnost inovacije. No, bez validacije, edukacije i jasnih standarda, lako možeš završiti s “habsburškom AI” – modelom koji izgleda pametno, ali ne donosi stvarnu vrijednost.

Tvoja iskustva? Jesi li već koristio sintetičke podatke u svom poslu? Što ti je donijelo najviše vrijednosti, a što te razočaralo?