Rahvusarhiivi tudengipreemia magistritöö preemia võitja on Hanna-Riin Karu tööga „Ajalooliste isikuandmete automaatne sidumine opteerimisprotsessi uurimisel“ (Tartu Ülikool). Juhendaja Aigi Rahi-Tamm ja Mark Gortfelder (Tartu Ülikool). Avaldame kokkuvõtted Rahvusarhiivi tudengipreemia võitjate töödest arhiivi ajaveebis.
Hanna-Riin Karu Rahvusarhiivi tudengipreemia ettekandepäeval esinedes.
Kuidas teha kindlaks, kas piiriületuse nimekirjas olev isik on kattuv mõne teise hilisemat elusündmust kajastava allikas leiduva isikuga. Kas sama isik on võimalik tuvastada, kui ajaloolistele andmetele omaselt ei ole kõik isikut kirjeldavad andmed üheselt fikseeritud, nt varieerub nime kirjapilt ja sünnikuupäeva asemel on märgitud üksnes vanus?
Minu magistritöö „Ajalooliste isikuandmete automaatne sidumine opteerimisprotsessi uurimisel“ otsis vastust küsimusele, kuidas ühendada eri allikates leiduvat teavet tuhandete inimeste kohta. Uurimus näitas, et arvuti aitab teha võrdlusi ajaloolasele kättesaamatus mahus, kuid tulemuste usaldusväärsuse hindamisel tuleb ikka arhiiviallikate juurde tagasi pöörduda.
EFA.30.A.229.51. Eesti kontrollopteerimiskomisjon Moskvas. Optandid teekonnal Eestisse 1920–1921.
Üks piiriületus, tuhanded elulood
Uurimuse lähtekoht oli 1920. aastate alguse rändeprotsess – opteerimine. Pärast Eesti Vabariigi loomist ja Tartu rahu sõlmimist said Nõukogude Venemaal elavad eestlased võimaluse valida Eesti kodakondsuse ning asuda Eestisse elama. Aastatel 1920–1923 saabus Eestisse ligi 45 000 inimest, neist umbes 37 000 optanti. See oli sõdadevahelise perioodi suurim Eesti rahvastikku mõjutanud sisserändeprotsess.
Saabujad suunati Eestisse ühe piiripunkti – Narva – kaudu ja paigutati kohustuslikku karantiini, kus kontrolliti nende tervislikku seisundit, poliitilist tausta ja dokumente. Seal koostatud nimekirjadesse märgiti muu hulgas nimi, vanus, rahvus, elukutse ning varasem elukoht Venemaal ja kavandatav elukoht Eestis. Bakalaureusetöö käigus sisestasin need andmed käsitsi tabelisse. Nii valmis Narva karantiini andmestik ligi 37 100 inimese kohta, kes saabusid 1920. aasta juunist 1922. aasta lõpuni.
ERA.957.11.897 leht 32 (kaader 35). Narva karantiini vastuvõetud isikute nimekirjad koos kirjavahetusega karantiini maksu kohta. Näide Narva karantiini nimekirjast, mille põhjal on sisestatud Narva karantiini andmestik.
Kuidas arvuti tunneb ära sama inimese?
Magistritöös tahtsin sellest ühest piiriületuse hetkest edasi liikuda ning luua võimalus uurida inimeste pikemat elukäiku. Selleks sidusin Narva karantiini andmestiku kahe üleriigilise demograafilise andmestikuga: pereregistri ja rahvastikuregistri arhiiviga.
Ajaloolistes allikates ei ole isikukoodi, mille abil saaks inimese üheselt tuvastada. Võrrelda tuleb mitut tunnust, mis ei pruugi eri dokumentides täpselt kattuda. Minu töös olid nendeks sugu, sünniaasta ning ees- ja perekonnanimi. Kuna karantiininimekirjades oli kirjas vaid vanus, tuli sünniaasta selle põhjal tuletada ja arvestada võimaliku ebatäpsusega. Lisaks raskendasid võrdlemist nimede erinevad kirjapildid, kirjavead, nimevahetused ja nimede eestistamine.
Andmeid ei sidunud suur keelemudel. Kasutasin selleks programmeerimiskeskkonda R ja paketti reclin2, mis võimaldab võrrelda kirjeid ning statistiliselt hinnata, kui suur on tõenäosus, et need andmed käivad sama inimese kohta. Eesmärk oli leida Narva andmestikus olevale isikule teisest registrist üks nö kõige tõenäosuslikult õigem vaste, kuid selleni jõudmiseks analüüsis arvuti kummagi registriga võrdlemisel ligi 290 miljonit võimalikku kirjepaari. Inimene ei suudaks sellist hulka võrdlusi mõistliku ajaga läbi teha.
Leitud vaste ei ole veel tõend
Arvuti pakutud seos ei tähenda siiski automaatselt, et kaks kirjet kuuluvad samale inimesele. Just siin peitubki sidumise keerulisem osa: kuidas eristada usaldusväärset vastet juhuslikust sarnasusest? Kontrollimiseks koostasin ligi 300 inimesega täiendava andmestiku, rikastades karantiininimekirjade teavet optantide isiklike toimikute andmetega. See käsitsi kogutud kontrollmaterjal aitas hinnata automaatselt leitud seoste õigsust.
Mõlema registriga õnnestus eraldi siduda ligikaudu 36% Narva karantiini andmestiku inimestest. Ning kontrollandmestiku põhjal hinnatud õigete vastete osakaal jäi valdavalt üle 75%. Ka vasteta jäämine ei tähenda tingimata meetodi ebaõnnestumist. Kõiki karantiininimekirjades olevaid inimesi ei pruugigi hilisemates registrites leiduda. Inimene võis enne registri avamist surra või Eestist lahkuda; samuti ei pruukinud tema elus toimuda sündmust, mille tõttu registrisse kirje tehti. Seega tuleb sidumise tulemust tõlgendada koos teadmisega sellest, kuidas ja kelle kohta allikad tekkisid.
EFA.30.A.229.9. Eesti kontrollopteerimiskomisjon Moskvas. Opteerimisavalduste esitamine Eesti kontrollopteerimiskomisjonis Moskvas 1920–1921.
Tabelitest pikema elukaareni
Minu töö peamine järeldus on, et automaatse sidumise suurim raskus ei ole üksnes tehniline teostus, vaid seoste usaldusväärsuse hindamine. Puudulikke algandmeid ei paranda ka keerukas algoritm. Kuigi algoritmi jaoks ei ole mingi probleem ühendada erineva kirjapildiga isikukirjeid, siis on vaja täiendavaid lisaandmeid, mis aitaks kindlaks määrata, kas tegu on päriselt sama isikuga või on tegu juhuslikult sarnaste nimedega. Samas võib lahendusele lähemale aidata allikate hea tundmine: näiteks võiks edaspidi üksikisiku kõrval võrrelda terve pere koosseisu, sest pereliikmete nimed, vanused ja sugu moodustava koos unikaalsema teabe kui ühe isiku andmed eraldi.
Leian, et potentsiaali isikulooliste andmete sidumisel on palju, kuna Eestis on aastakümnete jooksul arhiiviallikatest suure käsitöö tulemusel loodud palju ajaloolisi andmestikke. Nende ühendamine võimaldaks esitada uusi küsimusi ja uurida üksiku sündmuse asemel inimeste pikemat elukaart. Selleks on vaja allikatundmise, andmehalduse ja programmeerimise koostööd ning tuge andmestike kirjeldamisel ja haldamisel. Arvuti ei asenda ajaloolast, kuid aitab tal näha seoseid, mis eraldiseisvatesse tabelitesse jäädes võiksid märkamata jääda.
Palju õnne Hanna-Riinule!