Odgovornost po inteligenci

Zakaj se ljudje iz zelo različnih okolij vedno znova ustavljajo pri istih skrbih glede AI

Javna razprava o umetni inteligenci je hrupna na precej predvidljive načine.

Nekateri govorijo, kot da bo AI rešil vse. Drugi govorijo, kot da bo vse uničil. Obe reakciji sta razumljivi. Nobena pa ni posebej koristna.

Bolj me zanima nekaj tišjega.

Zdi se, da ljudi iz zelo različnih okolij skrbijo nekatere iste stvari.

Inženirji govorijo o odgovornosti, sledljivosti in pregledu.

Učitelji govorijo o presoji, učenju in razliki med pomočjo ter nadomeščanjem.

Novinarji govorijo o odgovornosti, preverjanju in eroziji zaupanja.

Filozofi govorijo o agensu, osebnosti in nevarnosti, da človeka skrčimo na funkcijo.

Verski voditelji pogosto govorijo o dostojanstvu, skrbništvu, moralni odgovornosti in nevarnosti, da ljudi obravnavamo kot sredstvo namesto kot cilj.

Te skupnosti ne govorijo z enim glasom. Ne delijo si istih predpostavk. Niti ne uporabljajo istega besedišča.

Pa vendar se vračajo k podobnim skrbem:

• izguba človeške avtonomije
• razčlovečenje
• prenašanje presoje drugam
• koncentracija moči
• erozija odgovornosti
• zamenjevanje odnosov s simulacijami
• obravnavanje inteligence kot blaga
• obravnavanje ljudi kot podatkov

To prekrivanje je vredno jemati resno.

Osrednje vprašanje morda ni tehnično

Veliko razprav o AI se najprej osredotoči na zmogljivost.

Kaj model zmore? Kako hitro napreduje? Katere naloge lahko avtomatizira? Katera orodja lahko kliče? Koliko sklepanja zna posnemati?

To so resnična vprašanja. Pomembna so.

Toda najpomembnejša vprašanja o AI morda niso tehnična.

Morda so vprašanja odgovornosti.

Ko sistemi postajajo zmogljivejši, človeška presoja, odgovornost, upravljanje in nadzor ne postajajo manj pomembni. Postajajo pomembnejši.

To je lahko napačno razumeti. Ljudje pogosto predpostavljajo, da bi se morala ob bolj inteligentnem sistemu človeška vloga sorazmerno zmanjšati. Toda na mnogih resnih področjih velja ravno nasprotno.

Bolj ko je sistem zmogljiv, bolj skrbno mora nekdo določiti meje, potrditi dejanja, pregledati izide in ostati odgovoren za to, kar sledi.

Različne skupnosti, podobne skrbi

Eden od razlogov, da je današnja razprava lahko videti razdrobljena, je ta, da različne skupnosti isti problem opisujejo z različnim jezikom.

Inženir lahko reče:

Potrebujemo jasne meje odobravanja, pregledna merila in sledljivost.

Učitelj lahko reče:

Študenti se morajo še vedno naučiti misliti, ne le oddajati pozive.

Novinar lahko reče:

Ne smemo normalizirati verjetnega izhoda, za katerega ne odgovarja nihče.

Filozof lahko reče:

Družba, ki presojo obravnava kot storitev, tvega praznjenje moralne avtonomije.

Verski voditelj lahko reče:

Človeško dostojanstvo ne bi smelo biti podrejeno sistemom učinkovitosti in nadzora.

To niso enake trditve. Nekatere so institucionalne. Nekatere so moralne. Nekatere so praktične. Nekatere so metafizične.

Vendar se prekrivajo bolj, kot si včasih priznamo.

Vse postavljajo neko različico istega vprašanja:

Kaj se zgodi, ko se človeške odgovornosti počasi prenašajo na sisteme, ki nam lahko pomagajo, nas posnemajo in množično razširjajo odločitve, sami pa odgovornosti ne morejo nositi namesto nas?

To ni obrobna skrb. Je civilizacijska skrb.

Inženirski pogled je bolj moralen, kot se sliši

Od zunaj so lahko inženirski odzivi na AI videti suhoparni.

Specifikacije. Validatorji. Čakalne vrste za pregled. Revizijske sledi. Postopki odobravanja. Sledljivost. Zgodovina sprememb. Nadzor dostopa.

To lahko zveni kot gola postopkovna pravila. Toda to niso zgolj tehnični mehanizmi.

To so načini ohranjanja odgovornosti.

Specifikacija ni le dokument za načrtovanje. Je način, kako rečemo: to smo nameravali zgraditi in po tem standardu bomo sodili rezultat.

Validator ni le avtomatizacija. Je način, kako rečemo: spomin in samozavest nista dovolj; pomembne trditve je treba preveriti.

Potrditveni delovni tok ni le birokracija. Je način, kako rečemo: nekatere odločitve morajo imeti pripisano človeško ime.

Revizijska sled ni le beleženje. Je način ohranjanja zmožnosti odgovoriti: kdo je to spremenil, zakaj in na podlagi katerih predpostavk?

Sledljivost pogosto opisujemo kot inženirsko skrb. Je pa tudi moralna skrb. Ohranja povezavo med dejanjem in odgovornostjo.

To je pomembno, ker zmogljivost brez odgovornosti ni inteligenca v družbeno uporabnem smislu. Je le moč.

Skušnjava, da bi presojo prepustili drugam

AI je resnično uporaben.

Lahko pripravlja osnutke. Povzema. Primerja. Preoblikuje. Prevaja. Organizira. Opozarja na nedoslednosti. Predlaga alternative. Pospešuje rutinsko delo.

Tega ni treba zanikati.

Resnični problem se pojavi, ko pomoč neopazno postane nadomestitev.

Pomembna je razlika med:

• pomagati ljudem misliti in misliti namesto ljudi
• pripravljati osnutke in odločati
• svetovati in odobravati
• raziskovati in presojati
• pomagati in upravljati

Ta razlika v trenutku ni vedno očitna.

Osnutek priporočila lahko postane privzeta odločitev, če ga nihče noče ponovno odpreti. Modelna ocena lahko postane politika, če se ljudje nehajo spraševati, kako naj se uporablja. Generirani povzetek lahko nadomesti neposredno branje, če hitrost postane edina vrednota. Simuliran odnos lahko izrine resničnega, če priročnost postane merilo ustreznosti.

Za to ni potrebna distopična namera. Dovolj je običajno oblikovanje delovnih tokov.

Zato vprašanje ni, ali naj se AI uporablja.

Seveda se bo uporabljal.

Vprašanje je, ali ostajamo disciplinirani glede tega, katere odgovornosti so podprte in katere se tiho prenašajo drugam.

Moj osebni mentalni model: AI kot sodobni orakelj

Moj osebni mentalni model za AI je orakelj.

Tega ne mislim kot formalne definicije. Mislim ga kot praktičen način, da ostanem pošten do tega, kakšni so ti sistemi v vsakdanji rabi.

Vprašanja gredo noter. Odgovori pridejo ven. Notranje sklepanje je le delno vidno. Odgovor je lahko impresiven. Lahko pa je tudi napačen, plitev, slep za kontekst ali neusklajen z dejansko odgovornostjo, ki je na mizi.

Ta model mi pomaga, ker odvrača tako od navduševalskega pretiravanja kot od sentimenta.

Orakelj je lahko uporaben. Lahko je celo izjemno uporaben. Toda orakelj ni odgovoren.

To pomeni, da je treba zaupanje zgraditi okoli meja.

Kdo sme vprašati kaj? Kdo sme ukrepati na podlagi odgovora? Kaj je treba validirati? Kaj je treba pregledati? Kaj zahteva izrecno odobritev? Kaj se beleži? Kaj ostaja človeška odločitev ne glede na to, kako prepričljiv je izhod?

Model oraklja teh vprašanj ne reši. Poskrbi pa, da ostanejo pred očmi.

Človeško dostojanstvo in človeška avtonomija

Jezik dostojanstva je nekaterim inženirjem neprijeten, ker zveni abstraktno. Jezik odgovornosti je nekaterim humanistom neprijeten, ker zveni proceduralno.

Vendar je razkorak manjši, kot se zdi na prvi pogled.

Verske tradicije pogosto govorijo o človeškem dostojanstvu. Inženirske discipline pogosto govorijo o človeški odgovornosti.

Besedišče je različno. Skrb pa je pogosto presenetljivo podobna.

Obe skušata, vsaka na svoj način, kljubovati svetu, v katerem se ljudi obravnava kot zamenljive komponente večjih optimizacijskih sistemov.

Če človeka skrčimo na podatkovno točko, vedenjsko napoved, oceno tveganja, potrošniški profil ali spremenljivko učinkovitosti, je nekaj pomembnega že izgubljeno.

Podobno je nekaj pomembnega izgubljeno tudi takrat, ko se odgovornost skrči na to, kar je ustvaril sistem, namesto na to, kar je oseba ali ustanova izbrala dovoliti, potrditi ali na podlagi tega ukrepati.

Dostojanstvo in odgovornost se srečata prav tu:

Človeka ne bi smeli obravnavati, kot da je le vhod v sistem. Sistema pa ne bi smeli obravnavati, kot da lahko sam nosi človeško odgovornost.

Zakaj je koncentracija moči tako pomembna

Številne skrbi glede AI na koncu pripeljejo do vprašanja upravljanja.

Kdo ima v lasti modele? Kdo nadzoruje infrastrukturo? Kdo določa sprejemljivo rabo? Kdo lahko revidira odločitve? Kdo lahko izpodbija izhod? Kdo nosi strošek napake? Kdo ima korist od obsega? Kdo postane odvisen od sistemov, ki jih ne razume in na katere ne more smiselno vplivati?

To je eden od razlogov, da ljudje iz različnih področij tako pogosto govorijo o koncentraciji moči.

Če inteligenca postane blago, dostavljeno prek majhnega števila platform, lahko ustanove postanejo operativno odvisne od sistemov, katerih spodbud ne nadzorujejo.

Če človeško presojo rutinsko posredujejo nepregledni sistemi, je odgovornost lažje razpršiti.

Če simulirano strokovno znanje postane poceni, resnično strokovno znanje pa ostaja počasno in drago, bo pritisk k zamenjavi presoje z verjetnostjo samo še rasel.

Nič od tega ne pomeni, da je centralizacija vedno zlonamerna. Velik del tega naravno izhaja iz ekonomike, obsega in priročnosti.

Toda priročnost ni upravljanje.

In obseg ni legitimnost.

Izobraževanje je morda področje, kjer to postane najbolj vidno

Izobraževanje hitro izostri problem.

Študenti lahko AI uporabljajo za zbiranje idej, povzemanje, prevajanje, razlago in pripravo osnutkov. Nekaj od tega je očitno koristnega.

Toda izobraževanje ni le proizvodnja izhodov. Gre tudi za oblikovanje presoje.

Če se študenti naučijo predvsem, kako dobiti odgovore, ki so videti sprejemljivi, ne pa tudi, kako vrednotiti argumente, preverjati podlage, zaznavati napake ali držati miselno nit v svoji glavi, potem se nekaj pomembnega prenaša drugam prezgodaj.

Vprašanje ni čistost. Vprašanje je oblikovanje.

Enako velja v poklicnem življenju.

Mlajši inženir, urednik, analitik ali raziskovalec, ki se vedno zanaša na navidezno prepričljivost generiranih odgovorov, je lahko videti produktiven, hkrati pa postaja manj sposoben samostojne presoje.

To je resno tveganje, ne zato, ker bi AI ljudi delal neumne, ampak zato, ker lahko ustanove po nesreči nagrajujejo odvisnost.

Novinarstvo, javno zaupanje in cena verjetne neresnice

Novinarstvo se že dolgo ukvarja z razliko med tem, kar se sliši resnično, in tem, kar je mogoče preveriti.

AI to razliko zaostri.

Generiran stavek je lahko uglajen, uravnotežen v tonu in strukturno prepričljiv, pa je vseeno napačen ravno tam, kjer je to najpomembneje. Lahko napačno predstavi razmerje, zgladi negotovost, izmisli kontekst ali namiguje na znanje, ki ga nihče ni dejansko preveril.

To je eden od razlogov, da novinarji nad tekočnostjo pogosto niso tako navdušeni kot širša javnost.

Delajo na področju, kjer verjetnost brez odgovornosti ni zanimivost, ampak poklicno tveganje.

Ta pogled je pomemben tudi daleč onkraj novinarstva.

Ko ustanove začnejo normalizirati uglajen izhod brez jasnih linij odgovornosti, zaupanje ne propade naenkrat. Postopoma erodira skozi ponavljajoče se izkušnje, v katerih nihče ne more jasno povedati, kdo stoji za določeno trditvijo.

Upravljanje ni sovražnik inovacij

Obstaja plitek način govorjenja o upravljanju, ki ga predstavlja kot strah, oviro ali institucionalno boječnost.

Mislim, da to ni resen pogled.

Dobra upravljavska praksa ni zavračanje uporabe zmogljivih sistemov. Je zavračanje njihove neodgovorne uporabe.

To pomeni:

• da avtorizacija ostane zunaj modelnega izhoda
• da priporočilo ločimo od odobritve
• da dokumentiramo meje
• da ohranjamo pregledljive zapise
• da ustvarjamo eskalacijske poti
• da poskrbimo, da je odgovornost mogoče locirati
• da ne zamenjujemo generirane samozavesti z legitimno avtoriteto

To niso znaki, da je AI spodletel. To so znaki, da ljudje še vedno razumejo svojo vlogo.

Resnično vprašanje

Vprašanje ni, ali bo AI postal močnejši.

Skoraj gotovo bo.

Resnično vprašanje je, ali posamezniki in ustanove še naprej izvajajo odgovornosti, ki jih ne bi smeli v celoti prenesti na stroje.

To vprašanje velja za inženirje. Za učitelje. Za urednike. Za raziskovalce. Za novinarje. Za vodje. Za javne uslužbence. Za univerze. Za podjetja. Za vlade. Za družine.

AI lahko postane hitrejši, cenejši, bolj gladek, bolj prepričljiv in bolj globoko vpet v vsakdanje življenje.

To ne odpravlja potrebe po presoji. Povečuje ceno njenega zanemarjanja.

Če je vredno ohraniti eno načelo, je to to:

Bolj ko je sistem zmogljiv, bolj namerni moramo postati glede človeške odgovornosti.

Ne zato, ker bi bili ljudje brezhibni. Ne zato, ker bi bili stroji zlobni. Ampak zato, ker odgovornost še vedno ostaja na ljudeh, človeško dostojanstvo pa je še vedno odvisno od pripravljenosti ljudi in ustanov, da jo prevzamejo.

Sorodno branje

• ai-as-an-oracle.md
• governance-trust-and-security-in-ai-workflows.md
• ai-workflows-beyond-software.md
• spec-driven-development-for-ai-projects.md
• documentation-is-part-of-the-product.md