Слика: Сафа, са визуелним елементима из Ла Ломе, користи се уз дозволу.

Овај чланак је написао Сафа за серију „Дигитализоване поделе” (Digitized Divides) првобитно објављену на tacticaltech.org. Глобални гласови поново објављују уређену верзију у оквиру споразума о партнерству. 

Термини који се користе за описивање технологије могу обликовати начин на који размишљамо о њој. Реч „паметно“ има позитивну конотацију, у већини случајева, али када је у питању технологија, „паметно“ се обично користи наизменично са „ефикасно“. Замислите да уместо да системе надзора називамо „паметним“, да их називамо „макијавелистичким” — како би то могло да промени наш дискурс, прихватање и усвајање истих? 

Непоуздани системи

Алати за праћење и контролу, као што је видео надзор, ослањају се на технологију препознавања лица, која аутоматски идентификује јединствене податке о лицу, укључујући мерења попут растојања између очију, ширине носа, дубине очних дупљи, облика јагодичне кости и дужине вилице. Препознавање лица користе владе, полиција и друге агенције широм света, са значајним резултатима. 

Једна ексклузивна операцијаn америчких органа реда резултирала је идентификацијом стотина деце и њихових злостављача за само три недеље. Ова технологија је такође коришћена за проналажење несталих и убијених староседелаца (MMIP), помажући 57 породица да пронађу одговоре за само три године. Иако су ови резултати заиста изванредни и откривају начине на које се примена технологија може користити за помоћ људима, било је и бројних случајева да су амерички органи реда користили препознавање лица на начине који су наштетили људима. 

Апликација под називом CBP One, коју захтевају тражиоци азила на граници САД и Мексика, укључује захтев да се људи региструју у систему за препознавање лица. Међутим, тај систем „[не успева] да региструје многе људе са тамнијом кожом, ефикасно им спречавајући право да затраже улазак у САД“. Системи који централизују податке тражилаца азила и мигранта омогућавају уздужно праћење деце. Технологије препознавања лица такође користи ICE (америчка агенција за имиграцију и царине) за праћење и надзор људи који чекају саслушања о депортацији. 

У једној студији о системима за препознавање лица, истраживачица МИТ-а, Џој Буоламвини открила је да су „жене тамније пути најпогрешније класификована група (са стопом грешака до 34,7 процената). Максимална стопа грешака за мушкарце светлије пути је 0,8 процената.” Истраживач са Харварда, Алекс Наџиби, описао је како је „црнопутим Американцима већа вероватноћа да буду ухапшени и затворени због мањих кривичних дела него белим Американцима. Сходно томе, црнци су прекомерно заступљени у подацима о фотографијама ухапшених у полицији, које препознавање лица користи за предвиђања, објашњавајући како су црнци и белци склонији да буду заробљени у циклусима и системима расистичког полицијског надзора и надзора. 

Овај став се понавља у извештају пројекта С.Т.О.П.. — Пројекат надзора технологије надзора. Велика Британија и Кина су такође међу земљама које практикују „предиктивно полицијско деловање“. Један истраживач који се фокусира на Кину описује га као „префињенији алат за селективно сузбијање већ циљаних група од стране полиције и не смањује значајно криминал нити повећава укупну безбедност“. Дакле, проблем овде није само у погрешним скуповима података; то је дискриминација која већ постоји у друштву, где људи који држе позиције моћи или имају полицијску или војну силу могу да користе технологију да појачају своје угњетавање одређених група људи. Већи скупови података неће решити или негирати проблем људи који делују на основу дискриминације, расизма или других врста предрасуда и мржње. 

Алгоритме креирају људи (који по својој природи имају своје предрасуде) и развијају се коришћењем наших података. Алати обучени на нашим подацима могу се користити за наношење штете другим људима. Алгоритме такође користе владе, органи за спровођење закона и друге агенције широм света. Алати и услуге компанија Гугл, Амазон и Мајкрософт су коришћени од стране Израела у рату против Газе. У Сједињеним Државама, алгоритми су коришћени за процену нивоа ризика за појединце који су починили злочине, процењујући њихову вероватноћу да почине будуће злочине. Али истраживачи су утврдили да су ови алгоритми „изузетно непоуздани“ и да укључују значајну количину предрасуда у свом дизајну и имплементацији.

У Шпанији је коришћен алгоритам за предвиђање колико је вероватно да ће жртва породичног насиља поново бити злостављана, са намером да се подршка и ресурси дистрибуирају људима којима је то најхитније потребно, у преоптерећеном систему.Али алгоритам није савршен, а прекомерно ослањање на такве неисправне алате у ситуацијама са високим улозима довело је до страшних последица. У неким случајевима, жртве погрешно означене као „ниског ризика“ су убијене од стране својих злостављача упркос њиховим најбољим напорима да потраже помоћ и пријаве злостављање властима.

У Холандији, пореске власти су користиле алгоритам како би им помогле да идентификују преваре са накнадама за бригу о деци, при чему су десетине хиљада породица са нижим приходима кажњене, што је довело до тога да су многе породице пале у сиромаштво, а чак више од хиљаду деце је неправедно смештено у хранитељске породице. „Двојно држављанство је означено као велики индикатор ризика, као и ниски приходи [… и] посебан фокус је био на поседовање турског или мароканског држављанства”. 

Израел надгледа и угњетава Палестинце

Израелска индустрија надзора је добро позната. Извештај Амнести интернешенела из 2023. године мапирао је видљиви израелски систем надзора и пронашао једну или две ЦЦТВ камере на сваких пет метара у Старом граду Јерусалима и Шеик Џараху у Источном Јерусалиму. 

Од 2020. године, израелски војни „Вучји чопор” је у употреби; ово је огромна и детаљна база података која профилише практично све Палестинце на Западној обали, укључујући њихове фотографије, породичне везе, образовање и још много тога. „Вучји чопор“ укључује алате „Црвени вук“, „Бели вук“ и „Плави вук“: 

• Црвени вук: Систем Црвени вук је део званичне инфраструктуре израелске владе за препознавање лица ЦЦТВ-а за идентификацију и профилисање Палестинаца док пролазе кроз контролне пунктове и крећу се кроз градове. Забележено је да израелска војска користи Црвени вук у палестинском граду Хеброну. Према пројекту организација B’Tselem и Breaking the Silence, израелска војска је поставила 86 контролних пунктова и баријера на 20 процената Хеброна, који се назива „H2“, што је под израелском војном контролом. Контролне пунктове је тешко избећи у H2. Како је написала Маша Гесен, Палестинци који тамо живе „пролазе кроз контролни пункт како би купили намирнице и донели их кући“. Према подацима UNRWA, 88 процената деце прелази контролне пунктове на путу до и из школе.
• Бели вук: Још једна апликација, под називом Бели вук, доступна је званичном израелском војном особљу које чува илегална насеља на Западној обали, што им омогућава да претражују базу података Палестинаца. Од почетка израелског рата у Гази након напада Исламског покрета отпора (познатог као Хамас) на Израелце 7. октобра 2023. године, Израел је увео сличан систем препознавања лица – регистар Палестинаца у Гази. 
• Плави вук: Користећи апликацију под називом Плави вук, израелска војска спроводи масовну биометријску регистрацију Палестинаца, често на контролним пунктовима и под претњом пиштоља, понекад и у приватним кућама људи усред ноћи. Израелски војници фотографишу Палестинце, укључујући и децу, понекад силом. Израелски војници такође бележе у апликацији све „негативне утиске које имају о понашању Палестинца када их сретну“. Један извор је додао, „Није да је војска рекла, хајде да направимо Плавог вука како би Палестинци могли лакше да прођу. Војска жели да уведе људе у свој систем ради контроле“.

Чланак из 2025. године такође је открио како је израелска војска користила велики језички модел (као што је онај који користе алати попут ChatGPT) за надзор Палестинаца. Један израелски обавештајни извор је навео, „Имам више алата да знам шта свака особа на Западној обали ради. Када поседујете толико података, можете их усмерити ка било којој сврси коју изаберете“. Иако израелска војска није једини пример обуке алата вештачке интелигенције на цивилним подацима који је одобрила влада, она нуди важан увид у то како се најновије технологије могу усвојити за широко распрострањено праћење и контролу.

Као што је рекао истраживач Карлос Делклос, „Приватност није само нападнута; она је уништена, јер су људски животи фрагментирани у скупове података оптимизоване за корпоративну добит“, а иста порука се може проширити и на политичку добит. Без обзира да ли технологију називамо позитивним или негативним терминима, на крају крајева, сама технологија се не може одвојити од оператера (тј. људи) који је примењују. Ако људи који користе ове технологије такође живе у друштвима и раде у системима који имају документоване проблеме дискриминације и/или контроле, чини се сасвим могућим да ће се технологија користити за наношење штете. Не морамо чак ни да замишљамо то. Можемо једноставно да се осврнемо око себе отворених очију.