Racial Profiling u. Predictive Policing
Notizen welche im Rahmen eines Vortrags der Kampagne „Ban Racial Profiling“ entstanden sind.
## Verschränkung von Racial Profiling und Überwachungstechnik
- Operateur\_in muss eine große Menge Daten filtern (mehrere Bildschirme, viele Stunden)
- Operateur\_in haben lediglich ein reduziertes (2D Projektion) Bilder der Situation (es Fehlt der Kontext)
- Operateur\_in und überwachte Personen haben keine Kommunikationsmöglichkeiten
- Operateur\_in haben Vorurteile / Rassismen der Gesselschaft
→ Bewertung an begrenzter Palette von Merkmalen (Stereotypen, Alter, Geschlecht, Ethnie, religiöse Identität)
→ diskriminierende Vorurteile → Verhalten der Operateur\_innen → Kriminalitätsstatistik → diskriminierende Vorurteile
## Aktuelle sowie zukünftige Entwicklungen bei der Überwachungstechnik
### Entwicklung die sich beobachten lässt:
- zunehmende Vernetzung
- zunehmende Automatisierung
- Versuch der Vorhersagen (Konzepte des predictive policing)
- Einsatz von KIs (zur Vorauswahl und Entscheidung)
- es werden jede Menge Daten benötigt damit diese arbeiten können
- mehr Sensoren werden eingesetzt
- Datensammlungen der Polizei werden Analysiert (Krimminalitätsstatistik)
Corinna Bath (Informatikerin und forscht zu Technikentwicklung und Gender an der TU Braunschweig) „Aber es gibt keine neutralen Algorithmen.“
### Probleme bei Polizeidaten
- zeigen nur die vom Staat als Kriminel defineirten und behandelten Taten
- Vorurteile/Rassismen in Gesellschaft werden in der Polizeipraxis reproduziert (Bsp.: Kontrollen anhand der Hautfarbe)
- statistisch verzerrt (Bias)
- können manipuliert werden, eine Überprüfung ist nur schwer möglich
### Predictive Policing
- Auf statistischen Vorhersagen basierenden Vorbeugung von Straftaten. (Praktisches Bsp.: Wahrscheinlichkeit berechnen wann welche wo welche Taten passieren → Zivilstreifen einstzen)
- Sagt eher vorher wo es polizeiliche Aktivität geben wird, als etwas darüber wo welche Kriminalität stattfinden wird
- basiert auf Polizeidaten (Kritik siehe oben)
- Wissenschaftlicher Nachweis zum „Nutzen“ konnte noch nicht genügend erbracht werden
Anwendung Deutschland: min. 10 Städte in den letzten drei Jahren zeitlich befristete Pilotprojekte bzw. Testbetriebe. (Stuttgart/Karlsruhe, Hamburg, Hannover, Hessen, Bonn, Rhein/Ruhrgebiet, Nürnberg, München, Zürich, Baselland und Aargau) in den meisten Fällen wird PRECOBS eingestezt. Mit „Near Repeat“ Predictions werden die Wahrscheinlichkeiten für Einbruch, Straßenraub, Bewaffneter Überfall und Diebstahl aus Kfz für bestimmte Gebiete bestimmt. Dazu werden die Daten der letzten Vorfälle und erstellte Täter*innen-Profile verwendet.
USA: In vielen Gebieten im Einsatz, wird weiter ausgebaut, Kritik von großen Organisationen wie (Electronic Frontier Foundation , Amnesty International)
Diskurs und Problemerkennung: Der Einsatz von Computer-Systemen und das Bewerben dieser mit vielversprechenden Schlagwörtern wie Big-data, smart, intelligent im Zusammenhang mit einer zunehmenden „Technik Gläubigkeit“ führt zu einem beschönigten Bild der Technologie. Algorithmen bzw. KIs welche mit „echten Daten“ gespeist wurde, werden als Neutral/Fehlerfrei empfunden. Die Probleme welche in den analogen Verfahren auftreten werden durch den Einsatz der Technologien verschleiert (tech washing).
Aufgrund dieser Grundeinstellung/Grundannahmen ist es schwer auf Fehler/Probleme im System hinzuweisen. Weiter erschwerend ist die Intransparenz der Systeme. Aber selbst wenn mensch vollen Zugang zu den Codes bekommt sind die Systeme meist derart Komplex das der Weg der Entscheidungsfindung nicht nachvollzogen werden kann. Es können lediglich die Ergebnisse beurteilt werden, mögliche Probleme (z.B. Diskrimineirungen) während des Prozesses werden dabei nicht erkannt. Weiter kommt hinzu das bei dem Einsatz von KIs einmal „erlernte“ Mechanismen kaum noch korrigiert werdne können.
### Vorhersage für Einzelpersonen
Es ist noch kein Falll bekannt in dem eine „Straftat-Wahrscheinlichkeit“ durch einen Algorithmus pauschal für alle Personen bestimmt wird. In den USA wird dies allerdings auf Verurteilte Personen angewendet um deren Haftstrafe zu definieren. Eine Recherche von Pro:Publica deckt auf das der Algorithmus rassistisch ist. Unter anderem wird eine Haftstrafe auch durch das Einkommen definiert.
→ Verfestigung und Verschärfung von Diskriminierung
## Rassismus in der Informationstechnik
### Beispiele
Wenn die KI Diskriminierung lernen:
- Microsoft‘s Chatbot „Tay“ auf Twitter hat von dem verhalten anderer Nutzer\_innen gelernt und ist sehr schnell rassistisch und antisemitisch geworden. Er musste nach ca. 16h ausgeschaltet werden. Beeinflusst wurde das ganze vor allem durch Internet-Trolle.
Wenn die Entwickler\_innen nicht auf Diversity achten:
- Seifenspender mit Bewegungsmelder erkennen teilweise nur weiße Hände und keine schwarzen. - Die Bilderkennung von Google hat eine Zeit lang schwarze Gesichter als „Gorilla“ markiert. Bei Flicker gab es ähnliche Probleme. - Die Suchergebnisse bei Google Bilder sind stark weiß geprägt. Bsp: bei „Gesicht“ sind ca. die ersten 50 Ergebnisse weiß.
### Gründe
Die Informatik ist stark weiß und männlich geprägt.
## Quellen
https://medium.com/@chulu/6-reasons-why-you-should-care-about-the-future-of-policing-a8398329b5ba
https://www.mpicc.de/de/forschung/forschungsarbeit/kriminologie/predictive_policing_p4.html
https://endstation.jetzt/endstation-gesichtserkennung-vortrag-v2.pdf
https://de.wikipedia.org/wiki/Predictive_Policing
https://www.golem.de/news/diskriminierung-wenn-algorithmen-vorurteile-haben-1601-118566.html
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
http://www.bbc.com/news/technology-35890188
https://www.youtube.com/watch?v=8PlUf30rvyA
https://www.zeit.de/digital/internet/2015-07/google-fotos-algorithmus-rassismus
http://money.cnn.com/interactive/technology/tech-diversity-data/