Reduzierung von Verzerrungen bei KI-basierten Finanzdienstleistungen

Künstliche Intelligenz (KI) bietet die Möglichkeit, die Kredit- und Risikoallokation zu verändern und gerechtere, integrativere Systeme zu schaffen. Die Fähigkeit von KI, das traditionelle Kreditauskunfts- und Scoring-System zu vermeiden das hilft, bestehende Voreingenommenheit aufrechtzuerhalten macht es zu einer seltenen, wenn nicht sogar einzigartigen Gelegenheit, den Status quo zu ändern. KI kann jedoch leicht in die andere Richtung gehen, um bestehende Verzerrungen zu verschärfen und Zyklen zu schaffen, die eine verzerrte Kreditvergabe verstärken und gleichzeitig das Auffinden von Diskriminierung bei der Kreditvergabe noch schwieriger machen. Werden wir das Positive freisetzen, das Negative verschlimmern oder den Status quo aufrechterhalten, indem wir neue Technologien annehmen?

Dieses Papier schlägt einen Rahmen vor, um die Auswirkungen von KI bei der Verbraucherkreditvergabe zu bewerten. Ziel ist es, neue Daten zu integrieren und KI zu nutzen, um Verbrauchern, die sie benötigen, Kredite zu besseren Konditionen als derzeit zur Verfügung zu stellen. Es baut auf den doppelten Zielen unseres bestehenden Systems auf, Finanzdienstleistungen basierend auf dem tatsächlichen Risiko des einzelnen Verbrauchers zu bepreisen und gleichzeitig Diskriminierung zu verhindern (z. B. Rasse, Geschlecht, DNA, Familienstand usw.). Dieses Papier bietet auch eine Reihe potenzieller Kompromisse für politische Entscheidungsträger, Industrie- und Verbraucherschützer, Techniker und Regulierungsbehörden, um die Spannungen zu diskutieren, die mit dem Schutz vor Diskriminierung in einem risikobasierten Preissystem verbunden sind, das über einer Gesellschaft mit Jahrhunderten institutioneller Diskriminierung liegt .

KI wird häufig diskutiert und schlecht definiert. In der Finanzwelt steht KI für drei verschiedene Konzepte: Big Data, maschinelles Lernen und künstliche Intelligenz selbst. All dies ist in letzter Zeit durch Fortschritte bei der Datenerzeugung, -sammlung, -nutzung, -rechenleistung und -programmierung möglich geworden. Die Fortschritte bei der Datengenerierung sind atemberaubend: 90 % der heutigen Daten weltweit wurden in den letzten zwei Jahren generiert. IBM kühn erklärt . Um Parameter dieser Diskussion festzulegen, definiere ich im Folgenden kurz jeden Schlüsselbegriff in Bezug auf die Kreditvergabe.

Big Data fördert die Einbeziehung neuer und umfangreicher Informationen, die in bestehenden Finanzmodellen im Allgemeinen nicht vorhanden sind. Bei Verbraucherkrediten beispielsweise werden neue Informationen, die über das typische Kreditauskunfts-/Kreditbewertungsmodell hinausgehen, häufig vom gebräuchlichsten Kreditbewertungssystem, FICO, herangezogen. Dies können Datenpunkte sein, wie die Zahlung von Miete und Stromrechnungen, und persönliche Gewohnheiten, beispielsweise ob Sie bei Target oder Whole Foods einkaufen und einen Mac oder einen PC besitzen, sowie Social-Media-Daten.

Maschinelles Lernen (ML) tritt auf, wenn Computer Daten (Standard- und/oder Big Data) basierend auf Beziehungen optimieren, die sie ohne den traditionellen, präskriptiven Algorithmus finden. ML kann neue Beziehungen bestimmen, die eine Person niemals testen würde: Korreliert die Art des Joghurts, den Sie essen, mit Ihrer Wahrscheinlichkeit, einen Kredit zurückzuzahlen? Ob diese Beziehungen zufällige Eigenschaften haben oder nur Stellvertreter für andere korrelierte Faktoren sind, sind kritische Fragen bei der Bestimmung der Rechtmäßigkeit und Ethik des Einsatzes von ML. Sie sind jedoch für die Maschine beim Lösen der Gleichung nicht relevant.

James i. von England glaubte an das göttliche Recht der Könige, das heißt

Was echte KI ausmacht, wird immer noch diskutiert, aber um ihre Auswirkungen auf die Kredit- und Risikoallokation zu verstehen, verwenden wir den Begriff KI, um die Einbeziehung von Big Data, maschinellem Lernen und den nächsten Schritt zu bezeichnen, in dem ML zu KI wird. Ein Bankdirektor hilfreich definierte KI indem man es dem Status Quo gegenüberstellt: Es gibt einen signifikanten Unterschied zwischen KI, was für mich maschinelles Lernen und Maschinen bezeichnet, die sich selbstständig vorwärts bewegen, und Auto-Decisioning, das Daten im Kontext eines verwalteten Entscheidungsalgorithmus verwendet.

Aktuelle Regeln

Amerikas derzeitige Rechts- und Regulierungsstruktur zum Schutz vor Diskriminierung und zur Durchsetzung einer fairen Kreditvergabe ist für den Umgang mit KI nicht gut gerüstet. Grundlage ist eine Reihe von Gesetzen aus den 1960er und 1970er Jahren (Equal Credit Opportunity Act von 1974, Truth in Lending Act von 1968, Fair Housing Act von 1968 usw.), die auf einer Zeit mit fast genau den gegensätzlichen Problemen basierten, denen wir gegenüberstehen heute: nicht genügend standardisierte Informationsquellen als Entscheidungsgrundlagen und zu wenig Kredit zur Verfügung gestellt. Diese Bedingungen ermöglichten eine grassierende Diskriminierung durch Kreditsachbearbeiter, die Menschen einfach ablehnen konnten, weil sie nicht kreditwürdig aussahen.

Heute sehen wir uns einer Überfülle an Krediten minderer Qualität (hohe Zinsen, Gebühren, missbräuchliche Schuldenfallen) und Bedenken hinsichtlich der Verwendung zu vieler Datenquellen gegenüber, die sich als Stellvertreter für illegale Diskriminierung verstecken können. Das Gesetz macht es illegal, das Geschlecht zur Bestimmung der Kreditwürdigkeit oder der Preise zu verwenden, aber es gibt unzählige Proxys für das Geschlecht, von der Art des Deos, das Sie kaufen, bis hin zu den Filmen, die Sie sich ansehen.

Amerikas derzeitige Rechts- und Regulierungsstruktur zum Schutz vor Diskriminierung und zur Durchsetzung einer fairen Kreditvergabe ist für den Umgang mit KI nicht gut gerüstet.

Das Schlüsselkonzept zur Bekämpfung der Diskriminierung ist das der unterschiedlichen Auswirkungen. Für einen tiefen Einblick in die Funktionsweise unterschiedlicher Auswirkungen mit KI können Sie meine frühere Arbeit zu diesem Thema lesen. Für diesen Artikel ist es wichtig zu wissen, dass unterschiedliche Auswirkungen vom Consumer Financial Protection Bureau wie folgt definiert werden: Ein Gläubiger wendet gesichtsneutrale Richtlinien oder Praktiken an, die sich nachteilig auf ein Mitglied einer geschützten Klasse auswirken oder auswirken, es sei denn, es erfüllt eine legitime Geschäftserfordernisse, die vernünftigerweise nicht mit Mitteln erreicht werden können, die in ihrer Wirkung weniger unterschiedlich sind.

Die zweite Hälfte der Definition bietet Kreditgebern die Möglichkeit, Metriken zu verwenden, die mit geschützten Klassenelementen korrelieren können, solange sie einem legitimen Geschäftsbedarf entsprechen und es keine anderen Möglichkeiten gibt, dieses Interesse zu befriedigen, die weniger unterschiedliche Auswirkungen haben. Eine Reihe bestehender Metriken, darunter Einkommen, Kreditwürdigkeit (FICO) und von Kreditauskunfteien verwendete Daten, wurde als akzeptabel erachtet, obwohl sie eine erhebliche Korrelation mit Rasse, Geschlecht und anderen geschützten Klassen aufweisen.

Bedenken Sie beispielsweise, wie stark die bestehenden FICO-Kreditwerte mit der Rasse korrelieren. Zunächst einmal ist es aufschlussreich, wie wenig Daten darüber veröffentlicht werden, wie diese Werte je nach Rasse variieren. Die Kreditauskunftei Experian ist begierig, eines seiner zu veröffentlichen Versionen von FICO-Scores nach Alter, Einkommen und sogar nach Bundesstaat oder Stadt, aber nicht nach Rasse. Das Bundesgesetz verlangt jedoch, dass Kreditgeber Daten zum Rennen um Hypothekenanträge sammeln, sodass wir Zugriff auf einige Daten haben. Wie in der Abbildung unten gezeigt, sind die Unterschiede krass.

Unter den Menschen, die versuchen, ein Eigenheim zu kaufen, im Allgemeinen eine wohlhabendere und ältere Untergruppe der Amerikaner, haben weiße Eigenheimkäufer eine durchschnittliche Kreditwürdigkeit, die 57 Punkte höher ist als die schwarzer Eigenheimkäufer und 33 Punkte höher als die hispanischer Eigenheimkäufer. Die Verteilung der Kreditwürdigkeit ist ebenfalls stark ungleich: Mehr als 1 von 5 Schwarzen haben FICOs unter 620, ebenso 1 von 9 in der hispanischen Gemeinschaft, während dies nur für 1 von 19 Weißen gilt. Höhere Kredit-Scores ermöglichen Kreditnehmern den Zugang zu verschiedenen Arten von Krediten und zu niedrigeren Zinssätzen. Man vermutet, dass die Lücken noch größer sind als diejenigen, die versuchen, ein Haus zu kaufen.

Wenn FICO heute erfunden würde, würde es einem unterschiedlichen Schlagtest genügen? Das Fazit von Rice und Swesnik in Ihr Artikel zur Gesetzesüberprüfung war klar : Unsere aktuellen Kreditbewertungssysteme haben unterschiedliche Auswirkungen auf Menschen und Farbgemeinschaften. Die Frage ist stumm, weil FICO nicht nur ein Großvater ist, sondern auch zu einem der wichtigsten Faktoren geworden ist, die vom Finanzökosystem verwendet werden. Ich habe FICO als die verstimmte Oboe beschrieben, auf die der Rest des Finanzorchesters stimmt.

Neue Daten und Algorithmen unterliegen keinem Bestandsschutz und unterliegen dem unterschiedlichen Impact-Test. Das Ergebnis ist eine Doppelmoral, bei der neue Technologien oft auf höhere Standards gestellt werden, um Verzerrungen zu vermeiden als bestehende Methoden. Dies hat den Effekt, dass das Feld gegenüber neuen Daten und Methoden gekippt wird und das bestehende System gestärkt wird.

Explainability ist ein weiterer zentraler Mieter unseres bestehenden fairen Kreditsystems, der der Einführung von KI entgegenwirken könnte. Kreditgeber sind verpflichtet, den Verbrauchern mitzuteilen, warum sie abgelehnt wurden. Die Erläuterung der Begründung bietet einen Papierpfad, um Kreditgeber zur Verantwortung zu ziehen, falls sie sich an Diskriminierung beteiligen. Es bietet dem Verbraucher auch Informationen, die es ihm ermöglichen, sein Verhalten zu korrigieren und seine Kreditchancen zu verbessern. Allerdings kann es der Methode einer KI, Entscheidungen zu treffen, an Erklärbarkeit fehlen. Als US-Notenbank-Gouverneurin Lael Brainard habe das Problem beschrieben : Je nachdem, welche Algorithmen verwendet werden, kann es sein, dass niemand, einschließlich der Ersteller des Algorithmus, leicht erklären kann, warum das Modell die Ergebnisse lieferte, die es lieferte. Um voranzukommen und das Potenzial der KI zu erschließen, brauchen wir einen neuen konzeptionellen Rahmen.

Ein neuer Rahmen

Stellen Sie sich zunächst einen Kompromiss zwischen Genauigkeit (dargestellt auf der y-Achse) und Verzerrung (dargestellt auf der x-Achse) vor. Die erste wichtige Erkenntnis ist, dass das aktuelle System am Schnittpunkt der Achsen existiert, die wir abtauschen: dem Ursprung des Graphen. Jede potenzielle Änderung muss mit dem Status quo verglichen werden – nicht mit einer idealen Welt ohne Voreingenommenheit oder vollständiger Genauigkeit. Dies zwingt die politischen Entscheidungsträger zu prüfen, ob die Einführung eines neuen Systems, das Voreingenommenheit enthält, aber weniger als das aktuelle System enthält, ein Fortschritt ist. Es mag schwierig sein, einen von Natur aus voreingenommenen Rahmen zu akzeptieren, aber es ist wichtig anzuerkennen, dass der Status quo bereits stark voreingenommen ist. Daher bedeutet die Ablehnung neuer Technologien, weil sie ein gewisses Maß an Verzerrungen enthalten, nicht, dass wir das System vor Verzerrungen schützen. Im Gegenteil, es kann bedeuten, dass wir einem voreingenommeneren System erlauben, sich zu verewigen.

warum war die erste reise von kolumbus so wichtig

Voreingenommene Innovation

Wie in der Abbildung oben gezeigt, ist die untere linke Ecke (Quadrant III) eine Ecke, in der KI zu einem System führt, das diskriminierender und weniger prädiktiv ist. Regulierung und kommerzielle Anreize sollten diesem Ergebnis gemeinsam entgegenwirken. Es mag schwer vorstellbar sein, neue Technologien zu integrieren, die die Genauigkeit verringern, aber es ist nicht undenkbar, insbesondere angesichts der Anreize in der Industrie, der Entscheidungsfindung und der Geschwindigkeit der Kreditgenerierung Vorrang vor der tatsächlichen Kreditleistung zu geben (wie in der Subprime-Hypothekenkrise). Ein weiteres mögliches Auftreten einer Politik, die sich in diese Richtung bewegt, ist die Einführung ungenauer Daten, die eine KI dazu bringen können, zu glauben, sie habe eine höhere Genauigkeit, wenn dies nicht der Fall ist. Das bestehende Kreditauskunftssystem ist voller Fehler: 1 von 5 Personen haben möglicherweise wesentliche Fehler in ihrer Kreditauskunft. Es treten häufig neue Fehler auf – bedenken Sie den jüngsten Fehler eines Anbieters von Studienkrediten, der 4,8 Millionen Amerikaner falsch gemeldet als verspätet mit der Zahlung ihrer Studienkredite, obwohl die Regierung die Zahlungen im Rahmen der COVID-19-Hilfe ausgesetzt hatte.

Die in der realen Welt verwendeten Daten sind nicht so rein wie diese Modelltests. Marktanreize allein reichen nicht aus, um perfekte Genauigkeit zu erzielen; sie können angesichts der Kosten für die Datenkorrektur und der Nachfrage nach Geschwindigkeit und Quantität sogar Ungenauigkeiten fördern. Wie eine Studie von der Federal Reserve Bank of St. Louis festgestellt, dass der Kreditscore weder als Prädiktor für das tatsächliche Ausfallrisiko von Subprime-Hypothekenkrediten noch für die Subprime-Hypothekenkrise fungiert hat. Was auch immer die Ursache ist, Regulierungsbehörden, Industrie und Verbraucherschützer sollten sich gegen die Einführung von KI in dieser Richtung ausrichten.

Eine Win-Win-Situation oder Duldung von Diskriminierung?

Oben rechts (Quadrant I) stellt die Integration von KI dar, die die Genauigkeit erhöht und Verzerrungen reduziert. Auf den ersten Blick sollte dies eine Win-Win-Situation sein. Die Industrie vergibt Kredite genauer und steigert die Effizienz. Verbraucher profitieren von einer erhöhten Kreditverfügbarkeit zu genaueren Bedingungen und mit weniger Voreingenommenheit als beim bestehenden Status quo. Dieses optimistische Szenario ist durchaus möglich, da ein wesentlicher Grund für die bestehende Verzerrung bei der Kreditvergabe von den verwendeten Informationen herrührt. Wie das Bank Policy Institute in seinem in Diskussionsentwurf zu den Versprechen von KI : Diese erhöhte Genauigkeit kommt Kreditnehmern zugute, die derzeit mit Hindernissen konfrontiert sind, um im Rahmen konventioneller Underwriting-Ansätze kostengünstige Bankkredite zu erhalten.

Ein prominentes Beispiel für ein Win-Win-System ist der Einsatz von Cashflow-Underwriting. Diese neue Form des Underwritings verwendet das tatsächliche Bankguthaben eines Antragstellers über einen bestimmten Zeitraum (oft ein Jahr) im Gegensatz zum aktuellen FICO-basierten Modell, das stark davon abhängt, ob eine Person in der Vergangenheit Kredite hatte und wenn ja, ob sie jemals in Zahlungsverzug geraten war oder Vorgabe. Voruntersuchung von FinReg Labs zeigt, dass dieses Underwriting-System das traditionelle FICO allein übertrifft und in Kombination mit FICO noch prädiktiver ist.

Die Cashflow-Analyse weist eine gewisse Verzerrung auf, da Einkommen und Vermögen mit Rasse, Geschlecht und anderen geschützten Klassen korreliert sind. Da jedoch Einkommen und Vermögen akzeptable bestehende Faktoren sind, sollte das derzeitige System der fairen Kreditvergabe keine Probleme bereiten, diese Informationen intelligenter zu nutzen. Ironischerweise besteht diese neue Technologie den Test, weil sie Daten verwendet, die bereits bestanden haben.

Dies ist bei anderen KI-Fortschritten nicht der Fall. Die neue KI kann den Kreditzugang zu günstigeren Bedingungen als das derzeitige System verbessern und dennoch nicht zulässig sein. Nur weil KI ein weniger diskriminierendes System geschaffen hat, heißt das nicht, dass es faire Kreditvergaberegeln erfüllt. Es gibt keinen Rechtsstandard, der illegale Diskriminierung bei der Kreditvergabe zulässt, da sie weniger voreingenommen ist als frühere diskriminierende Praktiken. Als 2016 Studie des Finanzministeriums abgeschlossen , Datengesteuerte Algorithmen können Bonitätsprüfungen beschleunigen und Kosten senken, sie bergen auch das Risiko unterschiedlicher Auswirkungen auf die Kreditergebnisse und das Potenzial für Verstöße gegen die faire Kreditvergabe.

Stellen Sie sich zum Beispiel eine KI vor, die mit hoher Genauigkeit eine Verschlechterung des Gesundheitszustands einer Person erkennen kann, beispielsweise durch Ausgabenmuster (Zuzahlungen des Arztes), Internetsuchen (Krebsbehandlung) und den Beitritt zu neuen Facebook-Gruppen ( Leben mit Krebs). Medizinische Probleme sind ein starker Indikator für zukünftige finanzielle Notlagen. Wollen wir eine Gesellschaft, in der Ihre Kreditkonditionen sinken, wenn Sie krank werden oder ein Computeralgorithmus denkt, dass Sie krank sind? Das ist vielleicht ein weniger voreingenommenes System als wir es derzeit haben und kein, das politische Entscheidungsträger und die Öffentlichkeit unterstützen würden. Was wie eine Win-Win-Situation aussieht, ist plötzlich nicht mehr so ​​wünschenswert.

Kompromisse: Mehr Genauigkeit, aber weniger Fairness

KI, die die Genauigkeit erhöht, aber mehr Verzerrungen einführt, erhält zu Recht viel Aufmerksamkeit. Dieses oben links (Quadrant II) dieses Frameworks dargestellte Szenario kann von der Einführung von Daten reichen, die klare Proxys für geschützte Klassen sind (Lifetime oder BET im Fernsehen ansehen) bis hin zu Informationen oder Techniken, die auf den ersten Blick nicht erscheinen voreingenommen, sind es aber tatsächlich. Es gibt gute Gründe zu der Annahme, dass die KI auf natürliche Weise Stellvertreter für die Rasse finden wird, da zwischen den Rassen große Einkommens- und Vermögensunterschiede bestehen. Wie Daniel Schwarcz es formulierte sein Artikel über KI und Proxy-Diskriminierung : Unbeabsichtigte Proxy-Diskriminierung durch KIs ist praktisch unvermeidlich, wenn das Gesetz Diskriminierung aufgrund von Merkmalen verbieten will, die prädiktive Informationen enthalten, die nicht direkter im Modell durch nicht verdächtige Daten erfasst werden können.

Die Proxy-Diskriminierung durch KI ist noch besorgniserregender, da die Maschinen wahrscheinlich Proxys aufdecken, an die die Leute zuvor nicht gedacht hatten.

Die Proxy-Diskriminierung durch KI ist noch besorgniserregender, da die Maschinen wahrscheinlich Proxys aufdecken, an die die Leute zuvor nicht gedacht hatten. Denken Sie an das Nutzungspotenzial, unabhängig davon, ob eine Person einen Mac oder PC verwendet oder nicht, ein Faktor, der sowohl mit der Rasse korreliert als auch davon abhängt, ob die Menschen Kredite zurückzahlen. sogar kontrollieren für Rennen.

Herzog Professor Manju Puri und Co-Autoren konnten bauen ein Model Verwendung von nicht standardisierten Daten, die eine erhebliche Vorhersagekraft hinsichtlich der Rückzahlung eines Kredits durch die E-Mail-Adresse dieser Person mit ihrem Namen ergaben. Auf den ersten Blick mag dies wie eine nicht diskriminierende Variable erscheinen, die innerhalb der Kontrolle einer Person liegt. Die Ökonomen Marianne Bertrand und Sendhil Mullainathan haben jedoch gezeigt Afroamerikaner, deren Namen stark mit ihrer Rasse in Verbindung gebracht werden, werden im Vergleich zur rassenblinden Identifizierung erheblich diskriminiert. Daher ist es durchaus möglich, dass die Verwendung einer scheinbar harmlosen Variablen unterschiedliche Auswirkungen hat, z. B. ob Ihr Name Teil Ihrer E-Mail-Adresse ist.

Für politische Entscheidungsträger stellt sich die Frage, inwieweit Genauigkeit auf Kosten der Voreingenommenheit gegenüber geschützten Klassen priorisiert werden sollte. Grundsätzlich würde ich argumentieren, dass unser Ausgangspunkt ein stark voreingenommenes System ist und wir die Einführung einer erhöhten Voreingenommenheit nicht tolerieren sollten. Es gibt ein schlüpfriges Argument dafür, ob eine KI mit der Einführung von nur geringfügig mehr Verzerrungen erhebliche Genauigkeitssteigerungen erzielt hat. Schließlich leistet unser derzeitiges System bei der Vergabe vieler Basis-Credits überraschend schlechte Arbeit und toleriert eine beträchtliche Menge an Voreingenommenheit.

Die Industrie wird sich wahrscheinlich für die Aufnahme dieser Art von KI einsetzen, während Verbraucherschützer sich wahrscheinlich gegen ihre Einführung aussprechen werden. Das geltende Recht ist in seiner Anwendung widersprüchlich. Bestimmten Personengruppen wird ein starker Antidiskriminierungsschutz gegenüber bestimmten Finanzprodukten gewährt. Aber auch dies variiert je nach Finanzprodukt. Nehmen Sie zum Beispiel das Geschlecht. Nach fairen Kreditgesetzen ist es eklatant illegal, bei der Kreditvergabe das Geschlecht oder einen anderen Stellvertreter für das Geschlecht zu verwenden. In den meisten Staaten ist jedoch das Geschlecht als Preisunterschied für Autoversicherungen zulässig. Tatsächlich kann das Geschlecht bei brandneuen Fahrern der größte Einzelfaktor bei der Bestimmung des Preises sein, wenn kein Fahrausweis vorliegt. Amerika fehlt ein einheitliches Regelwerk darüber, was Diskriminierung darstellt und welche Arten von Attributen nicht diskriminiert werden können. Die fehlende Einheitlichkeit wird durch die Aufteilung der Zuständigkeiten zwischen Bundes- und Landesregierungen sowie innerhalb der Regierungen zwischen Regulierungs- und Justizsystem für die Aufdeckung und Ahndung von Straftaten verschärft.

Kompromisse: Weniger Genauigkeit, aber mehr Fairness

Die letzten Kompromisse beinhalten eine Erhöhung der Fairness, aber eine Verringerung der Genauigkeit (Quadrant IV unten rechts). Ein Beispiel ist eine KI mit der Fähigkeit, Informationen über das menschliche Genom einer Person zu verwenden, um ihr Krebsrisiko zu bestimmen. Diese Art der genetischen Profilerstellung würde die Genauigkeit bei der Preisgestaltung von Versicherungsarten verbessern, verstößt jedoch gegen Fairnessnormen. In diesem Fall haben die politischen Entscheidungsträger entschieden, dass die Verwendung dieser Informationen nicht akzeptabel ist und habe es illegal gemacht . Zurück zur Rolle des Geschlechts: Einige Staaten haben die Verwendung des Geschlechts in der Kfz-Versicherung eingeschränkt. Kalifornien zuletzt wurde in die Liste der Staaten aufgenommen Geschlecht wird nicht mehr zugelassen, was bedeutet, dass die Preisgestaltung fairer, aber möglicherweise weniger genau ist.

Ist Königin Elizabeth heute gestorben?

Der Druck der Industrie würde dazu neigen, gegen diese Art von Beschränkungen anzukämpfen und auf größere Genauigkeit zu drängen. Gesellschaftliche Gerechtigkeitsnormen können Kompromisse erfordern, die die Genauigkeit verringern, um vor Voreingenommenheit zu schützen. Diese Kompromisse werden von den politischen Entscheidungsträgern am besten behandelt, bevor diese Informationen weit verbreitet sind, wie beispielsweise im Fall der genetischen Daten. Das Einschränken der Verwendung dieser Informationen löst das Problem jedoch nicht. Im Gegenteil, die Fähigkeit der KI, versteckte Proxys für diese Daten aufzudecken, kann Probleme verschärfen, bei denen die Gesellschaft versucht, die Datennutzung aus Gründen der Gerechtigkeit einzuschränken. Probleme, die durch Verbote gelöst erscheinen, wandern dann einfach in die algorithmische Welt und tauchen dort wieder auf.

Die zugrunde liegende Erkenntnis für diesen Quadranten ist eine, in der soziale Bewegungen, die den Schutz erweitern und Diskriminierung reduzieren, wahrscheinlich schwieriger werden, da KIs Problemumgehungen finden. Solange es erhebliche Unterschiede bei den beobachteten Ergebnissen gibt, werden Maschinen unterschiedliche Ergebnisse mithilfe neuer Variablensätze aufdecken, die neue Informationen enthalten oder einfach nur statistisch wirksame Proxys für geschützte Klassen sein können.

Letzte Imbissbuden

Der Status quo ist nichts, was die Gesellschaft als Nirvana aufrechterhalten sollte. Unser derzeitiges Finanzsystem leidet nicht nur unter Jahrhunderten der Voreingenommenheit, sondern auch unter Systemen, die selbst nicht annähernd so vorhersagend sind, wie oft behauptet wird. Die Datenexplosion in Verbindung mit dem erheblichen Wachstum von ML und KI bietet eine enorme Chance, erhebliche Probleme im aktuellen System zu beheben. Die bestehenden Antidiskriminierungsrahmen sind für diese Gelegenheit nicht geeignet. Die Weigerung, neue Technologien auf einem höheren Standard als dem Status quo zu halten, führt zu einer unausgesprochenen Ehrerbietung gegenüber dem bereits voreingenommenen aktuellen System. Aber das einfache Öffnen der Schleusentore nach den Regeln von Können Sie es besser machen als heute, öffnet sich eine Büchse der Pandora mit neuen Problemen.

Der Status quo ist nichts, was die Gesellschaft als Nirvana aufrechterhalten sollte. Unser derzeitiges Finanzsystem leidet nicht nur unter Jahrhunderten der Voreingenommenheit, sondern auch unter Systemen, die selbst nicht annähernd so vorhersagend sind, wie oft behauptet wird.

Amerikas zersplittertes Regulierungssystem mit unterschiedlichen Rollen und Verantwortlichkeiten über Finanzprodukte und Regierungsebenen hinweg macht schwierige Probleme nur noch schwieriger. Da einheitliche Regeln und kohärente Rahmenbedingungen fehlen, wird die technologische Einführung bei bestehenden Unternehmen wahrscheinlich langsamer sein, um noch größere Chancen für neue Marktteilnehmer zu schaffen. Eine breitere Diskussion darüber, wie viel Voreingenommenheit wir im Interesse der Verbesserung des Status quo tolerieren möchten, würde allen Parteien zugutekommen. Das erfordert die Schaffung von mehr politischem Raum für die Seiten, um ein schwieriges und ehrliches Gespräch zu führen. Der gegenwärtige politische Moment ist für dieses Gespräch nicht geeignet, aber ich vermute, dass die Fortschritte der KI nicht warten werden, bis Amerika bereit ist, sich diesen Problemen zu stellen.

---

Bericht erstellt von Zentrum für Technologieinnovation