‍Berlin, Germany 2001
Berlin, Germany 1934

‍

Weeks ago I was introduced to President Rau of Germany as the inventor of computer technology. I am certainly not the architect of computers. I'd like to be known as an experienced computer scientist who has become a dissident in the field. I am not a critic of computer technology, rather a critic of society. Computer science is a very convenient hook because the computer is involved in so much of what we do today. My view of the United States and its role in the world is consistent with that. The use of technology and particularly the computer in warfare is a disaster. I wrote a book called Computer Power and Human Reasons – From Judgment to Calculations. I often thought it should have been the other way round. The tragic thing that has happened, especially in the elite, is that where we once made judgments based on what one might call gut perceptions we now apply “rationality.” In warfare computers are the perfect instrument to pick the target. There is much to be dissented about in this world.

‍

My major was mathematics at a relatively minor college where the professor thought that the university should have a computer. In the 1950s if a university wanted a computer they built one. It was one of the major experiences in my life to build a complex instrument like that. One had to invent it and it was a terribly wonderful adventure and it helped that we were successful. The exchange of ideas was absolutely great, nobody thought about patents. We practically got to know everybody in the small computer community and there wasn't any computer science then.

‍

My first real job in the computer industry was on the navy base Point Mugu, California where the development of the Cruise missile was in its absolute infancy. It wasn't at all clear that it could actually do what it was supposed to do. The computations that had to be done were done with flying experimentally. It was always a big deal when they would test one and quite spectacular when they blew up. Imagine here is a missile that navigates by vision and when it finds the target it goes in the left door. You are sitting on a hill and see that place is full of people. If you wish it didn't work, then you should find some other work. If you believe that the Russians, the Chinese or whoever are a mortal threat to civilization I have a quite different argument with you. I believed in the missile gap, that was much talked about at the time. It took a while before I got a more realistic picture of the world.

‍

Eventually "you become what you pretend to be" and in 1963 after communicating very clearly what needed to be said at a computer conference I got an invitation to teach at the Massachusetts Institute of Technology for a year. They were just starting with computers and I was finished with developing a computer for the Bank of America. I went to MIT and it was like putting a little boy in a toyshop full of electric planes – just wonderful. It wasn't all play and fun, but it was a good twenty-five years and I eventually became a professor.

‍

The picture is taken at the Gendarmenmarkt in Berlin shortly before we went to America. It is 1935 on the steps of the Schauspielhaus and pretty much across the street from where we lived. My brother and I are both identically dressed in short pants. When we came to Detroit, Michigan we were practically laughed out of the place. I remember the embarrassment once we got to school, and we never wore short pants again. My brother Henry, or Heinz at the time, seems to embrace me spontaneously more than I him. I don't think it was a typical pose for us, we were often rivals as is the case with brothers close to another's age.

‍

The Jewish boys school that was established after Jewish kids were not allowed to be in the Gymnasium anymore I remember very well. Herr Reich, the teacher, looked a little bit like Professor Unrat in The Blue Angel. He also had some of his manners. I am now ashamed of how we teased him. His wife having a baby brought forth sexual ideas and by age twelve boys no longer believe that parents had intercourse exactly once for the baby. I remember walking by an office supply store and one of the things they had in the window was a little rubber thing that you can put on your finger to turn pages. I remember speculating that's probably a condom. Obviously I wasn't fully informed, but I think there were evidences of sexual awakening. On the way to school I had to walk to the Alexanderplatz and I passed by the Rote Rathaus which became famous when John Kennedy made his speech “Ich bin ein Berliner!” One of the buildings there housed a newspaper and they always had today's paper in the window. For some reason I remember that one day they had a big spread that the American gangster John Dillinger had been killed. I had very little idea what America was, I was looking forward to an adventure.

‍

The Atlantic crossing with the fastest ship, the Bremen, was a wonder. I remember going across the gangplank and all of a sudden you are in a big spacious hall, a building not a ship. I "knew" about America out of books like The Last of the Mohicans or detective stories with John Kling. He worked in Manhattan so I wanted to see skyscrapers very badly, but when we landed in New York we immediately went to the railroad station where we took a train to Detroit. We had to transfer in Buffalo and I thought surely we would see Indians. The name Honolulu was familiar to me and I discovered to my astonishment that it was actually a city. I remember also finding a chewing gum wrapper on the floor and it was green and I thought it was money. I had heard stories that one could find money on the streets.

‍

I soon learned that President Roosevelt was a very great man who did good deeds for the people. This idea stayed with me until the war was over. I was in the army as a weatherman when a black soldier told me that was not a true picture, that he had done essentially nothing. It was a reversal in my mind, namely it taught me that such reversals were possible. I had subscribed to Dwight MacDonald's critical magazine Politics and learned a lot from this brilliant writer, so this epiphany that Roosevelt was really not the angel that I had taken him to be was already prepared. I think that America is an imperialist nation. We more or less bought countries, perhaps all of South America. A disproportionately large percentage of our black population is either in prison or on probation, especially young men. The corporations are ruthless. The depth of poverty in America is largely unknown to most people, especially Europeans. I leave the dark side at that.

‍

On the other hand the white individual in America is as free as anyone on this earth. Unfortunately the freedom of the press isn't used to a large extent. In 1973 Henry Kissinger and Henry Ford happened to be in Indonesia and the people there put it to them that they attended to East Timor. They were told we have nothing against it. In the first year of that conflict one quarter of the population of East Timor was murdered. It was a terrible tragedy, but contrary to the occupation of Cambodia not a word of it was published in the American press. It was largely self-censorship and so there is a lot about America that America itself is not conscious of.

‍

I started photographing before the war when I realized very quickly the important thing is to learn to see. You can make a little frame out of your fingers and you don't need a camera for that. I often photographed my four daughters who are an important part of my life. I am very happy about them and very happy with them. In 1973 in Palo Alto, California I was a fellow for behavioral sciences and got into a mode of doing portraits. I learned then that every portrait is to some extent a self-portrait, that the photographer is in it. I did a very successful portrait there of a famous psychoanalyst. I made one exposure. Then his wife came to me and I wasted two roles trying to photograph her. There was another fellow there, a bear of a guy and a very successful sociologist. I told him, “you are two entirely different people, which one do you want me to photograph?” On the one hand, the famous professor, top-ranked in the nation and on the other hand a little boy who doesn't believe in himself. I finally did two pictures, one of each.

‍

First published in: Reiner Leist (Ed.), American Portraits. 1910-2001, Munich/London/New York, 2001, 168-169

‍

von Alexandra Keiner

‍

Algorithmen und künstliche Intelligenz haben in den vergangenen Jahren Einzug in nahezu alle gesellschaftlichen Bereiche gehalten. Damit sind diese Technologien auch zu einem zentralen Bestandteil sozialwissenschaftlicher Forschung geworden. Dabei sind die gesellschaftlich dominanten Narrative – meist von großen Big-Tech-Unternehmen verbreitet – vor allem auf die Lösungspotenziale dieser Technologien ausgerichtet. So sollen KI-Systeme in der Medizin und Psychotherapie genauere Diagnosen und bessere Behandlungen liefern, in sozialen Medien Hasskommentare schneller und präziser erkennen oder Kriminalität vorhersagen. Um den wachsenden Einsatz dieser Technologien wissenschaftlich begleiten und analysieren zu können, ist für Sozialwissenschaftler:innen deshalb eine frühzeitige Auseinandersetzung mit technikethischen Fragen wichtig. Denn gerade hier besteht die Gefahr, dass man aufgrund der populären Narrative oder fehlender technischer Expertise keine kritische Position zu diesen Technologien entwickeln und daher allenfalls Handlungsanweisungen zu ihrer Verbesserung geben kann.

‍

Weizenbaum ist dafür eine große Hilfe. In „Die Macht der Computer und die Ohnmacht der Vernunft“ (1977) kritisiert er die Unterwerfung aller politischen und moralischen Entscheidungen unter einem zweckrationalen Imperativ und nennt dies – in Anlehnung an den Kritischen Theoretiker Max Horkheimer (1947) – „Imperialismus der instrumentellen Vernunft“. Diese Ideologie habe nicht nur in der breiteren Gesellschaft, sondern auch in der Computer- und KI-Forschung Einzug gehalten, sodass Moral und Werteorientierung zunehmend als unwissenschaftlich abgetan würden. Vor dem Hintergrund fordert er vor allem Informatiker:innen dazu auf, sich ihren Entscheidungsmöglichkeiten und möglichen Konsequenzen ihrer Forschung und Entwicklung bewusst zu werden. Aus meiner Sicht macht Weizenbaum allerdings auch deutlich, warum eine wertegeleitete Forschung zu KI-Systemen nicht nur für Entwickler:innen dieser Technologie, sondern auch für Forscher:innen aus anderen Disziplinen relevant ist. Insbesondere zwei Kritikpunkte, die er in seinem Buch anführt, sind für mich entscheidend: zum einen seine Kritik an der Rationalisierung und Technisierung sozialer Probleme, zum anderen seine Forderung nach einer verantwortungsbewussten Auswahl von Forschungsfragen.

‍

Rationalisierung und Technisierung sozialer Probleme 

‍

Ein erstes Projekt, bei dem Weizenbaums Perspektive für meine Arbeit relevant wurde, war eine Untersuchung des Einsatzes algorithmischer Dialekterkennung durch das Bundesamt für Migration und Flüchtlinge (BAMF). Seit 2016 setzt die Behörde eine Software zur Erkennung von Dialekten ein, um mitunter auf dieser Grundlage über die Aufenthaltsberechtigung von Geflüchteten zu entscheiden. Entsprechend ambivalent waren die Reaktionen auf den Einsatz der Dialekterkennungssoftware: Einerseits wurde die Software vor allem von politischer Seite als modern, unabhängig und objektiv bewertet, andererseits zweifelten Wissenschaftler:innen an ihrer Zuverlässigkeit und Angemessenheit. Mir hat sich vor diesem Hintergrund die Frage gestellt, wie trotz dieser Diskrepanz der Einsatz dieser Software im Asylverfahren legitimiert wird. 

‍

In meiner Arbeit konnte ich zeigen, dass der Einsatz der Software dadurch zu legitimieren versucht wurde, dass die Sprache bzw. Dialekte, aber auch des Asylverfahrens selbst, zu formalen und rationalen Problemen erklärt wurden. Denn nur bei einer solchen Formalisierung eines Problems ist es auch sinnvoll, Technik zu dessen Lösung einzusetzen. So wurde etwa entschieden, dass es ausreicht, wenn die Entscheidungen der Software ausschließlich auf phonetischer Grundlage getroffen würden. Das BAMF sagte dazu: „Der Computer orientiert sich an der Phonetik, also an der Art und Weise, wie eine Person Worte ausspricht, und nicht daran, welche Worte die Person wählt“ (ebd.). Die inhaltliche Dimension von Sprache wurde also gelöscht und die formale beibehalten; denn im Gegensatz zur Sprachkompetenz ließe sich die Phonetik eben „in Codes umwandeln“ (vgl. auch Bundesregierung 2018, S. 8), also technisch auswerten. Folgerichtig wurde die Software auch nur mit Programmierern und „Experten für Algorithmen“ entwickelt, anstatt mit Sprachforscher:innen. Die Konsequenz ist allerdings, dass das Verfahren plötzlich auf einem monolingualen, geografisch eindeutig lokalisierbaren Sprachverständnis beruht, bei dem die individuelle Sprach- und Stimmgeschichte in den Hintergrund tritt (Maier-Rothe 2019, S. 37). 

‍

Weizenbaums kritische Perspektive hat sich für mich hier als hilfreich erwiesen, um diese Rechtfertigungsversuche von KI-Systemen in so sensiblen Kontexten wie Asylverfahren zu identifizieren und mögliche Konsequenzen und Folgefragen der Rationalisierung und Technisierung sozialer Probleme abzuleiten. Tatsächlich nennt er ausdrücklich die „automatische Erkennung der menschlichen Rede“ (S. 352) als eine der Anwendungen, die gar nicht oder „nicht ohne sorgfältige Vorüberlegungen“ von Computern übernommen werden sollte. Allerdings nicht, weil er damals nicht an die technische Machbarkeit der automatischen Spracherkennung geglaubt hätte, sondern weil sie in komplexen gesellschaftlichen Zusammenhängen unabsehbare Folgen haben könnte. Übertragen auf die Dialekterkennungssoftware des BAMF bedeutet dies, dass nicht nur die technische Machbarkeit des Einsatzes, wie etwa die hohe Fehlerquote von bis zu 20 Prozent oder die Intransparenz der zugrundeliegenden Trainingsdaten, hinterfragt werden muss, sondern auch mögliche Auswirkungen, die das gewünschte Ziel einer Verbesserung des Asylverfahrens nicht nur verfehlen, sondern sogar einen gegenteiligen Effekt haben. Ein Einsatz der Dialekterkennungssoftware kann etwas nicht nur dazu führen, dass das Recht auf Asyl fälschlicherweise nicht gewehrt wird, sondern auch, „dass ein Mensch versehentlich an einen Ort abgeschoben werden könnte, mit dem ihm nichts verbindet – außer vielleicht seine trügerische Stimme“ (Maier-Rothe 2019, S. 37).

‍

Verantwortungsbewusste Wahl der Forschungsfragen

‍

In meinem aktuellen Dissertationsprojekt spielt hingegen Weizenbaums Forderung nach einer verantwortungsbewussten Wahl der forschungsleitenden Frage eine große Rolle. Weizenbaum zufolge blende der zweckrationale Imperativ die moralische Dimension der Entwicklung und Erforschung von Technologien völlig aus. Ethische oder moralische Fragen würden als „anti-wissenschaftlich“ (S. 345) abgetan, da Hypothesen nur wahr oder falsch sein könnten und per se alles technisch Mögliche getan werden könne und müsse, unbeeinflusst von moralischen Bedenken. Dies verdränge allerdings die Tatsache, dass gerade in der Technologieforschung und -entwicklung ständig normative Entscheidungen getroffen werden, etwa aufgrund politischer und gesellschaftlicher Interessen, aber auch aufgrund von Ressourcenknappheit. Er argumentiert, dass „der wissenschaftliche ‚Fortschritt‘ sich nicht entlang eines Weges bewegt, der von der Natur selbst vorgezeichnet ist, sondern menschliche Interessen und Probleme reflektiert“ (S. 345). Angesichts dessen müsse der Mensch „eine Wahl treffen, welchen Fragen er sich zuwenden und welche er unberührt lassen soll“ (ebd.). 

‍

In meinem Dissertationsprojekt beschäftige ich mich unter anderem mit der Digitalisierung des internationalen Zahlungsverkehrs. Betrachtet man das Thema vor allem technisch-rational, so wäre interessant zu untersuchen, ob die Digitalisierung das Bezahlen über Ländergrenzen hinweg einfacher und sicherer macht. Mit Blick auf Weizenbaums Perspektive ist es aus meiner Sicht aber relevanter zu fragen, für wen genau die Digitalisierung des internationalen Zahlungsverkehrs Erleichterungen, für wen sie vielleicht sogar einen gegenteiligen Effekt hat, und welche Probleme durch die Digitalisierung nicht gelöst werden. Denn der Zugang zu digitalen Finanzinfrastrukturen ist global betrachtet sehr unterschiedlich und spiegelt häufig bestehende soziale Ungleichheiten wider: So sind etwa die Möglichkeiten für Arbeitsmigrant:innen, Geld an ihre Familien und Freund:innen in den Herkunftsländern zu schicken, stark eingeschränkt und mit hohen Kosten verbunden. Die Entscheidung, mein Forschungsinteresse auf diese sogenannten „Remittances“ zu richten, war vor allem durch zwei moralische Aspekte motiviert: zum einen die Ungleichheiten im Zahlungsverkehr, die kaum gesellschaftliche und wissenschaftliche Aufmerksamkeit erfahren; zum anderen die politischen Gründe, die die Mobilität von Geld, aber auch von Migrant:innen erschweren.

‍

Diese Beispiele aus meiner Arbeit zeigen, dass der Einsatz von Algorithmen und KI auch im Bereich der Kontrolle und des Managements von Flucht und Migration eine große Rolle spielt. Äußerst kritisch würde Weizenbaum hier den Trend sehen, dass insbesondere Staatsgrenzen und Geflüchtete zunehmend als „technological testing grounds“ (Molnar 2020) für die Entwicklung solcher Technologien genutzt werden, da hier die ethischen und rechtlichen Möglichkeiten bereits aufgeweicht sind. Das verdeutlich, wie stark politische und wirtschaftliche Interessen von Staaten und Unternehmen Einfluss darauf haben, welche Technologien entwickelt und wozu sie eingesetzt werden. Dazu schreibt Weizenbaum: „Die Tatsache, daß es diese Dinge [sichere Automobile, anständige Fernsehprogramme, erträgliche Wohnbedingungen für jedermann und bequeme, sichere und gut ausgebaute Massenverkehrsmittel] nicht gibt, und zwar in einem Land, das die Möglichkeiten hätte, sie zu produzieren, ist eine Folge nicht der technischen Zwangsläufigkeit, nicht der Tatsache, daß es niemanden mehr gibt, der eine Wahl trifft, sondern des Faktums, daß sich die Menschen dafür entschieden haben, genau die Dinge herzustellen und zu besitzen, die wir produzieren und uns gehören“ (S. 357).

‍

Alexandra Keiner ist Soziologin und Doktorandin in der Forschungsgruppe „Normsetzung und Entscheidungsprozesse“ am Weizenbaum-Institut für die Vernetzte Gesellschaft. Ihre Forschungsschwerpunkte sind Finanzinfrastrukturen, Plattformökonomie, Migration und die Regulierung von Internetpornografie. In ihrer Dissertation beschäftigt sie sich mit der Digitalisierung von Auslandsüberweisungen und deren Auswirkungen auf finanzielle Inklusion.

‍

‍

‍

Literatur 

‍

Bundesregierung (2018): Antwort der Bundesregierung auf die Kleine Anfrage der Abgeordneten Ulla Jelpke, Dr. André Hahn, Gökay Akbulut, weiterer Abgeordneter und der Fraktion DIE LINKE. Drucksache 19/5697. URL:http://dipbt.bundestag.de/dip21/btd/19/066/1906647.pdf 

‍

Maier-Rothe, Jens (2019): Keine Stimme ist illegal. In: Dinter, Ina (Hrsg.): Lawrence Abu Hamdan. The Voice Before The Law. Katalog zur Ausstellung im Hamburger Bahnhof, Berlin 2019/2020. Berlin, S. 32–38.

‍

Molnar, Petra (2020). Testing Grounds. Migration Management Experiments and Reflections from the Ground Up: https://edri.org/wp-content/uploads/2020/11/Technological-Testing-Grounds.pdf

‍

Weizenbaum, J. (2018 [1977]). Die Macht der Computer und die Ohnmacht der Vernunft: suhrkamp taschenbuch wissenschaft.

‍

‍

Rainer Rehak beschäftigt sich seit über fünfzehn Jahren mit den Folgen der Algorithmisierung und Computerisierung der Gesellschaft. Er forscht am Weizenbaum-Institut zu Themen wie Datenschutz, Informatik und Ethik, Digitalisierung und Nachhaltigkeit, sowie Technikfiktionen und KI. Er engagiert sich unter anderem im Forum InformatikerInnen für Frieden und gesellschaftliche Verantwortung (FIfF). In diesem Interview spricht er über die Bedeutung Joseph Weizenbaums für die Informatik, wie er seine eigene Forschung beeinflusst und warum ein Ort für wertebasierte Forschung zu Digitalisierung wichtig ist,

‍

Wie verortest Du als Forschender vom Fach die Bedeutung Joseph Weizenbaums für die Informatik?

‍

Rainer Rehak: Joseph Weizenbaum hatte für die englischsprachige Informatik und später dann auch für die deutsche Informatik in dreierlei Hinsicht eine maßgebliche Bedeutung. Erstens war das Feld, was später Informatik heißen sollte, in der Schaffenszeit Weizenbaums primär geprägt von zwei Diskursen, dem technischen und dem philosophischen. Im technischen Diskurs ging es um Fragen der optimalen Nutzung von Speicherplatz durch bestimmte Algorithmen (beispielsweise um gute Such- und Sortierverfahren), um formale Probleme von Berechenbarkeit und Automaten, um Entwicklung von Speichertechnologien, um Bau und Programmierung der Computer. Im philosophischen Diskurs ging es um Fragen der künstlichen Intelligenz, der Logik, der Information, der Abbildbarkeit von Welt und Modell in Software. Weizenbaum hat ganz wesentlich dazu beigetragen, als weiteren Diskurs die konkret gesellschaftlichen Fragen des Computereinsatzes als Teil der Informatik zu etablieren. Dieser Fragenkomplex liegt zwischen Technik und Philosophie, weil es hier um Mensch und Macht geht, um Organisation und Diskurs. Er legte damit den Grundstein für viele der kritischen Grundsatzfragen und Problemaufrisse dessen, was heute „Digitalisierung“ genannt wird.

‍

Zweitens brachte Weizenbaum ganz wesentlich die Rolle und Relevanz von Welt-, Menschen- und Gesellschaftsbildern sowie historischen und kulturellen Vorstellungen in informatische Diskussionen ein. Er thematisierte recht früh, auf welche Weise die damaligen Informatiker dachten (nachdem der Beruf an Ansehen gewonnen hatte und in der Folge die vielen programmierenden Frauen verdrängt worden waren), etwa welche mechanistischen und reduzierten Vorstellungen von Mensch und Gesellschaft sie hatten. Er zeigte auf, dass die Rechenmaschinen deshalb eben keine neutralen Werkzeuge waren, sondern die hierarchischen Denkweisen, die sozialen Kontrollvorstellungen und gewissermaßen auch den Kult des Formalen der damaligen Zunft erbten. Auch bezüglich der sehr engen Verflechtung von Informatik und Militär in Wirtschaft und Akademia legte Weizenbaum immer wieder den Finger in die Wunde. Er fragte stets nach den Zwecken und Geldquellen der damaligen Computerentwicklung und thematisierte so die treibenden Militär- und Machtmotive. Auch diese kritische Sichtweise prägte die Informatik und angrenzende Arbeitsgebiete maßgeblich und tut es bis heute.

‍

Drittens hat Weizenbaum stets sehr prominent die Rolle und Verantwortung der Techniker:innen thematisiert, auch als Gruppe an sich, aber auch ganz individuell, also jeder einzelnen Person. Natürlich sollte es ethische Diskussionen geben und theoretische Überlegungen, aber am Ende sollte seiner Ansicht nach dann auch konkrete Aktion stehen. Er rief regelmäßig alle Informatikfachleute auf, offen Widerstand zu leisten bei unethischen Vorhaben oder bei Projekten, die sie nicht mit ihrem Gewissen vereinbaren konnten. Diese Spielart des professionellen zivilen Ungehorsams innerhalb der Informatik hat er ganz wesentlich mitgeprägt. Auch die Whistleblower:innen oder Journalist:innen der jüngeren Informatikgeschichte (im weiteren Sinne), wie etwa Edward Snowden oder Julian Assange, stehen gewissermaßen in dieser Tradition.

‍
Besonders klar sichtbar machte Weizenbaum seine Position beispielsweise in einem Artikel der „Blätter für deutsche und internationale Politik“ aus dem Jahr 1986, wo er bezüglich der militärischen Aufrüstung der Blöcke – und insbesondere der USA – der „Überzeugung der Einzelnen, dass sie machtlos“ seien, eine klare Absage erteilt. Weiter schreibt er: “Diese (selbst erfüllende) Delusion (sic) kommt bestimmt an dieser Stelle ins Spiel, als Einwand gegen meine These. Ich verlange ja, dass eine ganze Berufsgruppe sich weigert, an dem selbstmörderischen Wahnsinn unseres Zeitalters weiter mitzumachen.“

‍

Auch deswegen hat er im Jahr 1984 zusammen mit der Informatik-Professorin Christiane Floyd und anderen das Forum InformatikerInnen für Frieden und gesellschaftliche Verantwortung (FIfF) e.V. als kritischen Berufsverband gegründet, in dem sich Informatikfachleute organisieren, um solche und andere gesellschaftsrelevante Fragen zwischen Öffentlichkeit und technischer Fachwelt hin und her zu spielen. Das FIfF gibt es nach wie vor, es verleiht jährlich auch einen Weizenbaum-Studienpreis und macht gemeinsame Kooperationsprojekte mit dem Weizenbaum-Institut.

‍

Selbstredend ist es eine Verkürzung, derartige Entwicklungen einzelnen Personen zuzuschreiben, denn dahinter stehen immer viele Menschen, viel Leidenschaft und auch viel Arbeit.

‍

Inwiefern sind die Werte, für die Weizenbaum steht, für Deine eigene Forschung relevant?

‍

Rainer Rehak: Im Zentrum meiner Arbeit stehen informatische Artefakte, und mich interessiert, wie die Wechselwirkungen zwischen diesen Artefakten und den Entwurfs- bzw. Nutzungskontexten aussehen. Das bezieht sich teilweise aufs Individuum, aber auch auf gesellschaftliche Strukturen und organisationale Subsysteme. Dabei gibt es stets die Diskrepanz zwischen den technischen Eigenschaften und den Technikfiktionen, also den (fälschlicherweise) zugeschriebenen Eigenschaften – egal ob sie durch Firmen-PR oder Unverständnis begründet sind. Gesellschaftlich und politisch werden meist zweitere verhandelt und auch die Informatik ist nicht davor gefeit, diese irreführenden Sprachspiele mitzuspielen. Beispielsweise erinnern die heutigen Reaktionen auf ChatGPT doch sehr an den ELIZA-Effekt damals. Auf all diese Aspekte eine (selbst-)kritische Sichtweise zu entwickeln, ist sehr relevant für mein Denken allgemein und meine Forschungsfragen im Speziellen. Dabei greife ich regelmäßig implizit oder explizit auf Denkfiguren von Joseph Weizenbaum zurück. Oder anders formuliert: Er hat die Teildisziplin der „kritischen Informatik“ mitbegründet, in der ich akademisch sozialisiert wurde.

‍

‍Wie siehst Du das Verhältnis von Computertechnik und Gesellschaft – kann Wissenschaft überhaupt vom Gedanken politischer Neutralität geleitet sein, wie viele denken? 

‍

Rainer Rehak: Die Frage nach dem Wissenschaftscharakter der Informatik ist sehr interessant, also nach den Methoden, Theorien, Grundbegriffen und überhaupt dem Gegenstand der Informatik – aber dazu hat Weizenbaum meines Wissens nach wenig gearbeitet und das Thema ist nach wie vor unterbearbeitet. Die allgemeinere Frage der politischen Neutralität von Computertechnik und Wissenschaft hingegen hat er immer wieder thematisiert. Seiner Ansicht nach kann es gar keine neutrale Wissenschaft geben, denn aus einer unendlichen Anzahl von Forschungsfragen werden nur ein paar bearbeitet, aber warum gerade die und andere nicht? Diese Auswahl ist eine Priorisierung und letztendlich Wertung, die prinzipiell gar nicht „neutral“ sein kann und daher reflektiert werden muss. Gleiches gilt beim Technikentwurf. Es gibt immer unzählige Freiheitsgrade vom definierten Zweck über das gewählte Modell bis hin zur konkreten Implementation und somit Entscheidungen, die getroffen werden müssen. All das hat stets eine politische Dimension, wenn die Technik gesellschaftlich wirksam wird und beispielsweise Risiken oder Macht neu- bzw. umverteilt – zumindest in dem Sinne, dass Politik kollektive Entscheidungsfindung bedeutet. Der wissenschaftliche Anspruch muss daher sein, die eigenen Werte (und die eigene gesellschaftliche Position) bewusst zu reflektieren und auch zu explizieren – ansonsten bleiben die Werte unbewusst, aber nicht weniger wirksam.

‍

Parteipolitisch muss Wissenschaft meiner Ansicht nach natürlich neutral sein, zumindest innerhalb des demokratischen Spektrums, denn Demokratie ist die Voraussetzung einer unabhängigen Wissenschaft.

‍

Warum ist das Weizenbaum-Institut der richtige Ort für verantwortungsbewusste Forschung? 

‍

Rainer Rehak: In den programmatischen Gründungstexten des Instituts hieß es, dass hier die „Digitalisierung zum Wohle der Gesellschaft erforscht“ würde. Damit war von Anfang an klar, dass die Forschung hier nicht nur wissenschaftlich exzellent sein muss, sondern auch einem ganz bestimmten Kompass folgen soll. Darum finde ich den Namen Weizenbaum-Institut nach wie vor sehr passend. Dieser Kompass hat aber nicht nur die Komponente, dass hier gesellschaftlich relevante Fragen behandelt werden, sondern er beeinflusst auch die Art und Weise der Bearbeitung, also dass interdisziplinäres Forschen ebenfalls im Zentrum steht und auch Transfer in Gesellschaft, Wirtschaft und Politik gern gesehen und institutionell stark unterstützt wird. Aber auch wertegeleitete Praktiken wie Open Science und Open Access werden hier aktiv vorangetrieben und sogar digitale freie Open-Source-Software-Infrastrukturen wie Matrix oder Nextcloud werden breit eingesetzt und verbessert, indem Fehler darin gemeldet werden, damit sie für alle Nutzenden weltweit behoben werden können.

‍

Und nicht zuletzt arbeitet das Institut mit an der gesellschaftlich so drängenden sozial ökologischen Transformation. Einerseits durch eigene Forschung an der Schnittstelle von Digitalisierung und Nachhaltigkeit, aber andererseits auch beispielsweise durch das aktive Vorantreiben des einflussreichen Bits&Bäume-Bündnisses, wo Wissenschaft und Praxis sowie Netzpolitik- und Nachhaltigkeitsexpertise zusammengebracht werden im Sinne einer lebenswerten Zukunft für alle.

‍

All das zusammengenommen ist für mich im Prinzip die Definition von verantwortungsbewusster Forschung.

‍

‍

Das Interview führte Moritz Buchner

‍

In this paper, Christiane Floyd considers AI systems from a use perspective. She focuses on conversational chatbots, starting from Weizenbaum’s ELIZA and sketching the major scientific advances leading up to ChatGPT. The main discussion builds upon several experiment-reflection cycles conducted by the author to explore ChatGPT as a knowledge resource. The analysis considers ChatGPT responses in terms of accuracy, structure, context, perspective, and bias. The critical evaluation begins with the observation that ChatGPT produces a mixture of clear and precise results and arbitrary misinformation without ever clarifying its own scope. This leads to the identification of the system’s key problem, namely, how it contends with truth, which involves replacing the idea of truth with a probabilistic surrogate based on textual correlation. In responsible use, a system like ChatGPT must be embedded in a human learning culture. A framework for this process should include an insistence on truthfulness, an impulse towards enhancing human competence, and strengthened responsibility structures within communities.

‍

Link to full article: https://doi.org/10.34669/WI.WJDS/3.3.3

‍

Christiane Floyd is a computer scientist. In 1978, she accomplished becoming the very first female professor of computer science in Germany, and was a pioneer of evolutionary participatory software design – a precursor to open-source software development.

‍

‍

‍

‍

‍

von Hendrik Heuer

‍

Auch wenn ich Joseph Weizenbaum nie getroffen habe, begegnet er mir oft. Zum Beispiel heute Morgen. Noch vor dem Aufstehen habe ich auf meinem Handy gelesen, dass Lilian Weng, Head of Safety Systems bei OpenAI, „ein recht emotionales, persönliches Gespräch mit ChatGPT“ hatte. In ihrem Post auf X, dem ehemaligen Twitter, erzählte sie, wie sie mit ChatGPT über den Stress und die Vereinbarkeit von Beruf und Familie gesprochen hat. Nach eigenen Angaben fühlte sie sich „gehört und willkommen“. In ihrem Post schrieb sie: „Ich habe noch nie eine Therapie ausprobiert, aber so muss es wahrscheinlich sein? Probieren Sie es aus, vor allem, wenn Sie es [ChatGPT] normalerweise nur als Produktivitätswerkzeug verwenden.“ Neben der Tatsache, dass unklar ist, ob der Tweet wirklich einen privaten Moment beschreibt oder eine versteckte Werbung ist, hat mich vor allem verwirrt, wie geschichtsvergessen dieser Aufruf ist.

‍

Joseph Weizenbaum hat mit ELIZA im Jahr 1966 eines der ersten Computerprogramme entwickelt, das ein Gespräch mit einem Menschen simulieren kann. Dies war zwei Jahre, bevor der Begriff Informatik in Deutschland zum ersten Mal für das neu einzurichtende Studienfach verwendet wurde. Und nur sechzehn Jahre nach Alan Turings Veröffentlichung „Computing Machinery and Intelligence“, in der Turing die Frage aufwirft: „Können Maschinen denken?“

‍

Weizenbaums ELIZA ist ein wichtiger Meilenstein. ELIZA gilt als einer der ersten erfolgreichen Versuche, die Illusion einer Mensch-Computer-Interaktion zu schaffen, die nicht von einer Mensch-Mensch-Interaktion unterschieden werden kann. Diese Illusion war insbesondere in Hinblick auf den Turing-Test eine wichtige Leistung. Die Erfahrung von Weizenbaum zeigt gleichzeitig, wie wichtig es ist, die Perspektive von Nutzer:innen zu verstehen und Informatik und Gesellschaft gemeinsam zu denken. Wissenschaftler:innen müssen sicherzustellen, dass Nutzer:innen nicht getäuscht werden. Wissenschaftler:innen und Nutzer:innen müssen außerdem aufpassen, dass sie sich nicht selbst täuschen.

‍

Wie stark das Potenzial von KI-Systemen wie ELIZA missverstanden wurde (und wird), hat Weizenbaum verstört und dazu geführt, dass er zum Ketzer und Dissidenten der Künstlichen Intelligenz wurde. Nicht zuletzt, weil praktizierende Psychotherapeut:innen ernsthaft geglaubt haben, mit ELIZA zu einer automatisierten Form der Psychotherapie gelangen zu können. Auch deshalb war ich von Lilian Wengs Anekdote schockiert. Vor allem darüber, wie geschichtsvergessen ihre Aussage war. Denn die Geschichte von ELIZA sollte eigentlich jede:r Informatiker:in kennen. Vor allem jene, die bei OpenAI arbeiten und ChatGPT mitentwickeln.

‍

Überraschend ist Wengs Aufruf, dass auch andere Nutzer:innen mit dem komplexen und intransparenten KI-System ihrer Firma über Themen sprechen sollen, die sie sonst nur mit Therapeut:innen besprechen, leider nicht. Der Aufruf ist nur das letzte Beispiel in einer langen Reihe von problematischen Anwendungen von KI. Erst im Juni 2023 musste die National Eating Disorders Association in den USA einen Chatbot deaktivieren, weil er Menschen mit Essstörungen schädliche Tipps zur Gewichtsreduzierung gegeben hat. Der Chatbot wurde eingesetzt, nachdem zahlreiche Mitarbeiter:innen im März entlassen wurden. Kurz zuvor hatten die Mitarbeiter:innen eine Gewerkschaft gegründet. Ich befürchte, dass dies nicht das letzte Beispiel für den geschichtsvergessenen und gedankenlosen Einsatz von KI sein wird. Deshalb brauchen wir mehr Wissenschaftler:innen wie Joseph Weizenbaum.

‍

An Weizenbaum fasziniert mich besonders, dass er ein kritischer Wissenschaftler war. Viele seiner Zeitgenoss:innen und viele, die nach ihm kamen, haben es geschafft, mehr oder weniger leere Versprechungen der Informatik und der Künstlichen Intelligenz in Ruhm, Anerkennung, und viel Geld zu verwandeln. Weizenbaum hätte allein basierend auf dem Erfolg von ELIZA Firmen gründen und Forschungsgelder für unmögliche Projekte sammeln können. Er hätte sich auch zum genialen Erfinder der Künstlichen Intelligenz stilisieren können. Er ist kritischer Wissenschaftler geblieben und deshalb auch nach einem Jahrhundert noch relevant.

‍

Im Buch „Der Kurs auf den Eisberg“ schreibt Weizenbaum: „Wenn wir glauben, [der Computer] habe Intelligenz und Macht, bekommt er beides!“ Weizenbaum hat dies erkannt, aber nicht ausgenutzt und das zeichnet ihn für mich aus. In „Der Kurs auf den Eisberg“ kritisiert Weizenbaum schon 1984 - fünf Jahre vor meiner Geburt - dass Fachleute in Bezug auf die künstliche Intelligenz immer von morgen, übermorgen, und überübermorgen sprechen. 

‍

Zentral für mich persönlich ist Weizenbaums Überzeugung, dass Wissenschaftler:innen Verantwortung haben. Meine Forschung wird stark davon geprägt, dass wir als Wissenschaftler:innen Fragen stellen sollten und nicht mit der Lösung anfangen dürfen. In „Die Macht der Computer und die Ohnmacht der Vernunft“ schreibt er: „Wenn der Lehrer, wenn irgendjemand für andere das Beispiel eines ganzen Menschen sein soll, dann muss er sich zuerst bemühen, selbst ein ganzer Mensch zu sein“.

‍

Joseph Weizenbaum war ein ganzer Mensch.

‍

‍

Dr. Hendrik Heuer ist wissenschaftlicher Mitarbeiter am Institut für Informationsmanagement Bremen (ifib) und am Zentrum für Medien-, Kommunikations- und Informationsforschung (ZeMKI) an der Universität Bremen. Seine Forschungsschwerpunkte liegen in den Bereichen Mensch-Computer-Interaktion und Maschinelles Lernen. Zurzeit arbeitet er an Möglichkeiten zur Bekämpfung von Falschinformationen. Er hat in Bremen, Stockholm, Helsinki und Amsterdam studiert und gearbeitet und war Visiting Postdoctoral Research Fellow an der Harvard University.

‍

von Stefan Ullrich

‍
Von Joseph Weizenbaum können wir lernen, dass es Menschen sind, die die gegenwärtige technologische Entwicklung vorantreiben. Technik passiert nicht einfach, sondern folgt bestimmten ökonomischen und militärischen Regeln. Von ihm können und sollten wir unbedingt lernen, die Menschen- und Weltbilder der Tech-Industrie in den Blick zu nehmen. Mit Hilfe des Digitalcomputers hat ein recht kleiner Anteil der Weltbevölkerung unsere Welt nach einem Zerrbild abermalig erschaffen und darüber hinaus »die früheren Zwänge verstärkt und erweitert, die den Menschen zu einer immer rationalisitischeren Auffassung seiner Gesellschaft und zu einem immer mechanistischeren Bild von sich selbst getrieben haben«, wie Weizenbaum in seinem Hauptwerk schreibt. Die größte Gefahr für die Menschheit sei nicht, dass Computer immer menschenähnlicher werden, die größte Gefahr sei, dass die gesamte Digitale Gesellschaft immer maschinenähnlicher wird.

‍

Joseph Weizenbaum hat sehr klar erkannt, dass dank Informatik gewaltige Machtinstrumente entstanden sind und dass es auch und gerade an Informatikfachleuten liegt, das Langzeitprojekt namens »Aufklärung« weiterzuführen. Mit seinen zeitlosen Texten ruft er uns immer wieder ins Gedächtnis, dass es vor allem das Militär ist, das die Entwicklungen der Informatik vorantreibt. Der erste Analog-Digital-Wandler wurde für die Henschel Hs293 entwickelt, eine funkgesteuerte Gleitbombe im Zweiten Weltkrieg. Die Daten der analogen Messuhren an Bord mussten digitalisiert werden, um per Funk übertragen werden zu können. Die Computer für die ballistischen Berechnungen waren damals noch am Boden und bestanden meist aus Fleisch und Blut, erst später wurde aus der Berufsbezeichnung »Computer« das technische Artefakt. Die in den Folgejahren zu beobachtende Miniaturisierung der Computersysteme diente nicht der Bequemlichkeit, sondern war notwendig, um Computersysteme in die Raketen zu bekommen – das sei der Hauptgrund für die Entwicklung, erinnert uns der Friedensaktivist Weizenbaum.

‍

Die Computersysteme der vernetzten Gesellschaft, allen voran die so genannte »Künstliche Intelligenz«, sind im Militärischen entstanden und dringen nun von ökonomischer Logik getrieben in nahezu alle Lebensbereiche des modernen Menschen. Damit sind vordergründig die informationstechnischen Gadgets gemeint, Artefakte des Handwerks Informatik. Kein Arbeitsplatz ohne Computer, kein Stammtisch ohne Smartphone, keine Werbung ohne Profiling. Es fällt schwer, sich gesellschaftliche Teilhabe ohne moderne Rechentechnik vorzustellen – wie soll FragDenStaat ohne Internet und Datenbanken funktionieren? Informatik ist jedoch auch dort wirksam, wo sie nicht direkt von außen wahrgenommen werden kann. So ist die Denkweise des modernen Menschen entscheidend geprägt und durchzogen von Metaphern, die aus dem informations- und kommunikationstechnischen Bereich stammen.

‍

Nehmen wir das Beispiel »General Problem Solver«, das Joseph Weizenbaum so oft anführte. Das war der Name einer von Herbert Simon und Allen Newell in den späten 1950er Jahren entwickelten Software für eine formalisierte, allgemeinen Lösungsmethode im Rahmen der damals beginnenden Forschung zur »Künstlichen Intelligenz«.  Weizenbaum fand es bemerkenswert, dass wir zunächst ein Werkzeug erschaffen, eben den »General Problem Solver«, und danach plötzlich alle Phänomene als »Problem« sehen, ganz im Sinne des Spruchs: »Wer nur einen Hammer besitzt, tendiert dazu, alle Herausforderungen als Nägel zu betrachten«. Das Wort »Problem« ist in unsere Sprache so tief eingedrungen, das wir nicht darüber nachdenken, dass es ursprünglich »Streitfrage« bedeutete. Einen Streit müsste man eigentlich mit Argumenten klären, also mit Sprache, mit Begegnung. Wäre es nicht verlockend, wenn wir politische Meinungsverschiedenheiten ganz einfach mathematisch lösen könnten, wie es Leibniz vorschlug? Dann würden wir bei einem Streit einfach »calculemus« ausrufen und uns hinsetzen und ausrechnen, wer denn Recht habe. Umweltprobleme, Luxusprobleme, Kommunikationsprobleme – einfach ausrechnen!

‍

Die Denkweise, alle sozialen Herausforderungen mathematischen ausdrücken zu können, ist für technisch Handelnde verlockend. Joseph Weizenbaum erinnert uns in seinen Texten und Reden stets daran: Liebe, Freundschaft, Sorge, kurz alles, was uns Menschen zu Menschen macht, kann eben nicht algorithmisiert werden. Wir sollten den Computer nicht allzu wichtig nehmen.

‍

Stefan Ullrich ist promovierter Informatiker und Philosoph, der sich kritisch mit den Auswirkungen der allgegenwärtigen informationstechnischen Systeme auf die Gesellschaft beschäftigt. Er leitete bis 2022 eine Forschungsgruppe am Weizenbaum-Institut für die vernetzte Gesellschaft. Zur Zeit vertritt er die Professur für Medienästhetik und Medientechnik am ICAM der Leuphana Universität, Lüneburg. Er ist Referent für Digitale Bildung der KI-Ideenwerkstatt für Umweltschutz des Bundesumweltministeriums.

‍

‍

von Klaus Fuchs-Kittowski

‍

Mit Joseph Weizenbaum traf ich das erste Mal auf der IFIP-Konferenz Human Choice and Computer II in Baden bei Wien, 1979, zusammen. Das Zusammentreffen war nicht ganz unerwartet, denn ich hatte sein Buch gelesen auf Empfehlung eines Mitarbeiters der Staatsbibliothek. Dieser rief mich an und sagte: „Es sei ein neues Buch gekommen, welches ich mir holen solle, bevor es in den Durchlauf zur Registration kommt. Darin würde vieles so gesagt, wie in meinen Vorlesungen.“ Der Name Weizenbaum war mir auch schon zuvor genannt worden – von dem Kölner Molekularbiologen Benno Müller Hill, der im Anschluss an eine Diskussion über rassistisches Denken in der Biologie zu mir sagte: „Ich war kürzlich in den USA. Ich habe zumindest einen wirklichen Menschen getroffen, einen Professor am MIT, Joe Weizenbaum. Das wäre ein wichtiger Gesprächspartner für Dich.“

Einladung nach Berlin

‍

Und doch war es ganz spontan, dass ich Joseph Weizenbaum gleich nach der Begrüßung an die Humboldt-Universität einlud. Ich hatte noch nie jemanden eingeladen, und auf jeden Fall keinen Amerikaner mitten im Kalten Krieg. Weizenbaum trat einen Schritt zurück, kam dann wieder auf mich zu und sagte: „Die Einladung an die Humboldt-Universität wäre eine Genugtuung für mich.“ Ich trat einen Schritt zurück und fragte: „Warum?“ Er antwortete: „Weißt Du nicht, dass ich aus Berlin komme? Ich musste mich als kleiner Judenjunge immer an dieser Universität vorbeischleichen. Wenn diese Universität mich jetzt einlädt, wäre dies eine Genugtuung für mich.“

‍

Als minimalen moralischen Imperativ für Computer Scientists hatte Weizenbaum formuliert: “Don`t use computers to do, what people ought not do.” Zumindest darf man mit dem Computer nichts tun, was man als Mensch auch nicht tun sollte! Wie aktuell dieser moralische Imperativ ist, erleben wir gegenwärtig. Durch autonome Waffen, den Einsatz bewaffneter Drohnen, wird die Distanz zu den Grausamkeiten des Kriegsschauplatzes so groß, dass die Hemmschwelle zum Krieg, zum Töten in erschreckender Weise stark herabgesetzt wird.

Seminar zur KI-Kritik an der Berliner Humboldt-Universität

‍

Während seines Aufenthalts an der Humboldt-Universität hielt ich mit Joseph Weizenbaum ein Seminar zu den Themen seines Buchs „Die Macht der Computer und die Ohnmacht der Vernunft“ (dt. 1977). Es ging um unsere prinzipielle Unterscheidung zwischen dem Automaten als Informationstransformator und dem kreativ tätigen, zur Informationserzeugung befähigten Menschen. Das Seminar fand sieben Tage nach Ausbruch des Krieges der Sowjetunion gegen Afghanistan statt.

‍

Weizenbaum erklärte damals gegenüber dem Prorektor für Gesellschaftswissenschaften Der Humboldt-Universität: „Ich bin hier, nicht weil ich ein besonderer Freund der DDR bin, sondern weil ich ein amerikanischer Patriot bin. Als Patriot bin ich gegen das Wettrüsten, denn es ruiniert unsere Wirtschaft. Es ist, als ob ich einen Bleistift anspitze und in den Papierkorb werfe und das immer wiederhole. Es ist für uns aller Leben kreuzgefährlich!“

‍

Nach seinem Aufenthalt an der Humboldt-Universität rief mich Joe Weizenbaum aus Zürich an und sagte: „Klaus, ich habe gestern vor mehr als 1000 Menschen in einer Kirche in Zürich gesprochen! Das war ganz großartig!“ Weizenbaums internationales Auftreten für Entspannung und Abrüstung hatte Wirkungen bis zu den dramatischen Entscheidungen im Kreis um den Gewandhausdirektor Kurt Masur, die mit ihrem Friedensappell zum friedlichen Verlauf der Revolution von 1989 beitrugen. Wenn also Joseph Weizenbaum gedacht wird, so muss auch unbedingt an seinen Einsatz gegen Aufrüstung für eine allgemeine Abrüstung erinnert werden. Dazu gehört auch die Gründung der Bewegung: Computer Professionals for Social Responsibility (CPSR) mit dem berühmten Pionier der KI-Forschung, Terry Winograd in den USA und des Forums Informatikerinnen und Informatiker für Frieden und gesellschaftliche Verantwortung (FIfF) mit der Pionierin der Informatik, Christiane Floyd in Deutschland.

‍

Missglückter Antrag auf Verleihung des Ehrendoktors an Joseph Weizenbaum

‍

Nach dem mit uns an der Ost-Berliner Humboldt-Universität durchgeführten Seminar, wurde ein Ehrendoktorverfahren für Weizenbaum an der TU Berlin eingestellt. Allein die Kontaktaufnahme mit dem Osten war für das Frontstadtdenken offensichtlich unerträglich. Mein Versuch, an der HU Berlin die Verleihung eines Ehrendoktors zu erreichen, wurde trotz Unterstützung durch namhafte Wissenschaftler wie den Physiker Robert Rompe dadurch sabotiert, dass zumindest ein Vertreter in der Kommission Weizenbaums Kritik an der künstlichen Intelligenzforschung, als deren Mitbegründer er gilt, in eine generelle Technologiefeindlichkeit uminterpretiert hat.

‍

Zum Grundanliegen von Joe Weizenbaum

‍

„Der Computer hat keine Gefühle. Das eigentlich Menschliche muss ihm daher fehlen.“ Mit diesen Worten bezog sich Weizenbaum auf das Eingeständnis von Marvin Minsky: „Es sei ihm nicht gelungen, seinen Robotern Gefühle beizubringen. Dies sei eben doch eine andere Ebene.“ Hier liegt für mich die Grundlage von Weizenbaums KI- und Gesellschaftskritik. Dem Computer ist das für den Menschen wesentliche fremd und bleibt ihm fremd: Das Gefühl. So fragte er den früheren Direktor des KI-Labors, Hans Moravec, wie er das Lächeln einer Mutter ihrem Kind gegenüber auf einen Computerspeicher zu bringen gedenke, wenn er doch die Ablösung der menschlichen Gesellschaft durch eine Computergesellschaft für möglich halte und im Namen der modernen Wissenschaft propagiert?

‍

In „Computer Power and Human Reason“ machte Weizenbaum klar, dass die Identifizierung von Automaten und Menschen die Realität verzerrt und dazu verleitet, diese Verzerrung als „vollständige und erschöpfende“ Darstellung zu akzeptieren. Im Freundeskreis machte Joe mehrfach die Bemerkung: „Ich bin kein KI-Kritiker, sondern Gesellschaftskritiker.“ Dies gilt es zu beachten, will man seinem Anliegen gerecht werden, ihn verstehen. So kam er schon in die von mir geleitete Arbeitsgruppe Computer and Ethics mit der Bemerkung: „Mich hat man in irgendeine KI-Gruppe eingeteilt. Meine Gruppe ist aber die Ethik.“ Weizenbaum ging es weniger um die Diskussion über die Grenzen der KI-Entwicklung, als um die Frage, ob es ethisch geboten sei, KI überall dort einzusetzen, wo dies möglich sei.

Joseph Weizenbaum – ein kritischer Wissenschaftler par excellence

‍

Weizenbaums Name wird jetzt immer wieder im Zusammenhang mit der Entwicklung von ChatGPT durch das Start-Up openAI und Bart von Google genannt, da er mit seinem Eliza-Programm wesentliche Grundlagen für diese Art der Sprachverarbeitung, für die Entwicklung der generativen KI geschaffen hat.

‍

Doch Weizenbaum war selbst der größte Kritiker seines KI-Programms. Die Struktur der Fragen und Antworten entsprach in etwa der von Carl Rogers entwickelten Gesprächstherapie. Daher kamen Psychologen auf den Gedanken, Eliza auch für Therapiegespräche einzusetzen. Hier sagt nun Weizenbaum: „Das geht nicht, das ist Betrug!“ Denn um heilen zu können, bedarf es eines Verständnisses der konkreten Situation des Kranken. Ein solches Verständnis kann der Computer nicht haben, weil er kein Gefühl besitzt. Wo es um die Beurteilung komplexer Lebenssituationen geht, führen Berechnungen eher in die Irre. Daher der Titel der Originalausgabe seines Buches: „From Judgement to Calculation“.

‍

Joe Weizenbaum erinnerte auch daran, dass Computer keine Informationen, sondern Signale bzw. Daten verarbeiten und daher keinen Überblick über den Gesamtprozess haben, für den sie eingesetzt werden. Für ihn folgte daraus, dass es dazu immer auch der Fähigkeit bedarf, Informationen eine Bedeutung zuzuordnen – und diese wird erst durch die Interpretation der syntaktischen Struktur, in Wechselwirkung mit der Umwelt, gewonnen. Deshalb bedarf es bei der Datenverarbeitung des bewusst tätigen Menschen in der sozialen Organisation.

‍

Die kalifornische Firma openAI hat mit ihrem Chatbot ChatGPT eine neue, leistungsfähige KI-Software auf den Markt gebracht. Es zeigt sich die enorme Macht der technischen „Superintelligenz“. Aber, wie Joe Weizenbaum von Beginn der KI-Forschung an nachzuweisen versuchte, bedeutet dies keineswegs die Entmachtung oder gar die Verdrängung der Menschheit. Denn zu schöpferischem Denken – neue Informationen und neues Wissen schaffen – sind KI-Systeme nicht fähig. Die Frage, ob ein Computer schöne Musik oder ein anspruchsvolles Gedicht schaffen kann, ist wohl so alt wie die Computeranwendung. Joe Weizenbaum hatte auf diese Frage schon vor den Sprachmodellen der KI eine treffende Antwort: Warum soll der Computer nicht aus vielen, ihm vorgelegten guten Gedichten ein weiteres, schönes Gedicht generieren können? Der entscheidende Unterschied zum Dichter besteht darin, dass uns der Dichter mit seinem Gedicht etwas sagen will und sagen kann. „Das kann der Computer nicht.“

‍

Klaus Fuchs-Kittowski ist Informatiker und WIssenschaftsphilosoph. Er war Professor für Informationsverarbeitung an der Humboldt Universität in Berlin und leitete dort den Bereich Systemgestaltung und automatisierte Informationsverarbeitung. In seiner Forschung befasst er sich mit der Entwicklung von Informations- und Kommunikationstechnologien, sowie deren sozialen Wirkungen und den damit verbundenen ethischen Fragen.

‍

‍

‍

Joseph Weizenbaum

Geboren am 8. Januar, 1923

Geschrieben September 2007

‍

1) „Alles ist sagbar in Worten, nur nicht die lebende Wahrheit“. (Ionescu)

‍

2) „Wer nur einen Hammer hat, sieht die ganze Welt als einen Nagel“. (Abraham Kaplan)

‍

3) Die Naturwissenschaft ist nicht die einzige, nicht mal die reichste oder die wichtigste, Quelle der Wahrheit.

‍

4) Das Fundament der Naturwissenschaft ist Glauben, nämlich der Glauben, dass die Naturgesetze, nicht nur die, die wir heute kennen, im totalen Raum und in der ewigen Vergangenheit und Zukunft herrschen. Dieser Satz ist nicht falsifizierbar.

‍

5) Die Naturwissenschaft sowie die von ihr abgeleiteten Technologien und Instrumentarien sind nicht wertfrei. Sie erben ihre Werte von den Werten der Gesellschaften, in der sie eingebettet sind. In einer hoch militarisierten Gesellschaft sind Wissenschaft und Technologie von den Werten des Militärs geprägt, in einer Gesellschaft dessen Werte hauptsächlich von Streben nach Reichtum und Macht abgeleitet sind, sind sie entsprechend gestaltet usw.

‍

6) Würde die weltweite Gesellschaft bloß vernünftig sein, könnte das schon erreichte Wissen der Menschheit ein Paradies aus dieser Erde machen.

‍

7) Totale, komplette und völlige Kenntnisse der physikalischen, genetischen und neurologischen Strukturen, Teile und Eigenschaften eines Lebewesens sowie ihre Zusammenhänge und Verbindungen genügen nicht, um das Lebewesen zu verstehen. Wer, zum Beispiel, all diese Kenntnisse über eine Ameise hat, aber nicht weiß und zutiefst begreift, dass die Ameise in einer riesigen Gesellschaft von Ameisen lebt, versteht die Ameise nicht. Dasselbe gilt für das Verstehen des Menschen.

‍

8) „Wissen ist besser als Ignoranz“ (Herbert Simon) – Ja, aber nicht zu jedem Preis oder in jedem Kontext.

‍

9) Metaphern und Analogien, indem sie disparate Kontexte zusammenfügen, bringen neue Einsichten hervor. Fast all unser Wissen, einschließlich das wissenschaftliche, ist metaphorisch. Deswegen auch nicht absolut.

‍

10) Es ist nicht möglich, eine feste Grenze, weder zwischen Gut und Böse noch zwischen Tag und Nacht, zu zeichnen. Aber der Unterschied zwischen Mittag und Mitternacht ist deutlich. Der Mensch kann, wissen ob sein Tun und Handeln eher im Rahmen des Tageslichts oder der Nacht geschieht und sich entsprechen verhalten. Sicher ist, dass Krieg, Armut und Hunger eines Drittels der Menschheit, die massiv ungleiche Verteilung der Ressourcen der Natur Mitternacht sind. Liebe ist Mittag.

‍

11) Der Glaube, dass man das Böse in der Mitte des Bösen besser als von draußen ändern kann, ist irre und selbstvernichtend.

‍

12) Gott gibt es. Gott ist in uns allen, denn Gott ist Liebe. Das Gebet ist die Suche eines Menschen, seine innere Liebe zu finden und, sei es um inneren Frieden und Ruhe zu erreichen, eine Not ertragen zu können, sich zu trösten oder einem anderen zu helfen, was auch immer.

‍

13) Kein Mensch ist eine Insel (John Donne), seine Haut ist nicht seine Grenze. Der Mensch ist ein Element untrennbar von seinen Mitmenschen, in der Tat, von der gesamten Menschheit und ihrer Geschichte. Nicht mal sein Tod trennt ihn vom Universum. Es ist unmöglich, einen individuellen Mensch rein wissenschaftlich zu begreifen.

‍

‍

Vorträge/Diskussionen:

‍

Technische Universität München, 2007

‍

Friedrich-Alexander-Universität Erlangen-Nürnberg, 2007

‍

Otto-von-Guericke-Universität Magdeburg, 2007

‍

Universität Bremen, 2007

‍

Davos Open Forum, 2008

‍

Blog: Gespräch mit Norbert Bolz, 2005:

‍https://espressonisten.de/joseph-weizenbaum-wir-uebersehen-das-grosse-ganze/

‍

Gespräch im RIAS: „Die Macht der Computer“, 1985 (via Deutschlandfunk Kultur):

‍https://www.deutschlandfunkkultur.de/weizenbaum-100.html

‍

Interview im Deutschlandfunk: „Der Computer hat das geringste Verständnis“, 2008:

‍https://www.deutschlandfunkkultur.de/der-computer-hat-das-geringste-verstaendnis-102.html

‍

Filme:

‍

Plug & Pray, Regie: Jens Schanze, 2010:

‍https://vimeo.com/127957253

‍

Eine Begegnung mit Joseph Weizenbaum, von Christian Geisler, 2008:

‍https://av.tib.eu/media/31304

‍