„Dem automation bias liegt eine tiefersitzende Neigung zugrunde, die nicht in der Technologie, sondern im Gehirn ihren Ursprung hat. Wenn Menschen, insbesondere wenn sie unter Zeitdruck sind (...), mit komplexen Problemen konfrontiert sind, versuchen sie diese mit so wenig kognitiver Anstrengung wie möglich zu lösen und bevorzugen deshalb Strategien, die sich leicht befolgen und rechtfertigen lassen. Wenn das Gehirn die Möglichkeit hat, sich der Entscheidungsfindung zu entledigen, nimmt es den Weg der geringsten kognitiven Anstrengung, den kürzesten Weg, und den bieten beinahe unverzüglich automatische Assistenten.“ (S. 55)

Das ist aber noch dramatischer, als sich in dem einen oder anderen Fehlverhalten zeigt. „Technologie ist mehr als nur Werkzeugherstellung und Werkzeuggebrauch: Sie ist die Erzeugung von Metaphern. Mit der Herstellung eines Werkzeuges erzeugen wir ein bestimmtes Verständnis der Welt, das auf diese Weise Gestalt geworden, in der Lage ist, bestimmte Wirkungen auf die Welt zu erreichen.“ (S. 22) James Bridle, dessen Argument sich hier wiederfindet, kann das auch einfacher ausdrücken: „Für jemanden der einen Hammer hat, so ein Sprichwort, sieht alles wie ein Nagel aus.“ (S. 23)

Die aktuelle Technologie ist wesentlich umfassender in Form und Wirkung als ein Hammer und hat folglich auch wesentlich gravierendere Auswirkungen darauf, was wir sehen. Die durch die neuen Technologien geschaffenen Metaphern hätten bereits all unsere Lebensbereiche erfasst und die Auswirkungen seien potenziell katastrophal, meint Bridle. (vgl. S. 24)

Das „Netzwerk“ sei die beste Darstellung der Wirklichkeit, die man geschaffen habe. Man trage es in den Taschen herum, errichte Masten, um es zu transportieren und Datenpaläste um es zu verarbeiten. Aber es lasse sich nicht in separate Einheiten reduzieren, es sei nicht lokal und es sei in sich widersprüchlich – „und genau so ist die Lage der Welt.“ (S. 91)

„Google wollte das gesamte menschliche Wissen erschließen und wurde zur Quelle und zum Vermittler dieses Wissens: Es wurde, was die Menschen tatsächlich denken.“ (S. 51) Facebook wollte eine Plattform für die menschliche Beziehungen sein, jetzt gestaltet es die menschlichen Beziehungen und wichtige Aspekte ihrer Form und Inhalte. 

Auch die Geschichten, die wir einander erzählen, ändern sich mit den Technologien, die uns zur Verfügung stehen. „In Hollywood lassen die Studios ihre Drehbücher durch die neuronalen Netzwerke  eines Unternehmens namens Epagogix laufen, ein System, das auf die über Jahrzehnte entwickelten, unausgesprochenen Vorlieben von Millionen Kinobesuchern geeicht ist, um so vorherzusagen, welche Handlungsstränge die richtigen – das heißt: die lukrativsten – emotionalen Knöpfe drücken. Dazu kommt sekundengenaues Wissen über die Nutzung von Filmen und Serien bei Dienstleistern wie Netflix, die exakt bestimmen, wann wo ausgeschaltet wird.“ (S. 153)

Klar spiegeln die neuen Geschichten dann bestehende Vorlieben wider, die oft auch Vorurteile beinhalten. Bekannt ist, dass bei der Entwicklung künstlicher Intelligenz oft rassistische Aussagen in das „Wissen“ der Maschine übernommen wurden. 

Bridle zitiert die Wissenschaftshistoriker Albert van Helden und Thomas Hankins: „Weil Instrumente bestimmen, was getan werden kann, legen sie auch bis zu einem gewissen Grad fest, was gedacht werden kann.“ (S. 121)

Die automatisierten Assistenzen kommen aber der Wahrheit nicht immer näher. Bridle zeigt das ambivalente Verhältnis anhand der Frage der Länge von Staatsgrenzen. Oft werden Flüsse als Grenzen herangezogen. Umso genauer man den exakten Verlauf (z. B. der Mitte) des Flusses bestimmt, umso weniger linear ist dieser, sondern aufgrund der Flussufer alle paar Zentimeter abweichend. Umso mehr die Linien in der Mitte des Flusses aber zittern, desto länger wird die Grenze. Umso genauer wir nachmessen, desto länger wird die Grenze beim nächsten Mal.

Dies widerspricht nun unserer „automation bias“: Wir möchten annehmen, dass es die Maschine besser weiß als wir. Dabei verstehen wir gar nicht, wie die Maschine denkt. „Ich mag es im Allgemeinen nicht, tausenddimensionale Vektoren im dreidimensionalen Raum zu visualisieren,“ wird in dem Buch ein Ingenieur von Google mit seiner Antwort auf die Frage zitiert, wie das von ihm entwickelte System in einem Bild beschrieben werden kann.

Bridle fordert aber, dass sich Maschinen den Menschen erklären können. Er fügt diese Forderung den drei Grundregeln der Robotik hinzu, die der Sachbuchautor, Biochemiker und Science-Fiction-Schriftsteller Isaac Asimov in den 1940ern entwickelt hatte. Dieses mögliche Gesetz sei aber schon gebrochen worden: Denn heute entwickeln Netzwerke selbst Funktionsweisen, die nicht mehr verstanden werden.

Das Netzwerk entzieht sich nicht nur zunehmend unserem Verständnis, es bekomme auch die Überhand über uns, indem die Verfügbarkeit ungeheuer großer Rechenleistung die globale Überwachung vorantreibe.

„Es ist eine albtraumhafte Szene, und doch eine, welche die Bedingungen eines New Dark Age beispielhaft zu verkörpern scheint. Unser Sehen ist zunehmend universell, doch unsere Handlungsmacht wird immer weiter reduziert. Wir wissen immer mehr über die Welt, sind gleichzeitig aber immer weniger in der Lage, irgendetwas zu ändern. Doch das daraus resultierende Gefühl der Hilflosigkeit verschafft uns nicht eine Pause, um unsere Grundannahmen zu überdenken, sondern scheint uns immer weiter in Paranoia und gesellschaftliche Auflösung zu treiben: mehr Überwachung, mehr Misstrauen, ein immer stärkeres Beharren darauf, dass die Macht der Bilder und der Computerisierung eine Situation bewältigt, die durch unseren unhinterfragten Glauben an ihre Autorität erzeugt wird.“ (S. 217) Konsens werde angesichts des kleinsten Quantums Ungewissheit missachtet. „Wir sind in einer Art Stasis gefangen, wenn wir fordern, dass Zenos Pfeil das Ziel trifft, obwohl die Atmosphäre davor sich erwärmt und verdickt. Das Beharren auf irgendeiner stets unzureichenden Bestätigung erzeugt die tiefe Fremdheit des gegenwärtigen Moments: Jeder weiß, was vor sich geht, und niemand kann etwas dagegen tun.“ (S. 215)

Das Verstehen der Maschine ist aber die Voraussetzung für Bridle, dass wir erfolgreich sind: Schachcomputer schlagen in der Regel Menschen. In der Kooperation zwischen Mensch und Computer wird aber der Computer besiegt. „Die Zusammenarbeit zwischen Mensch und Maschine, so zeigt sich, ist eine wirkungsvollere Strategie als der leistungsfähigste Computer alleine.“ (S. 187)

Bridle spricht für das Leben in der Grauzone: „Sollten wir uns dazu entschließen, bewusst in der Grauzone zu leben, so gibt uns das die Möglichkeit, aus den unzähligen Erklärungen auszuwählen, die unsere begrenzte Kognition wie eine Maske über die vibrierenden Halbwahrheiten der Welt legt. Das ist eine bessere Annäherung an die Wirklichkeit, als das jede rigide binäre Verschlüsselung je für sich erhoffen kann – die Erkenntnis, dass all unsere Befürchtungen Annäherungen und gerade deshalb umso eindringlicher sind.“ (S. 250) Er fordert das Augenmerk auf das Hier und Jetzt zu richten und nicht auf „die illusorischen Versprechungen computergestützter Vorhersage, Überwachung, Ideologie und Repräsentation.“ Er meint, dass die Maschinen, die heute unsere Wahrnehmung prägen, bleiben werden, es benötige ein „Guardianship“, ein Wachamt, das den Schaden, den die Netzwerke anrichten können, minimiert.