OpenAI aktualisiert Codex um Computer- und Speicherkontrolle

  • Codex integriert sich in den Computer: Es steuert Desktop-Anwendungen, betrachtet den Bildschirm und verwendet einen eigenen Cursor, ohne den Benutzer zu unterbrechen.
  • Der Agent nutzt neuen Speicher, greift auf Konversationen zurück und automatisiert langfristige Aufgaben mit mehreren parallel arbeitenden Agenten.
  • Es beinhaltet einen integrierten Browser, Bildgenerierung mit gpt-image-1.5 und verbesserte Unterstützung für Entwickler-Workflows.
  • Das Update erscheint zuerst auf macOS; in Europa und Großbritannien verzögern sich einige Funktionen aufgrund von Datenschutzbestimmungen.

Codex-Aktualisierung mit Computersteuerung

OpenAI hat einen weiteren Schritt in der Integration unternommen künstliche Intelligenz im täglichen Computergebrauch Durch die vollständige Überarbeitung von Codex, dem Desktop-Code-Agenten, entwickelt sich das Tool, das bisher hauptsächlich für seine Programmierunterstützung bekannt war, zu einem Assistenten, der Anwendungen verwalten, Einstellungen speichern und Projekte nahezu nahtlos managen kann.

Mit diesem Update kommt das von Sam Altman geführte Unternehmen seinem Plan, ein Eine Desktop-„Super-App“, die ChatGPT, Codex und Ihren Atlas-Browser vereint.Mit diesem Schritt soll die Benutzererfahrung vereinfacht, Ressourcen in einem einzigen Arbeitsbereich konzentriert und Konkurrenten wie Anthropic, insbesondere im Bereich der Softwareentwicklungsumgebung und der fortgeschrittenen Automatisierung, Paroli geboten werden.

Codex lernt, den Computer wie jeder andere Benutzer zu benutzen.

Eine der auffälligsten Änderungen ist, dass Codex jetzt Den Computer im Hintergrund steuernDer Agent kann sehen, was auf dem Bildschirm angezeigt wird, seinen eigenen Cursor bewegen, klicken, Text eingeben und auf Vorgänge in installierten Anwendungen reagieren, ohne die Aktionen des Benutzers mit Maus oder Tastatur zu unterbrechen.

Diese Funktion ermöglicht es mehreren Codex-Agenten, zusammenzuarbeiten parallel im selben TeamDies beinhaltet das Durchführen von Tests, das Ändern von Konfigurationen oder das Ausführen wiederkehrender Aufgaben, während die Person ihren normalen Tätigkeiten nachgeht. Dadurch können Arbeitsabläufe automatisiert werden, die zuvor eine ständige Überwachung erforderten, wie beispielsweise das Testen einer Anwendung nach jeder Codeänderung oder das Wiederholen von Schnittstellenaktionen.

OpenAI schlägt diese Funktion als Möglichkeit für den Assistenten vor, mit Tools, die keine API besitzen oder durch direkte Integrationen, was bei vielen Desktop-Programmen üblich ist. Codex kann, indem es den Bildschirm „sieht“ und den Cursor steuert, mit diesen Anwendungen genauso interagieren wie ein menschlicher Benutzer, allerdings vorerst kontrolliert und unter besonderer Berücksichtigung der Sicherheit.

Laut dem Unternehmen ist die Computernutzung zunächst verfügbar in macOS über die Codex-Desktopanwendung, verknüpft mit einem ChatGPT-Konto. Die Windows-Version erscheint später, sobald die Leistung getestet und die Funktionen an die Microsoft-Umgebung angepasst wurden.

Im Falle Europas und des Vereinigten Königreichs hat OpenAI bestätigt, dass Computersteuerung, erweiterte Anpassungsmöglichkeiten, kontextbezogene Vorschläge und Speicher Sie werden später aktiviert. Grund dafür ist die Notwendigkeit, diese Funktionen an die Datenschutzbestimmungen anzupassen, eine besonders anspruchsvolle Anforderung in der Europäischen Union und auf dem britischen Markt.

Codex mit Speicher- und App-Steuerung

Integrierter Browser und direktes Arbeiten auf Webseiten

Das Update stärkt dank einer Der Browser ist in die Anwendung integriert.Anstatt lediglich allgemeine Textanweisungen zu erhalten, kann der Agent Befehle direkt zu bestimmten Elementen einer Seite empfangen.

In der Frontend-Entwicklung kann der Benutzer beispielsweise Wählen Sie eine Webkomponente aus und beschreiben Sie die Änderung. Der Benutzer möchte eine Aktion ausführen (z. B. die Farbe, die Textgröße oder das Layout eines Blocks ändern), und Codex versteht die Anweisung im jeweiligen visuellen Kontext. Dadurch entfällt das Schreiben langer Anweisungen, die erklären, welcher Teil der Website geändert werden soll.

Dieser eingebettete Browser ermöglicht auch Codex Analysiere Inhalte, sammle Informationen und nutze sie als Kontext. Andere Aufgaben, wie das Dokumentieren von Code, das Überprüfen von Produktspezifikationen oder das Vergleichen technischer Dokumentationen, werden alle in derselben Umgebung erledigt, ohne dass zwischen mehreren Betriebssystemfenstern gewechselt werden muss.

Bilder mit gpt-image-1.5 erstellen und bearbeiten

Eine weitere Säule der neuen Codex-Version ist die Integration des Modells gpt-image-1.5 zum Erstellen und Bearbeiten von Bildern Direkt aus der Desktop-Anwendung heraus kann der Agent Diagramme, Schaubilder, Mockups oder visuelle Skizzen aus Text generieren oder Anweisungen mit Screenshots und Code-Snippets kombinieren.

Diese Funktion richtet sich direkt an die Teams, die in Produktdesign, Benutzeroberflächen oder VideospielprototypenEin Entwickler kann beispielsweise einen Screenshot einer halbfertigen Benutzeroberfläche aufnehmen, Codex bitten, eine Menü-Neugestaltung oder ein neues Farbschema vorzuschlagen, und generierte Bilder erhalten, die zu diesem Kontext passen, ohne die Werkzeuge wechseln zu müssen.

Da alles im Codex zentralisiert ist, können Agenten Verknüpfen Sie Programmier- und Designaufgaben: die Logik einer Funktionalität schreiben, das entsprechende Frontend aktualisieren und einen visuellen Entwurf generieren, um ihn dem Team zu präsentieren, ohne den Arbeitsablauf zu verlassen oder externe Grafikbearbeitungsanwendungen öffnen zu müssen.

Gedächtnis, Kontext und langfristige Aufgabenautomatisierung

Neben Computersteuerung und Bildgenerierung besteht OpenAIs größter Fokus bei dieser Version darauf, Codex mit einer persistentes Gedächtnis und viel umfassenderes KontextmanagementDas Tool kann frühere Konversationen wiederverwenden, wichtige Informationen speichern und diese bei Bedarf abrufen, um ein Projekt fortzusetzen.

Die Speicherfunktion, die derzeit als Vorschauversion veröffentlicht wird, ermöglicht Codex sich an persönliche Vorlieben, häufige Korrekturen oder schwer zu erfassende Daten zu erinnernDies umfasst alles vom typischen Technologie-Stack eines Teams bis hin zur Organisation von Ordnern, den am häufigsten verwendeten Berichtsformaten und dem Tag, das typischerweise auf GitHub für bestimmte Arten von Problemen verwendet wird.

Mit diesem gesammelten Kontext kann der Agent proaktiv Aufgaben vorschlagenDies kann genutzt werden, um die Wiederaufnahme eines unfertigen Projekts vorzuschlagen, anstehende Refactorings zu empfehlen oder Benutzer über länger bestehende Pull Requests zu informieren. Einige Unternehmen verwenden es bereits, um Konversationen in Slack, Gmail oder Notion zu verfolgen und bei bestimmten Ereignissen zu reagieren.

Codex kann auch Planen Sie Ihre Arbeit für die Zukunft und reaktivieren Sie sich selbstständig. zur Erledigung langfristiger Aufgaben. Beispielsweise kann es eine Warteschlange von Code-Reviews über Tage oder Wochen verwalten, Kommentare bearbeiten und die Dokumentation aktualisieren, ohne dass der Entwickler dies ständig überwachen muss.

Über 90 Add-ons und verbesserter Entwicklersupport

Um die Umstellung abzuschließen, hat OpenAI fast 90 neue Codex-PluginsDazu gehören Integrationen mit Microsoft Suite, GitLab Issues, Neon von Databricks, Render und Superpowers sowie die Unterstützung von MCP-Servern (Model Context Protocol). Ziel ist es, dem Agenten mehr Kontextquellen und erweiterte operative Möglichkeiten zu bieten.

Dank dieser Plugins kann Codex Informationen von verschiedenen Diensten sammeln und entsprechend handeln In einem einzigen Arbeitsbereich können Sie Probleme in GitLab überprüfen, Daten in einer Databricks-Umgebung abfragen, Office-Dokumente aktualisieren oder mit Bereitstellungsdiensten interagieren, ohne dass der Benutzer zwischen verschiedenen Plattformen wechseln muss.

Rein technisch betrachtet stärkt das Update die typische Entwickler-WorkflowsCodex unterstützt Sie jetzt bei der Überprüfung von Pull Requests, der gleichzeitigen Verwaltung mehrerer Terminal-Tabs, der Verbindung zu entfernten Entwicklungsumgebungen über SSH und dem Öffnen von Dateien mit umfangreichen Vorschauen, egal ob es sich um PDFs, Tabellenkalkulationen, Präsentationen oder Dokumente in anderen Formaten handelt.

All dies ist in einer einheitlichen Benutzererfahrung konzentriert, die laut OpenAI selbst einen schnelleren Fortschritt ermöglicht. in allen Phasen des SoftwarelebenszyklusVom Schreiben des ersten Codes über das Testen, Bereitstellen, Dokumentieren und Warten bis hin zur kontinuierlichen Zusammenarbeit von KI-Agenten innerhalb derselben Desktop-Umgebung.

Verfügbarkeit, Fokus auf Entwickler und Situation in Europa

Die neue Version von Codex wird bereits im Einsatz sein. Desktop-Anwendung für macOS Für diejenigen, die sich mit einem ChatGPT-Konto anmelden. Nicht alle Funktionen erfordern denselben Abonnementtyp, und einige erweiterte Funktionen können, wie bei anderen OpenAI-Tools, vom erworbenen Tarif abhängen.

Thibault Sottiaux, Direktor von Codex, erklärte, dass dieses Update Es richtet sich insbesondere an Entwickler.Obwohl eine Ausweitung auf ein breiteres Publikum später geplant ist, sollen technische Teams zunächst die neuen Agenten und automatisierten Arbeitsabläufe nutzen und dieses Modell im Laufe der Zeit auf Büroaufgaben, Dokumentenmanagement oder die persönliche Produktivität übertragen.

OpenAI betont, dass die Nutzung von Rechenleistung und Speicher mit einer Sicherheits- und RegulierungskonformitätsansatzDies ist insbesondere in der Europäischen Union und im Vereinigten Königreich relevant. Aus diesem Grund wird es in diesen Märkten etwas länger dauern, bis erweiterte Anpassungsfunktionen, kontextbezogene Vorschläge, persistenter Speicher und die direkte Steuerung des Betriebssystems verfügbar sind.

Das Unternehmen ist jedenfalls der Ansicht, dass diese Weiterentwicklung des Codex die Tür für eine Desktop-Superanwendung mit Fokus auf intelligente AutomatisierungKI-Agenten helfen nicht nur beim Programmieren, sondern koordinieren auch Aufgaben, passen sich dem Arbeitsstil des Nutzers an und gewährleisten den reibungslosen Ablauf komplexer Projekte über längere Zeiträume. Für Softwareentwickler in Europa ist die Botschaft klar: Neue Funktionen stehen bevor, müssen aber an die bestehenden regulatorischen Rahmenbedingungen angepasst werden.


Als bevorzugte Quelle hinzufügen