APIs und Automatisierung
Gleichzeitige Schreibvorgänge in einer Datei-API: Überschreibungen vermeiden und Konflikte lösen
Ein allgemeiner Leitfaden zum Erkennen von Schreibkonflikten, Prüfen dokumentierter bedingter Kontrollen, Koordinieren von Aktualisierungen und nachvollziehbaren Wiederherstellen von Änderungen.
Was ist eine gleichzeitige Überschreibung?
Stellen Sie sich vor, zwei Prozesse, A und B, laden dieselbe Datei im Zustand V1 herunter. A ändert den Titel und speichert eine Kopie. Anschließend ändert B eine Zahl und speichert seine Kopie, die weiterhin auf V1 basiert. Wenn jeder Schreibvorgang den gesamten Inhalt ersetzt, kann der zweite Schreibvorgang den von A aktualisierten Titel löschen. Das Ergebnis kann auf den ersten Blick korrekt aussehen, obwohl eine Änderung unbemerkt verloren gegangen ist.
Die Vorgänge müssen nicht exakt gleichzeitig beginnen, damit ein Schreibkonflikt entsteht: Es reicht, wenn sie sich zwischen dem Lesen und dem Schreiben überschneiden. Das Risiko kann auftreten, wenn mehrere Worker einer Integration, eine Person und eine Automatisierung oder getrennte Aufgaben dieselbe Ressource bearbeiten. Entscheidend ist nicht nur, wer zuletzt geschrieben hat, sondern auf welcher Version die jeweilige Aktualisierung beruhte.
Im Folgenden geht es um allgemeine Entwurfs- und Diagnosemuster, nicht um eine Beschreibung des Verhaltens einer bestimmten API oder um eine Garantie für Apification. Prüfen Sie die Funktionen und Antworten der verwendeten API, bevor Sie eine Integration darauf aufbauen.
- Beispiel: A liest V1; B liest V1; A speichert V2; B speichert seine Kopie von V1 und kann damit die Änderung von A löschen.
Risiken im Ablauf aus Lesen, Ändern und Schreiben erkennen
Zeichnen Sie den Ablauf jedes Vorgangs nach: Wie erhält der Prozess die Datei? Ändert er den gesamten Inhalt oder nur einen Teil davon? Wie viel Zeit vergeht bis zum Speichern, und welche Antwort gilt als Erfolg? Ein vollständiges Ersetzen verdient besondere Aufmerksamkeit, wenn die gesendete Kopie auf einem früheren Lesevorgang beruht. Ein Risiko besteht auch, wenn ein Prozess Dokumente außerhalb der API umwandelt und das Ergebnis später wieder hochlädt.
Achten Sie auf mögliche Überschneidungen: Mehrere Aufträge könnten dieselbe Kennung betreffen, es gibt Wiederholungsversuche, verschiedene Abläufe nutzen dieselben Ressourcen oder Aktualisierungen dauern lange. Protokollieren Sie als allgemeine Diagnosepraxis die betroffene Ressource, den Ursprung des Vorgangs, die Lese- und Schreibzeitpunkte sowie das von der API gemeldete Ergebnis. Protokollieren Sie keine Zugangsdaten oder sensiblen Inhalte.
- Erfassen Sie alle möglichen Schreibenden für die Ressource, einschließlich Benutzern, geplanten Prozessen und Wiederholungsversuchen.
- Prüfen Sie, ob jeder Vorgang die gesamte Datei ersetzt oder eine Teiländerung anwendet.
Vor der Verwendung von ETag oder If-Match den API-Vertrag prüfen
Bevor Sie eine Schutzmaßnahme implementieren, prüfen Sie die offizielle Dokumentation und den OpenAPI-Vertrag der konkreten API. Achten Sie darauf, ob die Leseantwort eine Versionskennung oder ein ETag enthält und ob der Schreibvorgang eine Bedingung wie If-Match oder einen anderen ausdrücklich dokumentierten Mechanismus unterstützt. Dass ein Header in einer anderen API existiert oder in einem Codebeispiel auftaucht, belegt nicht, dass ihn die von Ihnen verwendete API unterstützt.
Wenn die Dokumentation den Mechanismus bestätigt, befolgen Sie die Anweisungen zum Abrufen und Senden des Versionswerts und zum Interpretieren einer Ablehnung wegen eines veralteten Zustands. Die verfügbaren Informationen bestätigen nicht, dass Apification ETag, If-Match oder eine andere bedingte Kontrolle unterstützt. Gehen Sie nicht davon aus, dass diese verfügbar sind, ohne die Dokumentation des betreffenden Vorgangs zu prüfen.
- Notieren Sie, welchen Mechanismus die API dokumentiert, woher die Version stammt und welche Antwort einen Konflikt anzeigt.
- Fehlt eine ausdrückliche Dokumentation, behandeln Sie die bedingte Kontrolle als unbestätigt.
Wenn keine bedingte Kontrolle dokumentiert ist: Schreibvorgänge koordinieren
Als allgemeines Integrationsmuster können Sie die Aufträge koordinieren, die Ihr eigenes System sendet, damit nicht zwei davon gleichzeitig in dieselbe Ressource schreiben. Eine Möglichkeit ist eine Warteschlange oder eine Sperre pro Kennung: Verschiedene Dateien können gleichzeitig bearbeitet werden, aber für jede Datei wird jeweils nur ein Auftrag verarbeitet. Legen Sie fest, wie die Reihenfolge erhalten bleibt und was geschieht, wenn ein Auftrag fehlschlägt oder stecken bleibt.
Diese lokale Koordination kontrolliert weder Benutzer noch andere Systeme, die direkt in die Ressource schreiben, und bietet keine globale Garantie. Wiederholen Sie einen fehlgeschlagenen Schreibvorgang auch nicht automatisch, ohne sein Ergebnis zu kennen: Nach einer Zeitüberschreitung lässt sich aus Sicht des Clients nicht immer ableiten, ob die Änderung angewendet wurde. Prüfen Sie den aktuellen Zustand mit den von der API dokumentierten Mitteln, bevor Sie entscheiden, wie Sie vorgehen.
- Wenn Sie eine Warteschlange verwenden, gruppieren Sie Aufträge nach Ressource und begrenzen Sie die Anzahl gleichzeitig aktiver, koordinierter Schreibender pro Gruppe auf eins.
- Legen Sie Wartezeitgrenzen und ein Verfahren zum Anhalten und Fortsetzen der Verarbeitung fest.
- Wiederholen Sie einen Vorgang nach einer Zeitüberschreitung nicht blind.
Konflikte lösen, ohne gültige Änderungen zu löschen
Meldet die API einen Konflikt oder stellen Sie fest, dass sich der Zustand seit dem Lesen geändert hat, schreiben Sie nicht weiter auf Basis der alten Kopie. Lesen Sie den verfügbaren aktuellen Zustand erneut ein und vergleichen Sie ihn mit dem Zustand, den der Prozess verwendet hat. Betreffen die Änderungen voneinander unabhängige Teile und erlaubt die API eine sichere Aktualisierung, erstellen Sie eine neue Änderung auf Grundlage des aktuellen Zustands. Sind die Änderungen unvereinbar, bewahren Sie beide Vorschläge auf und bitten Sie um eine Entscheidung durch eine Person, statt stillschweigend einen davon auszuwählen.
Eine wissenschaftliche Arbeit der Escuela Politécnica Nacional beschreibt eine Implementierung mit Versionsspalten zur Erkennung gleichzeitiger Änderungen: Wurde nach dem Lesen eine Änderung vorgenommen, konnte ein weiterer Versuch erzwungen oder auf den Konflikt hingewiesen werden; in dieser Implementierung wurden gleichzeitig vorgenommene, konfliktbehaftete Änderungen abgelehnt. Das ist ein Beispiel für optimistische Kontrolle in einer Anwendung, kein Beleg dafür, dass eine Datei-API oder Apification diesen Mechanismus implementiert oder dieselben Antworten liefert. Quelle: Biblioteca Digital de la Escuela Politécnica Nacional, https://bibdigital.epn.edu.ec/bitstream/15000/26284/1/CD14960.pdf.
Halten Sie als allgemeine Orientierung nachvollziehbar fest, welcher Zustand beobachtet wurde, welche Änderung angewendet werden sollte, aus welchem Grund ein erneuter Versuch oder ein Eingreifen erforderlich war und welches Endergebnis erzielt wurde. Begrenzen Sie die Zahl der Wiederholungsversuche und lesen Sie den Zustand vor jedem zulässigen Versuch erneut ein. Wenn Sie den Inhalt nicht sicher vergleichen oder zusammenführen können, geben Sie den Fall zur Überprüfung weiter.
- Lesen Sie den aktuellen Zustand erneut ein, bevor Sie eine Aktualisierung neu erstellen.
- Wiederholen Sie den Vorgang nur, wenn die neue Version und die geltenden Regeln zum Zusammenführen geprüft wurden.
- Bitten Sie um eine menschliche Überprüfung, wenn Änderungen unvereinbar sind oder sich nicht vergleichen lassen.
Schreibkonflikte, Zeitüberschreitungen und verspätete Antworten testen
Richten Sie als allgemeinen Integrationstest zwei Prozesse ein und koordinieren Sie sie so, dass beide denselben Zustand lesen, bevor sie speichern. Ändern Sie in jedem Prozess einen anderen Teil und beobachten Sie, ob das Endergebnis beide Änderungen enthält oder eine davon verloren geht. Wiederholen Sie den Test mit umgekehrter Schreibreihenfolge. Das Ergebnis beschreibt das beobachtete Verhalten in dieser Testumgebung; es beweist nicht, dass die API einen bestimmten Mechanismus bietet.
Berücksichtigen Sie auch Fälle mit Verzögerungen vor dem Speichern, einer Zeitüberschreitung nach dem Senden der Anfrage, einer verspäteten Antwort und einem Wiederholungsversuch. Prüfen Sie den Endzustand durch erneutes Lesen und vergewissern Sie sich, dass sich der Ablauf anhand der Protokolle nachvollziehen lässt. Wenn die API eine bedingte Kontrolle dokumentiert, testen Sie auch die Antwort bei einer inzwischen geänderten Version. Betrachten Sie eine Erfolgsmeldung des Clients allein nicht als Beweis dafür, dass der Endzustand wie erwartet ist.
- Testen Sie zwei Lesevorgänge desselben Zustands und Schreibvorgänge in beiden Reihenfolgen.
- Berücksichtigen Sie Zeitüberschreitungen, verspätete Antworten und Wiederholungsversuche; prüfen Sie nach jedem Szenario den Endzustand.
Den Cloud-Verlauf zur Wiederherstellung nutzen, nicht zur Vorbeugung
Apification Cloud ermöglicht es, den Verlauf eines Elements einzusehen, frühere Versionen herunterzuladen und Inhalte wiederherzustellen. Diese Funktionen können Teil eines Wiederherstellungsverfahrens sein: Ermitteln Sie das Element, prüfen Sie den Verlauf, laden Sie eine passende Version zur Kontrolle herunter und entscheiden Sie, ob eine Wiederherstellung angebracht ist.
Der Verlauf verhindert nicht, dass zwei Prozesse eine Überschreibung verursachen, und bestimmt für sich genommen auch nicht die Absicht der einzelnen Schreibenden. Vergewissern Sie sich vor einer Wiederherstellung, dass die ausgewählte Version das enthält, was Sie benötigen, und berücksichtigen Sie, ob auch eine spätere Änderung erhalten bleiben muss. Gehen Sie nicht davon aus, dass die API dieselben Aktionen wie Cloud anbietet: Prüfen Sie gesondert, welche Vorgänge in der API dokumentiert sind.
- Prüfen oder laden Sie die infrage kommende Version herunter, bevor Sie sie wiederherstellen.
- Betrachten Sie eine Wiederherstellung als Wiederherstellung von Inhalten, nicht als Verfahren zur Koordination von Schreibvorgängen.
Checkliste vor dem Produktivbetrieb
Bestätigen Sie vor der Bereitstellung den Lese- und Schreibvertrag, alle möglichen Schreibenden und die tatsächliche Einheit der Aktualisierung. Prüfen Sie, ob ein bedingter Mechanismus dokumentiert ist. Falls dies nicht bestätigt ist, entscheiden Sie, ob eine lokale Koordination der Aufträge zu Ihrem Ablauf passt, und behalten Sie deren Grenzen im Blick. Legen Sie fest, wie Sie einen Konflikt erkennen und wann ein erneutes Einlesen, ein Wiederholungsversuch oder eine Überprüfung erforderlich ist.
Validieren Sie das Wiederherstellungsverfahren mit einer Testversion und stellen Sie sicher, dass die Protokolle das Ergebnis erklären, ohne Geheimnisse offenzulegen. Testen Sie gleichzeitige Schreibvorgänge, die umgekehrte Reihenfolge, Zeitüberschreitungen und verspätete Antworten. Apification ermöglicht die Integration von Cloud und seinen Diensten über REST-API, OpenAPI und Webhooks. Ob eine konkrete Versionskontrolle bei einem bestimmten Vorgang verfügbar ist, muss in der Dokumentation dieses Vorgangs bestätigt werden.
- Vertrag geprüft; ETag, If-Match oder eine andere Kontrolle wird nur verwendet, wenn sie dokumentiert ist.
- Umfang und Grenzen einer gegebenenfalls eingesetzten lokalen Koordination sind festgelegt.
- Konflikte, Wiederholungsversuche, Zeitüberschreitungen und verspätete Antworten wurden getestet.
- Verfahren zur Überprüfung und Wiederherstellung von Versionen wurde geprüft.
- Die Protokolle reichen zur Prüfung des Ablaufs aus, enthalten aber keine Zugangsdaten oder sensiblen Daten.
Häufige Fragen
Kann ich If-Match mit jeder Datei-API verwenden?
Gehen Sie nicht davon aus. Prüfen Sie, ob die API-Dokumentation diesen Mechanismus ausdrücklich unterstützt, wie die Version abgerufen wird und welche Antwort bei einem Konflikt zurückgegeben wird.
Beseitigt die Koordination von Schreibvorgängen jedes Überschreibungsrisiko?
Nicht unbedingt. Eine lokale Warteschlange kann die Aufträge koordinieren, die sie durchlaufen. Benutzer oder andere Systeme, die direkt in dieselbe Ressource schreiben, kontrolliert sie jedoch nicht.
Verhindert der Verlauf von Apification Cloud Schreibkonflikte?
Nein. Mit Cloud können Sie den Verlauf prüfen, frühere Versionen herunterladen und Inhalte wiederherstellen. Diese Funktionen helfen bei der Untersuchung und Wiederherstellung, ersetzen aber nicht die Vorbeugung oder Koordination gleichzeitiger Schreibvorgänge.
Quellen und weitere Informationen
Für diesen Artikel herangezogene Dokumentation.
- Documento académico de la Escuela Politécnica Nacional sobre control de concurrencia — Biblioteca Digital de la Escuela Politécnica Nacional
- Insuficiencia de evidencia para confirmar capacidades de Apification — Linkses
Apification entdecken
Ähnliche Artikel
APIs und Automatisierung
Webhooks oder Polling zur Erkennung von Dateiänderungen: So treffen Sie die Wahl
Vergleichen Sie Benachrichtigungen und regelmäßige Abfragen, um eine Strategie zur Erkennung von Änderungen zu wählen, die zu Ihrer gewünschten Latenz, dem Änderungsvolumen und Ihren Anforderungen an die Wiederherstellung passt.
APIs und Automatisierung
Dezimalabweichungen in einer API: So untersuchen Sie sie, ohne den Vertrag zu ändern
Ein Beispiel zur Nachverfolgung eines Werts und zwei dokumentierte Fälle helfen dabei, Präzisionsabweichungen einzugrenzen, ohne eine Ursache anzunehmen oder den Vertrag zu ändern.
APIs und Automatisierung
Webhooks in falscher Reihenfolge: So verhindern Sie, dass ein altes Ereignis den Dateistatus zurücksetzt
Der Empfangszeitpunkt beweist nicht, welche Änderung zuerst erfolgt ist. Erfahren Sie, wie Sie den Webhook-Vertrag prüfen und den Dateistatus anhand überprüfbarer Kriterien abgleichen.