Warum FTP anstelle von REST

Joannes Vermorel

Die Lokad-Plattform ist auf die Verarbeitung von Daten im Terabyte-Maßstab ausgerichtet und für die vorausschauende Optimierung der Lieferkette vorgesehen. Um jedoch Daten zu verarbeiten, müssen wir diese zuerst importieren. Die meisten Webanwendungen verfügen über Web-APIs im REST-Stil, während Lokad FTPS und SFTP verwendet, was überraschend erscheinen mag¹. Diese Wahl war nicht zufällig, sondern wurde durch die Anforderungen an die Datenübertragungsleistung diktiert. Obwohl diese Wahl vor einem Jahrzehnt aufgrund vorheriger Erfahrungen getroffen wurde, sind die Gründe für FTP nach wie vor genauso stark wie eh und je.

Lassen Sie uns den Anwendungsfall von Lokad klären. Ein typisches Kundenunternehmen muss die vollständige Kopie von 10 bis 100 Datenbanktabellen, 5 bis 500 Feldern pro Tabelle, an sein Lokad-Konto übertragen. Diese Daten repräsentieren den Inhalt seines ERP, MRP, WMS, POS usw. Im Laufe der Zeit müssen die Kopien aktuell bleiben und in der Regel nicht älter als gestern sein. Die Gesamtmenge der beteiligten Daten, unter der Annahme unkomprimierter flacher Textdateien (d. h. CSV), reicht von 1 GB für ein mittelständisches Unternehmen bis zu 10 TB für ein großes Unternehmen. Durch die Verwendung inkrementeller Datenübertragungen für größere Tabellen liegt das Volumen der täglichen Übertragungen in der Regel zwischen 100 MB und 10 GB.

Das Kundenunternehmen - oder sein Softwareanbieter oder der Integrator des Anbieters - muss erfolgreich die relevanten Daten an Lokad übermitteln. Tatsächlich erhält Lokad in den meisten Situationen niemals Zugriff auf IT-Systeme. Dies ist vernünftig: Aus Sicherheitsgründen sollten Drittanbieteranalysen keinen direkten Zugriff auf Produktionssysteme haben. Das Kundenunternehmen muss als Gatekeeper die Kontrolle über die aus seinem System fließenden Daten behalten. Bonus: Dadurch können sie jeden einzelnen persönlichen Datenpunkt entfernen, den ein Drittanbieter wie Lokad sowieso nicht benötigt.

Theoretisch kann REST beliebig leistungsfähig gemacht werden. In der Praxis ist dies jedoch nicht der Fall. Bei REST führt die zuverlässige Übertragung von 100 MB feinkörniger relationeller Daten auf täglicher Basis zwangsläufig zu massiven Leistungseinbußen, es sei denn, ein erstklassiges Softwareentwicklungsteam ist beteiligt. Zwei Aspekte müssen mit größter Sorgfalt behandelt werden: Kommunikationsaufwand und Wiederholungen. Der Kommunikationsaufwand bezieht sich auf die Anzahl der Aufrufe über das Netzwerk. Wiederholungen beziehen sich auf Verhaltensweisen, die erforderlich sind, um mit vorübergehenden Netzwerkfehlern umzugehen. Beide Aspekte sind schwierig, in der Praxis sogar äußerst schwierig.

Im Unternehmensbereich können die meisten Softwareanbieter nicht einmal die Seitenumbruch richtig machen für ihre eigenen APIs. Die Annahme, dass dieselben Anbieter, während sie eine schnelle und einfache Integration von Lokad durchführen, plötzlich erstklassige Softwareentwicklungstalente einsetzen werden, ist nicht vernünftig. Meine Erfahrung bei Lokad zeigt, dass im Gegenteil eilige IT-Jobs das Beste sind, was Lokad erwarten kann. Das ist in Ordnung. Es gibt tonnenweise IT-Kämpfe zu kämpfen. Realistisch betrachtet kann von der Datenintegration von Lokad nicht erwartet werden, dass sie die eine Schlacht ist, für die die Elitekräfte mobilisiert werden müssen.

In der Praxis werden Web-APIs, wenn sie unter Druck stehen, um eine anständige Leistung zu erzielen, zu flachen Dateiübertragungen über HTTP. Diese Rückentwicklung betrifft den oben genannten “Kommunikationsaufwand”. Es bleibt jedoch der “Wiederholungs”-Aspekt offen. Sobald auch der “Wiederholungs”-Aspekt angegangen wird, herzlichen Glückwunsch, die API hat endlich ein File Transfer Protocol (FTP) neu erfunden.

Jedoch ist dieses ad-hoc FTP bei weitem nicht so instrumentiert wie das echte FTP. FTP wird von allen wichtigen Betriebssystemen unterstützt. Beide haben eine umfangreiche Open-Source-Tool-Unterstützung. Die relevanten Implementierungen sind seit Jahrzehnten produktionsreif. Zugegeben, es gibt Eigenheiten, diese Protokolle sind vielleicht nicht mehr “modisch”, aber wenn es darum geht, die Arbeit innerhalb von Stunden zu erledigen, ohne Rockstar-Ingenieure einzubeziehen, gibt es keinen Vergleich.

Aus diesem Grund hat Lokad FTP zur Unterstützung von sowohl eingehenden als auch ausgehenden Datenübertragungen übernommen. Darüber hinaus hat ein Jahrzehnt Betrieb bewiesen, dass diese Wahl die richtige war. Selbst IT-Unternehmen mit geringen Fähigkeiten und niedrigen Kosten haben es geschafft, große Mengen an relationalen Daten schnell und zuverlässig über FTP an Lokad zu übertragen, was während all der Jahre, in denen wir eine Web-API angeboten haben, nicht einmal passiert ist.