Verschillende statussen van de integratietaak

Er wordt een taak gegenereerd wanneer gegevens door Alumio worden verplaatst, en deze helpt bij elke stap van het integratieproces gegevens bij te houden. Het biedt inzicht in de status van de integratie, of deze nu succesvol is, in uitvoering is, in de wachtrij staat, of deze wordt overgeslagen of dat er fouten zijn opgetreden. Naast het meten van de gegevensuitwisseling binnen Alumio, fungeert Tasks dus ook als basis voor het monitoren en oplossen van problemen met integraties.

Daarom is een van de eerste dingen die het Alumio-dashboard u laat zien, de realtime status van uw integratietaken. Naast het tonen van het totale aantal taken dat je hebt gegenereerd, geeft de taakmonitor op het Alumio-dashboard een duidelijk overzicht van de verschillende fasen in de levenscyclus van een taak binnen Alumio. Het verdeelt de reis van gegevens die van de ene applicatie naar de andere worden verplaatst als volgt:

• Nieuwe taak: Wanneer gegevens voor het eerst uit een bron worden geïmporteerd als onderdeel van een route, worden ze herkend als een nieuwe taak.
• Verwerkingstaak: Zodra Alumio begint met het verzenden van deze gegevens naar een doelapp, wordt de taak verwerkt.
• Taak voltooid: Als de taak met succes is voltooid, wordt deze gemarkeerd als voltooid.
• Mislukte taak: Als er tijdens de gegevensuitwisseling een fout optreedt, wordt de taak als mislukt bestempeld.
• Taak overgeslagen: In scenario's zoals testen of wanneer bepaalde gegevens moeten worden gefilterd, kunnen taken opzettelijk handmatig of geautomatiseerd worden overgeslagen.

Laten we kort bekijken hoe elk van deze taakstatussen essentieel is voor de manier waarop de Alumio iPaaS helpt bij het stroomlijnen en monitoren van het hele integratieproces bij elke stap.

Nieuwe taak:

Om gegevens tussen toepassingen te integreren, moet u eerst gegevens verzamelen van een brontoepassing (systeem A) en die gegevens vervolgens naar een doeltoepassing (systeem B) sturen. Er wordt een nieuwe taak gegenereerd wanneer Alumio met succes gegevens uit systeem A importeert, via een inkomende configuratie, binnen een route.

Bij het instellen van deze inkomende configuratie kunt u met Alumio precies bepalen welke gegevens moeten worden opgehaald en hoe vaak deze moeten worden opgehaald. Moet u alle beschikbare gegevens of alleen specifieke delen van een data-entiteit ophalen? (bijvoorbeeld bestellingen uit een specifieke regio)? Moet het gegevensformaat worden geconverteerd (bijvoorbeeld van XML naar JSON)? Hoe vaak moeten de gegevens worden geïmporteerd, elke minuut, elk uur, elke dag of elke week? Alumio biedt Transformers om de binnenkomende gegevens te wijzigen en te structureren en een Scheduler om te bepalen wanneer en hoe vaak de gegevens moeten worden opgehaald. Dit zorgt ervoor dat u heel specifiek kunt zijn over wat voor soort gegevens u naar de doeltoepassing wilt sturen.

Bij de integratie van een ERP-systeem met zowel een e-commerceplatform als een PIM-systeem haalt Alumio bijvoorbeeld productgegevens op en creëert een nieuwe taak, waarbij deze in de wachtrij wordt geplaatst voor verwerking. In dit stadium kunt u specifieke records filteren (bijvoorbeeld alleen bijgewerkte producten), formaten standaardiseren (bijvoorbeeld valuta omrekenen) en gegevens verrijken (bijvoorbeeld ontbrekende kenmerken toevoegen). Dit stelt u in staat om eerst de gegevens binnen Alumio te verzamelen en te structureren voordat u beslist hoe u deze voor verschillende bestemmingen wilt transformeren. U kunt productcategorieën anders in kaart brengen voor het PIM-systeem en tegelijkertijd de prijsformaten aanpassen voor het e-commerceplatform, allemaal vanuit dezelfde nieuwe taak.

Opmerking: Als een inkomende configuratie niet is geconfigureerd binnen een (actieve) route, wordt er geen nieuwe taak aangemaaktd.

Verwerkingstaken:

Wanneer u een uitgaande configuratie maakt en de route in Alumio uitvoert om gegevens die u van een bron (systeem A) hebt opgehaald naar een doeltoepassing (systeem B) te verzenden, wordt een nieuwe taak omgezet in een verwerkingstaak.

Zoals eerder aangegeven, is dit de reden waarom Alumio niet onmiddellijk gegevens verstuurt (exporteert) die het via een inkomende configuratie binnenhaalt (importeert) en deze in de wachtrij zet als een nieuwe taak. U kunt dus kiezen waar en hoe u deze gegevens wilt verzenden door een uitgaande configuratie te maken. Moet u de indeling van de gegevens die u hebt geïmporteerd filteren, aanpassen of in kaart brengen, zodat deze overeenkomt met de doeltoepassing? Of wilt u de gegevens in batches verzenden, elke minuut, elk uur, elke week, enz.? Met Alumio kunt u beslissen hoe u deze gegevens die u uit systeem A hebt opgehaald, wilt transformeren en plannen voordat u ze naar systeem B verzendt.

Zoals in ons eerdere voorbeeld wordt bij het plannen van de verzending van gegevens die u van het ERP-systeem naar het e-commerceplatform hebt binnengehaald, een verwerkingstaak gecreëerd. Een verwerkingstaak gaat naar de wachtrij binnen Alumio en wordt klaargemaakt om de gegevens te verzenden wanneer gepland.
‍

Opmerking: Met Alumio kunnen gebruikers ook de optie „Real-time processing” selecteren bij het bouwen van een route, in het geval dat kritieke gegevens onmiddellijk moeten worden geïntegreerd. In dit geval wordt op het moment dat de route wordt uitgevoerd, direct een verwerkingstaak gemaakt in plaats van een nieuwe taak, en wordt er onmiddellijk naar gestreefd om een voltooide taak te worden.
‍

Voltooide taken:

Een verwerkingstaak wordt een voltooide taak wanneer de gegevensuitwisseling tussen de bron- en doeltoepassing met succes is voltooid. Dit betekent dat Alumio de geïmporteerde gegevens met succes naar het doelsysteem heeft gestuurd en dat de transformatie- of planningsregels die u hebt geconfigureerd zonder problemen zijn toegepast.

Als het ERP-systeem bijvoorbeeld met succes productupdates naar het e-commerceplatform verzendt en alle gegevens correct zijn ontvangen, verwerkt en opgeslagen, wordt de taak verplaatst van de status Verwerking naar Voltooid.

Mislukte taken:

Een verwerkingstaak wordt een mislukte taak als iets verhindert dat de gegevensuitwisseling succesvol wordt verwerkt. Dit kan te wijten zijn aan verschillende problemen, zoals:

• De doeltoepassing (systeem B) is tijdelijk niet beschikbaar.
• Het gegevensformaat komt niet overeen met de verwachte structuur in het ontvangende systeem.
• Authenticatie- of toestemmingsfouten die gegevensuitwisseling verhinderen.

Als een taak mislukt, biedt Alumio foutenlogboeken en opties voor probleemoplossing om u te helpen het probleem snel te identificeren en op te lossen. U kunt de taak opnieuw proberen zodra het probleem is opgelost, zodat er geen gegevens verloren gaan.

Als een ERP bijvoorbeeld probeert productupdates naar een e-commercesysteem te sturen, maar het SKU-veld ontbreekt of onjuist is geformatteerd, mislukt de taak en worden de foutgegevens geregistreerd voor beoordeling. Vervolgens kunt u de logboeken controleren om de fout te identificeren en snel op te lossen en de taak opnieuw uit te voeren.
‍

Taken die zijn overgeslagen:

Er is ook een „Overgeslagen taken” in de Alumio iPaaS die de taken telt die om verschillende redenen, zoals testen of vooraf gedefinieerde filterregels, opzettelijk zijn omzeild. Een taak wordt gecategoriseerd als „Overgeslagen” wanneer Alumio detecteert dat de gegevens die worden verwerkt niet naar het doelsysteem hoeven te worden verzonden. Dit gebeurt wanneer:

• De gegevens bestaan al in het doelsysteem en zijn niet gewijzigd.
• De integratielogica bevat voorwaarden die bepalen of gegevens moeten worden verwerkt (bijvoorbeeld alleen nieuwe bestellingen verzenden, maar reeds verwerkte bestellingen overslaan).
• De transformatieregels filteren specifieke gegevens uit voordat ze de uitgaande configuratie bereiken.

Met Alumio kunt u handmatig specifieke gegevens overslaan of regels toepassen om specifieke gegevens automatisch in bulk over te slaan. Stel dat een ERP is ingesteld om elke 10 minuten productupdates naar een e-commerceplatform te sturen, maar dat er sinds de laatste update geen wijzigingen zijn aangebracht in de productgegevens. Alumio kan dit herkennen en de taak als Overgeslagen markeren. Dit voorkomt onnodige verwerking. Dit helpt de prestaties te optimaliseren en overbodige API-aanroepen te voorkomen.

Aangezien overgeslagen gegevens binnen Alumio opgeslagen blijven, kan de Alumio iPaaS ook als cachingsysteem fungeren. Dit betekent dat als eerder overgeslagen gegevens later relevant worden, zoals een bestelling die van 'In behandeling' naar 'Betaald' gaat, u deze eenvoudig opnieuw kunt verwerken zonder dat u deze opnieuw uit de brontoepassing hoeft te halen. Dit verbetert de efficiëntie en vermindert de belasting op aangesloten systemen.

‍

Hoe Alumio kan worden gebruikt als cachingsysteem

Alumio kan ook worden gebruikt als cachingsysteem, waarbij alleen deltaversies van gegevens, of alleen bijgewerkte of nieuwe versies van gegevens, van de ene applicatie naar de andere worden verzonden.

Stel dat we bijvoorbeeld regelmatig duizend records binnenhalen, wat neerkomt op duizenden producten, van de ene toepassing naar de andere. Het is productief om alleen gegevens te verzenden voor producten met een bijgewerkte prijs, voorraad, voorraad, enz., naar de andere toepassing, of gegevens voor producten die volledig nieuw zijn en nog niet zijn geregistreerd in de andere toepassing.

Met deze aanpak kunt u elke minuut een update plannen, waarbij u slechts een handvol taken verstuurt, zoals drie, vijf of, op piekmomenten, misschien twintig nieuwe productupdates. Dit is veel efficiënter dan elke minuut proberen alle duizend records te verzenden. Regelmatig controleren op nieuwe gegevens en alleen deze gegevens verzenden, zorgt ervoor dat we geen tijd en middelen verspillen aan het verwerken van overbodige taken. Als u wilt zien welke gegevens zijn uitgefilterd, kunt u de logboeken bekijken die Alumio helpt bij het bijhouden van elke actie en integratie.
‍

Andere essentiële taakstatussen binnen Alumio

Naast de primaire taakstatussen die op het dashboard worden weergegeven, beheert Alumio ook aanvullende taakstatussen die een cruciale rol spelen bij het garanderen van een soepele gegevensverwerking. Deze statussen zijn „Opnieuw proberen”, „Afgewezen” en „Wachten”, die helpen bij het automatiseren van foutafhandeling, het afdwingen van gegevensvalidatie en handmatige controle over specifieke taken bieden wanneer dat nodig is.
‍

Taken opnieuw proberen:

Het is mogelijk dat u een taak opnieuw moet verwerken om de gegevens opnieuw naar het doelsysteem te exporteren. Dit kan zijn omdat de taak eerder is mislukt vanwege een configuratieprobleem dat inmiddels is opgelost, of simpelweg omdat alle entiteiten opnieuw moeten worden verwerkt, zelfs als ze al als voltooid waren gemarkeerd.

Wanneer de optie „Opnieuw proberen van mislukte taken activeren” is ingeschakeld in een route, zal Alumio automatisch proberen om mislukte taken opnieuw te verwerken. Dit betekent dat Alumio automatisch zal proberen de taak opnieuw te verwerken totdat deze slaagt of de ingestelde limiet voor nieuwe pogingen bereikt. Deze functie helpt bij het herstellen van tijdelijke problemen, zoals kortstondige systeemuitval of netwerkonderbrekingen, zonder handmatige tussenkomst. Als een taak blijft mislukken nadat het maximum aantal pogingen opnieuw is uitgevoerd, wordt deze gemarkeerd als een mislukte taak en worden de foutgegevens geregistreerd voor het oplossen van problemen.

Als u Taken handmatig opnieuw probeert, wordt de status van de taken ingesteld op Nieuw opnieuw, zodat de route het in de volgende run naar het uitgaande systeem verwerkt. Op de pagina met het taakoverzicht kun je filteren en ervoor kiezen om meerdere taken tegelijk opnieuw uit te proberen. Je kunt er ook voor kiezen om een enkele taak te selecteren en deze opnieuw te proberen. Op deze manier kunt u alleen een taak opnieuw proberen die de status Voltooid, Mislukt of Overgeslagen heeft.
‍

Afgewezen taken:

Een taak wordt gecategoriseerd als afgewezen wanneer deze niet voldoet aan specifieke systeembeperkingen of validatieregels. Als er bijvoorbeeld een limiet van 1000 bytes is ingesteld voor entiteitsgegevens en een taak deze drempel overschrijdt, wordt deze geweigerd in plaats van verwerkt. Op dezelfde manier kunnen taken met ongeldige entiteitsgegevens automatisch worden geweigerd om te voorkomen dat fouten zich tijdens de integratie verspreiden. De reden voor de afwijzing wordt vastgelegd in de importlogboeken op de pagina met taakdetails, zodat gebruikers het probleem kunnen bekijken en aanpakken voordat ze de gegevens opnieuw indienen.

‍

Wachttaken:

In sommige gevallen kunnen gebruikers een route zo configureren dat in plaats van dat een taak na verwerking automatisch als Voltooid of Mislukt wordt gemarkeerd, deze de status „Wachten” krijgt. Dit biedt gebruikers de mogelijkheid om de taak handmatig te bekijken en de uitkomst ervan te bepalen op basis van de informatie die beschikbaar is in de logboeken. Als een taak de status „Wachten” heeft, kunnen gebruikers via het menu „Acties” beslissen of deze moet worden gemarkeerd als Voltooid of Mislukt. Bulkacties kunnen ook worden toegepast om meerdere wachttaken tegelijk bij te werken. Deze status is met name handig voor gevallen waarin handmatige validatie vereist is voordat het integratieproces wordt afgerond.

Nu we de verschillende soorten taken binnen Alumio hebben begrepen, gaan we alle details van een taak bekijken om te begrijpen hoe deze bovendien helpt bij het volgen, beheren en stroomlijnen van de integratie bij elke stap.