Hoe u SAP Insights creëert met Qlik, Snowflake en AWS

Order-to-cash is een cruciaal bedrijfsproces voor elke organisatie, vooral voor de detailhandel en productiebedrijven. Het begint met het boeken van een verkooporder (vaak op krediet), gevolgd door het uitvoeren van die bestelling, het factureren aan de klant en ten slotte het beheren van debiteuren voor klantbetalingen.

De uitvoering en facturering van verkooporders kunnen van invloed zijn op de klanttevredenheid, terwijl debiteuren en betalingen van invloed zijn op het werkkapitaal en de liquiditeit van contanten. Als gevolg hiervan is het order-to-cash-proces de levensader van het bedrijf en van cruciaal belang om te optimaliseren.

SAP ERP (Enterprise Resource Planning) bevat waardevolle verkooporders, distributie- en financiële gegevens, maar het kan een uitdaging zijn om toegang te krijgen tot gegevens in SAP-systemen en deze te integreren met gegevens uit andere bronnen om een ​​volledig beeld te krijgen van het end-to-end-proces .

Het begrijpen van de impact van weersomstandigheden op de logistiek van de supply chain zou bijvoorbeeld een directe impact kunnen hebben op het klantsentiment en hun neiging om op tijd te betalen. Organisatorische silo’s en gegevensfragmentatie kunnen het nog moeilijker maken om te integreren met moderne analyseprojecten. Dat beperkt op zijn beurt de waarde die u uit uw SAP-data haalt.

Order-to-cash is een proces dat actieve intelligentie vereist: een staat van continue intelligentie die het initiëren van onmiddellijke acties op basis van realtime, up-to-date gegevens ondersteunt. Het stroomlijnen van deze analysedatapijplijn vereist doorgaans complexe data-integraties en -analyses die jaren kunnen duren om te ontwerpen en te bouwen, maar dat hoeft niet.

• Wat als er een manier was om de kracht van Amazon Web Services (AWS) en zijn kunstmatige intelligentie (AI) en machine learning (ML) engine te combineren met de rekenkracht van Snowflake?
• Wat als u één enkel Qlik Software-as-a-Service (SaaS)-platform zou kunnen gebruiken om de opname, transformatie en analyse voor enkele van de meest voorkomende SAP-gerichte bedrijfstransformatie-initiatieven te automatiseren?
• Wat als leveranciers en detailhandelaren/fabrikanten beter zouden kunnen samenwerken door wederzijdse toegang tot realtime gegevens mogelijk te maken via de mogelijkheden van Snowflake voor het delen van gegevens en de marktplaats?

In deze blog bespreken we de Qlik Cloud Data Integration accelerators voor SAP in samenwerking met Snowflake en AWS.

Qlik Cloud Data Integratie

Qlik Cloud Data Integration accelerators integreren met Snowflake om de opname, transformatie en analyse te automatiseren om enkele van de meest voorkomende SAP-bedrijfsproblemen op te lossen. Hierdoor kunnen gebruikers zakelijke inzichten verkrijgen die de besluitvorming kunnen stimuleren.

Qlik provides a singular platform for extracting data from SAP and lands the data into Snowflake as the data repository. Qlik keeps the data synchronized with its change data capture (CDC) gateway that feeds the transformation engine, allowing Qlik to convert the raw SAP data into business-friendly data ready for analytics.

Qlik gebruikt zijn Qlik Cloud Analytics-service op de SAP-gegevens om analyse en visualisatie mogelijk te maken, en om gegevens in Amazon SageMaker te voeren om voorspellingen te doen met de kunstmatige intelligentie (AI) en machine learning (ML) engine.

Qlik uses its Qlik Cloud Analytics service on the SAP data to allow analytics and visualization, and to feed data into Amazon SageMaker to render predictions with the artificial intelligence (AI) and machine learning (ML) engine.

Snowflake: The Data Collaboration Cloud

Snowflake heeft AWS Competencies in Data en Analytics en Machine Learning, en heeft de datacloud opnieuw vormgegeven voor de hedendaagse digitale transformatiebehoeften. Organisaties in alle sectoren maken gebruik van Snowflake om te centraliseren, te besturen, samen te werken en bruikbare inzichten te genereren.

Hier volgen de belangrijkste redenen waarom organisaties hun gegevens aan Snowflake toevertrouwen:

• Snowflake is een cloud- and regio-onafhankelijke datawolk. Als een klant zijn SAP data is gehost op AWS, bijvoorbeeld, wanneer ze Snowflake op AWS leveren en AWS PrivateLink gebruiken voor veilige en directe connectiviteit tussen SAP, AWS-services en Snowflake.
• Door de scheiding van rekenkracht en opslag kunnen gebruikers gedetailleerde controles en isolatie uitvoeren, evenals op rollen gebaseerd toegangscontrolebeleid (RBAC) voor verschillende soorten werklasten. Dit betekent dat taken voor het extraheren, transformeren en laden (ETL) geïsoleerde rekenkracht- versus kritische business intelligence-rapporten (BI) kunnen hebben versus feature-engineering voor ML, en dat gebruikers controle hebben over hoeveel rekenkracht ze aan elk van deze werklasten kunnen besteden.
• Een bloeiende data marketplace om de gegevens van klanten uit de eerste hand te verrijken met vermeldingen van derden. De marktplaats maakt het veilig delen van gegevens zowel intern als extern mogelijk, zonder dubbele kopieën van gegevens te maken.
• Een sterk tech partner ecosystem, levert de beste producten in elke datacategorie: data-integratie, data governance, BI, data-observabiliteit, AI/ML.
• Mogelijkheid om code aan gegevens toe te voegen, in plaats van de gegevens te exporteren/verplaatsen naar afzonderlijke verwerkingssystemen, via Snowpark. Code in Java, Scala of Python wordt opgeslagen in Snowflake.

Overzicht gezamenlijke oplossingen

Laten we eens kijken naar een zakelijk gebruiksscenario van SAP dat alle bedrijven delen: orders om te verzilveren. Dit proces in SAP omvat meestal het verkoop- en distributiemodel, maar we hebben crediteuren toegevoegd om het verhaal compleet te maken.

De SAP-accelerators gebruiken kant-en-klare logica om ruwe SAP-gegevens om te zetten in businesscase-analyses. Het begint met het uit SAP halen van de data; u kunt Qlik Data Gateway – Data Movement in de buurt van het SAP-systeem implementeren en installeren om de gegevens uit SAP te halen en in Snowflake te plaatsen, zonder de prestaties van het SAP-productiesysteem te beïnvloeden.

Voor de SAP-accelerators hebben we de SAP-extractors gebruikt als basis voor de datalaag. Deze vooraf getransformeerde gegevens stellen ons in staat slimmere methoden te gebruiken om gegevens uit SAP te halen. Voor het order-to-cash-gebruik hebben we 28 extractors nodig, wat meer dan 200 tabellen zou zijn als we rechtstreeks naar de onderliggende SAP-structuur zouden gaan.

Met behulp van één enkel eindpunt halen we de gegevens van SAP naar Snowflake, waarbij we de feitengegevens op basis van gebruiksscenario's verdelen; We gebruiken echter een gemeenschappelijke reeks dimensies om de scenario's te voeden. Hieronder ziet u hoe deze architectuur er conceptueel uitziet.

Figuur 3 – QCDI data transformatie proces.

Dit proces maakt ook eenvoudige toekomstige toevoegingen aan nieuwe SAP-gebruiksscenario's mogelijk.

Met ons enige eindpunt kunnen we de gegevens tegelijkertijd in onze landings- en opslaggebieden laden. De gegevens worden slechts één keer geland en Qlik maakt zoveel mogelijk gebruik van views om gegevensreplicatie binnen Snowflake te voorkomen.

Nu hebben we twee verschillende dimensionale belastingen en sommige dimensies zijn niet geschikt voor CDC (Delta genoemd). Deze worden volgens een schema opnieuw geladen en samengevoegd met de Delta-dimensie in een transformatielaag, die een enkele set entiteit presenteert voor de constructie van de datamart-laag.

Laten we eens kijken naar het proces voor het verzilveren van bestellingen. We landen en slaan de gegevens op in Snowflake, en in de landingslaag voegen we de regels toe die de namen en kolommen van de SAP-extractors omzetten in beschrijvende namen.

Het zal je misschien opvallen dat er veel regels zijn. We hebben een rapport in SAP uitgevoerd om alle metagegevens door extractors te extraheren, maar niet alle namen zijn hetzelfde. KUNNR is bijvoorbeeld ship-to-customer in de ene extractor en sold-to-customer in een andere.

Elke extractor heeft zijn eigen definitie en we hebben Qlik Sense gebruikt om een ​​metadatawoordenboek te maken dat we kunnen toepassen in de gebruikersinterface (UI).

Zoals u kunt zien, gebeuren er verschillende belangrijke zaken tegelijkertijd. Binnen deze gebruikersinterface zonder code hebben we meer dan 80 extractors naar een landingsgebied geleid, een nieuwe naam gegeven en weergaven met beschrijvende namen toegevoegd in de winkellaag.

Dit is belangrijk omdat veel SAP-oplossingen stromen of codering vereisen voor elke extractor of tabel als een afzonderlijk stuk code om te onderhouden, maar binnen Qlik wordt het allemaal tegelijkertijd beheerd via de SaaS UI (geen codering vereist).

Zodra de gegevens correct zijn ingetoetst en hernoemd, beginnen we met het uitvoeren van onze transformatielagen. Dit proces combineert de dimensie in één enkele entiteit en creëert het bedrijfsspecifieke proces voor een gebruiksscenario zoals bestellingen voor contant geld.

De transformatielaag is waar we beginnen met het manipuleren van de gegevens met 100% pushdown SQL naar Snowflake. Enkele voorbeelden van transformaties zijn het draaien van valuta, het afvlakken van beschrijvende tekst en andere SQL-manipulaties.

Naast de SQL-manipulaties is er in Snowflake een in Python Snowpark opgeslagen procedure gemaakt die via de Qlik SQL-pushdown is aangeroepen. Dit laat zien hoe ingenieurs die bekend zijn met de Python-taal transformatiestappen kunnen bouwen als een opgeslagen procedure in Snowflake en deze kunnen openen via Qlik.

Zodra de gegevens volledig in kaart zijn gebracht, getransformeerd en voorbereid, creëren we de definitieve datamartlaag. Qlik Cloud Data Integration vlakt de dimensionale vlokken af ​​tot een echt sterrenschema dat klaar is voor analyse, en deze sterrenschema's worden per bedrijfsproces geconsolideerd onder een enkele datamart-laag.

Onze datalaag is nu compleet. We hebben het Qlik Cloud Data Integration SaaS-platform gebruikt voor het laden, opslaan, transformeren en leveren van voor analyse geschikte datamarts om onze Qlik SaaS-analyse-engine te voeden.

De SAP-accelerators worden geleverd met modules voor orders to cash, voorraadbeheer, financiële analyses en procure to pay.

SAP van Raw naar Ready Analytics

Nu de gegevensvoorbereiding is voltooid, kunnen we nu de kracht van Qlik SaaS-analyses toevoegen. We nemen alle sterrenschema's uit de datamart-laag op in Qlik en creëren een semantische laag bovenop de pure SQL-gegevens.

De associatieve engine van Qlik wordt gebruikt om alle onderdelen van de order-to-cash-module te combineren tot één enkel verbonden in-memory-model. We voegen ook mastermetingen en complexe set-analyseberekeningen in de stijl van online analytische verwerking (OLAP) toe om dynamische gegevensentiteiten te creëren, zoals voortschrijdende datums of complexe berekeningen zoals openstaande dagen.

Zo ziet het verfijnde analysemodel eruit in Qlik SaaS. Merk op dat er meerdere feitentabellen (10) zijn die dezelfde reeks dimensies delen.

Figuur 8 – Qlik SaaS data model.

Door toegang te hebben tot al die gegevens kunnen we het grote geheel van het order-to-cash-proces in SAP zien.

Figure 9 – Order-to-cash Qlik applicatie.

SAP Order-to-Cash-analyse

De zakelijke vraag hoe een bestelling zich verplaatst van het bestelde product, naar het moment waarop het werd verzonden, naar het moment waarop het werd gefactureerd, naar het moment waarop de klant betaalde, is het antwoord van de order-to-cash-module.

Laten we eens kijken naar een bestelling die een klant heeft geplaatst. Die bestelling (5907) werd aanvankelijk geplaatst op 17-06-1999 en de betaling werd voltooid op 12-12-1999. Dat is een openstaande dagverkoop (DSO) van 194 dagen!

Dat zou het einde van de vraag zijn als we een eenvoudige, op SQL gebaseerde querytool zouden gebruiken, maar met het associatieve model van Qlik kunnen we achterhalen wat er is gebeurd.

Figuur 10 – Visualisatie van het order-to-cash proces in Qlik van SAP.

Er was geen materiaal in voorraad om de hele bestelling te verzenden, dus werd deze opgesplitst in drie afzonderlijke zendingen en gefactureerd/betaald in drie documenten.

Nu bedroeg de totale DSO technisch gezien 194 dagen, maar slechts 187 dagen van factuur tot betaling. Dat is echter nog steeds niet het hele verhaal. Toen de klant werd gefactureerd, betaalde hij daadwerkelijk binnen 1-2 dagen. Deze reeks details zou gemist zijn zonder gebruik te maken van de Qlik-analyse-engine.

Zelfs in dit geval kijken we nog steeds alleen maar achterom naar wat er is gebeurd. Hoe zit het met vooruitkijken en trends identificeren? Onderdelen die niet op voorraad zijn, betekenen bijvoorbeeld dat we niet alles in één keer kunnen verzenden. Met Amazon SageMaker kunnen we voorspellen met welke problemen en vertragingen we te maken kunnen krijgen.

Wat we met de SAP-accelerators hebben gemaakt, zijn plug-and-play-sjablonen om de lastige vragen over SAP-data te stellen, met Snowflake en AWS als de motoren die de inzichten aandrijven met het Qlik SaaS-platform.

De toekomst voorspellen met Amazon SageMaker

Een van de krachtigere componenten van de Qlik SaaS-architectuur is de mogelijkheid om de gegevens in de Qlik-applicatie te integreren met de Amazon SageMaker-engine. In ons order-to-cash-gebruiksscenario hebben we voorbeeldgegevens genomen en een SageMaker-model getraind om voorspellingen te doen over late versus tijdige levering.

Een snelle manier om dit te bereiken is door de Snowpark API te gebruiken om feature-engineering op de dataset uit te voeren, voordat de gegevens uiteindelijk voor training en implementatie naar een SageMaker-eindpunt worden gebracht. Vervolgens kunnen we Qlik gebruiken om toegang te krijgen tot het eindpunt en voorspellingen direct in het dashboard weer te geven.

Hoe werkt dit met analyses? Binnen Qlik SaaS kunnen we een verbinding maken met Amazon SageMaker om gegevens van de Qlik-engine door te geven aan een eindpunt dat de bovengenoemde voorspellingen op basis van de SAP-gegevens zal voorspellen.

Wanneer de gegevens opnieuw worden geladen in de Qlik-analyse-engine, worden de gegevens uit relevante tabellen in het geheugen als dataframes naar het SageMaker-eindpunt gestuurd, waar de AI/ML-voorspelling wordt berekend. De voorspellingen worden teruggestuurd naar de Qlik-app en samen met de originele gegevens in de cache opgeslagen, en zijn beschikbaar voor presentatie in de visualisatielaag.

Figuur 11 – Amazon SageMaker en Qlik SaaS integratie.

We hebben nu het circuit voltooid van het overnemen van historische gegevens uit SAP en het bewerken en frezen tot analyseklare gegevens met behulp van Qlik Cloud Data-integratie. We hebben die verfijnde gegevens ook gepresenteerd met Qlik Cloud Analytics en toekomstige resultaten voorspeld met Amazon SageMaker, allemaal draaiend op de Snowflake-datacloud.

Conclusie

In een typische orderbeheercyclus is het delen van informatie tussen organisaties van cruciaal belang geworden voor de succesvolle werking van de moderne onderneming. Verbeterde klanttevredenheid, toegenomen concurrentievermogen en vermindering van knelpunten in de toeleveringsketen en het aantal dagen dat de omzet uitstaat, zijn sleutelindicatoren voor een geoptimaliseerde cashflow voor het bedrijf.

In dit bericht hebben we besproken hoe de Qlik Cloud Data Integration SAP accelerator-oplossing, in samenwerking met Snowflake en AWS, uw SAP-datamodernisering kan versnellen, meer flexibiliteit en samenwerking tussen organisaties mogelijk kan maken en snel bedrijfsoplossingen kan leveren via geoptimaliseerde order-to -Cash zakelijke inzichten.