Kihívás

A különböző forrásrendszerekből érkező nagy mennyiségű sportfogadási adat valós idejű feldolgozása, elemzése és az adatok egy előre meghatározott riporton keresztül történő megjelenítése volt a fő cél a projekt keretében.

Az adatok tárolására és kezelésére az ügyfél igényei alapján a Delta Lakehouse technológiára esett a választás. Ez a modern megoldás egyesíti a hagyományos adattárházak strukturált adatkezelését a data lake-ek rugalmasságával és skálázhatóságával. A Delta Lakehouse lehetővé teszi a strukturált és strukturálatlan adatok egyidejű tárolását és elemzését, amivel egyszerűvé válik a komplex sportfogadási adatok kezelése.

A több milliárd rekordnyi sportfogadási adat ellenére is képesnek kell lennie a rendszernek rendkívül alacsony válaszidőt biztosítani a riport futtatása során.

A projekt során szoros együttműködésre volt szükség a nemzetközi partnerekkel és szolgáltatókkal a projekt sikerének érdekében. Az együttműködés részeként közös adatformátumokat és kommunikációs protokollokat dolgoztunk ki, amelyek lehetővé teszik a zökkenőmentes adatcserét a különböző országokban működő partnerek között.

Miben segítettünk?

• Adatforrások Azonosítása
• A rendszer képes különböző forrásokból származó adatok befogadására, beleértve a sportfogadási szolgáltatók API-jait, történeti adatbázisokat és külső adatszolgáltatókat.
• Adatgyűjtés
• A RabbitMQ rendszer segítségével valós idejű adatfolyamokat fogadunk, amely biztosítja a folyamatos és megbízható adatáramlást a sportfogadási szolgáltatóktól.
• Feldolgozás
• Az Apache Spark cluster lehetővé teszi a nagy mennyiségű adat párhuzamos feldolgozását, biztosítva a rendszer skálázhatóságát és teljesítményét.
• Tárolás
• A Delta Lake technológia strukturált és nem strukturált adatok tárolására egyaránt alkalmas, biztosítva az adatok verziókövetését és a tranzakciók ACID tulajdonságait.
• Elemzés és Jelentéskészítés
• Az Azure SQL réteg segítségével komplex lekérdezéseket és elemzéseket végezhetünk, amelyek alapján pontos és naprakész jelentést készíthetünk a felügyeleti szervek számára.