Kihívás
A Nemzeti Adó- és Vámhivatal (NAV) kötelezővé tette az elektronikus számla adatszolgáltatást. Ez a lépés jelentősen megnövelte az adatforgalmat és az adatfeldolgozási igényeket. Az új rendszer minden olyan számlára, módosító és érvénytelenítő dokumentumra vonatkozik, amelyre az áfatörvény számlázási szabályai érvényesek.
A NAV adattárházának szembesülnie kellett a hirtelen megnövekedett adatmennyiséggel. Az e-Számla rendszer bevezetésével naponta több millió új rekord érkezik, amit hatékonyan kell tárolni és feldolgozni. A fő kihívás a nagy adatmennyiség mellett is fenntartani a magas performanciát és a gyors válaszidőket.
A NAV adattárházának egyik kulcsfontosságú követelménye a gyors és hatékony adatfeldolgozás. A cél az volt, hogy az adattöltések 2 órán belül lefussanak, míg a riportok 2 percen belül választ adjanak. Ennek eléréséhez komplex optimalizálási stratégiákat alkalmaztak.
Miben segítettünk?
- Előkészítés
- A NAV IT infrastruktúrájának és a jogszabályi háttérnek a megismerése.
- Adatstruktúra kialakítása
- Az érkeztetési területen és az adattárházban egy jól strukturált adatmodellt hoztunk létre, amely támogatja az adat hatékony feldolgozását és tárolását.
- Adattisztítás
- Az adatok minőségének biztosítása, duplikációk és hibák kiszűrése automatizált folyamatokkal.
- Adatnormalizálás
- Az eltérő formátumú adatok egységes szerkezetbe rendezése a hatékony elemzés érdekében.
- Adattárház töltők implementálása
- Minden logikailag egy egységbe tartozó adatra adattárház töltő kialakítása és létrehozása. Az ETL (Extract, Transform, Load) folyamatok kialakítása biztosítja az adatok hatékony és megbízható betöltését az adattárházba. Napi szintű adatfrissítési mechanizmusokat implementáltunk a naprakész információk biztosítása érdekében.
- Komplett adatpiac és riportolás
- Az adatokra adatpiac tervezése és kialakítása az igények alapján. Az adatok Oracle BI riportok létrehozásával kerültek prezentálásra.
- Adatnövekmény Kezelése
- Az e-számla rendszer bevezetése óta a kezelt adatmennyiség nagy mértékben növekszik (több milliárd rekord a tény táblákban). Ez a folyamatos adatnövekmény komoly kihívást jelent az infrastruktúra és az adatfeldolgozási folyamatok számára. Olyan megoldásokat alkalmaztunk, mellyel a növekvő adatmennyiség mellett biztosítottuk, hogy a rendszer teljesítménye és válaszideje ne romoljon.
- ITAR pilot projektje
- A NAV ITAR (Integrált Adattárház Rendszer) projektje egy átfogó kezdeményezés az adatkezelés és elemzés egységesítésére. Az e-Számla adatkör ennek a több rendszert is érintő fejlesztésnek a pilot projektje volt.