· Manfredi Miraula · Case Study · 2 min read
Da ore a minuti: pipeline dati near real-time per una grande azienda farmaceutica
I dati operativi arrivavano con ore di ritardo a causa di processi batch lenti. Abbiamo ridisegnato la pipeline per sincronizzarli quasi in tempo reale, compresi file binari fino a 4GB.
In una grande azienda farmaceutica le decisioni operative si prendevano su dati vecchi di ore. I team guardavano i numeri, ma quei numeri descrivevano una situazione già superata.
La causa era un’architettura batch che in passato aveva funzionato e che ora non stava più dietro ai ritmi dell’azienda.
Il problema
I team operativi avevano bisogno dei dati in tempo utile per decidere. La pipeline esistente però li elaborava in grossi batch lenti, che si aggiornavano solo a intervalli. In mezzo c’era un ritardo che rendeva impossibile qualsiasi analisi in tempo reale.
A complicare le cose c’era un vincolo tecnico: oltre ai normali record tabellari, il sistema doveva gestire file binari fino a 4GB. Le soluzioni di streaming standard non sono pensate per questo.
La soluzione
Abbiamo ridisegnato la pipeline da zero con un’architettura near real-time su Azure Service Bus:
- Acquisizione a eventi: i dati partono quando cambia la sorgente, non a orari fissi.
- Elaborazione incrementale: si processano solo i record modificati, con molto meno carico e molta meno latenza.
- Sincronizzazione dei file binari: uno strato costruito su misura gestisce file di grandi dimensioni (fino a 4GB) e li sincronizza quasi in tempo reale.
- Monitoraggio completo: allarmi e metriche su stato della pipeline, latenza e qualità dei dati in ogni fase.
Abbiamo lavorato sull’infrastruttura che il cliente aveva già, senza interrompere i sistemi che usavano quei dati durante la migrazione.
I risultati
- Dati disponibili in pochi minuti invece che dopo ore.
- File binari fino a 4GB sincronizzati quasi in tempo reale.
- Decisioni operative più informate, perché basate su dati aggiornati e affidabili.
- Nessuna interruzione per i sistemi a valle durante la migrazione.
Il principio che si applica ovunque
Spesso l’elaborazione batch è la scelta giusta per partire, e lo resta finché l’azienda non cresce oltre. Quando i team decidono su dati vecchi, di solito le persone non c’entrano: il limite è nell’architettura.
Una riprogettazione mirata permette di fare cose che prima non erano possibili.
I dati lenti frenano il tuo team? Scrivici e valutiamo insieme se un approccio simile ha senso anche per voi.