Sistemul informatic al ING Bank Romania s-a defectat astazi, in jurul orelor 12-13, astfel ca platile cu carduri, ATM-urile, serviciul de internet banking Home Bank si site-ul bancii nu au functionat timp de aproape 12 ore.

Banca a anuntat problema, pe pagina sa Facebook (ING Web Cafe), abia dupa aproximativ 6 ore, in jurul orei 18, fapt care a starnit reactii furioase din partea clientilor care nu si-au putut folosi cardurile, iar in jurul orei 23,30 a informat ca toate serviciile sale electronice sunt din nou functionale.

Anuntul ING, pe pagina sa Facebook:

"Va informam ca astazi la pranz, sistemul de stocare a datelor a inceput sa genereze erori in operare. Ca urmare a acestei situatii tehnice neprevazute, atat reteaua de ATM-uri, platile cu carduri, cat si serviciul Home’Bank au devenit indisponibile.

Lucram impreuna cu furnizorii sistemului afectat in regim de maxima urgenta pentru remedierea acestei situatii in cel mai scurt timp posibil. Aceasta problema tehnica nu a pus niciun moment in pericol banii clientilor, care sunt in deplina siguranta.

Va vom informa periodic cu privire la stadiul remedierii acestei situatii neplacute.

Ne cerem scuze pentru toate neplacerile create si va asiguram ca, impreuna cu furnizorul platformei tehnice afectate, tratam rezolvarea acestei probleme in regim de maxima prioritate."

ING a subliniat ulterior ca problema a fost cauzata de un server nefunctional, nefiind vorba de vreun atac cibernetic.

ING a precizat, de asemenea, ca are mai multe servere, insa "cel nefunctional ne-a afectat pe toti".

"De ce nu ati trecut pe infrastructura DR, care trebuie sa fie un mirror la infrastructura de baza (toate bazele de date, toate serverele critice, toate functiile critice), astfel incat downtime-ul nici sa nu fi fost sesizabil de noi", a intrebat un client.

"Trecerea la structura back-up a avut si ea erori. Colegii de la IT au incercat mai multe scenarii, alegand prioritar sa faca o copie aditionala a bazei de date, pentru a asigura siguranta datelor", a raspuns ING.

La ora 22, ING a venit cu "prima veste buna: serviciul Home'Bank a fost remediat si este disponibil. Continuam cu testarea solutiilor pentru celelalte servicii inca afectate. Vom continua sa va informam despre evolutia situatiei."

La ora 23,30 ING a anuntat ca a remediat problema: "Serviciile ING sunt functionale. Acum si tranzactiile cu cardul la comercianti si la bancomat sunt disponibile.

Ne cerem scuze inca o data pentru toate neplacerile create. Am tratat situatia cu maxima prioritate si am lucrat cu toate resurse necesare pentru a rezolva problemele tehnice cat mai repede posibil.

Continuam sa monitorizam stabilitatea serviciilor."

Clientii ING sunt furiosi pentru ca nu au fost anuntati

Clientii bancii sunt furiosi pentru ca nu au fost anuntati despre defectiune, astfel ca au fost pusi in situatii neplacute de a nu putea plati cu cardurile sau de a nu putea retrage bani de la bancomate.

"Ne informati dupa 8 ore???? Faptul ca nu am putut achita cumparaturile pentru scoala la casa putea fi evitat daca trimiteati un e-mail sau un SMS! RUSINE ING!!!!", a scris un client pe pagina FB a bancii.

"Este incredibil ca nici la ora asta (21,30) nu ati trimis un SMS clientilor dvs. ca sa-i anuntati!!! Noroc ca citim stirile, dar daca eram in oras contactless....",  spune altcineva.

"Orice se poate intampla...dar la nivelul vostru nu este permis!
O alerta SMS (aveti datele deja) la toti utilizatorii pentru informare, prognoza de rezolvare si scuze ar trebui data. Asta ar mai salva o parte din cei hotarati sa-si schimbe parerea despre ING, in gerneral", se plange un client ING.

Un alt client a reclamat faptul ca daca ar fi fost anuntat de defectiune, si-ar fi luat bani la el pentru a plati la benzinarie si nu ar fi ajuns in situatia jenanta sa nu poata plati cu cardul ING dupa ce a alimentat.

Altcineva spune ca nefunctionarea sistemului pentru o perioada atat de lunga nu poate fi decat cauza unor probleme tehnice grave la sediul central sau, mai rau, a unui atac cibernetic.

"Este inadmisibil! Toata ziua au fost picate serviciile voastre! Am facut cumparaturi si am lasat caruciorul la casa, am avut nevoie de cash si niciun ATM functional. Nici la alte ATM-uri nu am reusit sa retrag, "PIN incorect"!!! Am avut o urgenta...poate si de viata si de moarte!!! Nu se poate admite asa ceva! Luni voi inchide conturile la voi!!! Sper sa imi si gasesc banii acolo!!! Meritati sa fiti dati in judecata!!! Poate unii au intampinat si probleme mai grave ca mine..." s-a plans un alt client ING.

Opinii despre problema sistemului informatic al ING

Iata cateva opinii culese de pe pagina Facebook a ING despre problema sistemului informatic al ING:

- "Sunt sincer dezamagit de timpul de raspuns si de faptul ca inca aveti sistemele indisponibile. In conditiile in care sunteti obligati sa aveti minim un site secundar, voi nu ati reusit nici macar sa faceti fail-over. Sunt curios care sunt obiectivele RTO si RPO cu care operati. Inteleg ca BNR nu va impune sa aveti SLA-uri mai scrite de o zi, dar in 2016 e inacceptabil sa ajungeti in situatia asta." (prevederile BNR privind continuitatea activitatii in sistemele de plati)

- "Sistemul de stocare a datelor = SAN sau baza de date? Ce defectiune ar putea afecta si sistemul principal si backup-ul? (pentru ca altfel ati fi trecut pe backup si nu vedea nimeni). Cat de vechi era backup-ul il puneti acum? Daca e afectat si sistemul de stocare a datelor, de ce nu merge nici site-ul, care ar fi trebuit sa fie pe un sistem separat?

Din moment ce ati blocat accesul tuturor clientilor la banii lor, cred ca meritam niste explicatii ceva mai sincere si un termen estimat pentru rezolvarea problemei.

Intrebare bonus: daca aveti probleme cu sistemul de stocare a datelor, presupun ca nu aveti acces nici la log-uri; cum de sunteti asa siguri ca nu ati fost atacati si ca asta nu a fost ultimul pas al atacului ca sa se stearga urmele si ca atacatorii sa castige putin timp pana rezolvati voi problema asta?"

- "Cred ca unii sefi de la ING Romania trebuie dati afara pentru modul catastrofal in care au gestionat problema dpdv PR. Onestitate si update-uri frecvente (SMS-uri) ar fi domolit furia oamenilor si clientii, in general, ar fi inteles problema si ar fi trecut peste acest inconvenient. Asa, insa, oamenii sunt pe buna dreptate foarte nemultumiti. Niste officers din ING Romania trebuie sa zboare pe motiv de incompetenta crasa".

- "Probabil ca a fost un atac cibernetic si au deconectat toate liniile de internet in data center pana sa gaseasca sursa si sa evalueze paguba. Asta e putin mai plauzibil. Dar asta nu o pot spune clientilor, nu?"

- Foarte grava aceasta situatie. Acum 4-5 luni mi s-a atras atentia ca aveti securitate foarte slaba. Eu am impresia ca de acolo e problema, de la un atac. Daca este asa, povestea cu banii in siguranta e doar poveste, ramane de vazut cat de in siguranta vor fi. Oricum, e clar ca dupa aceasta intamplare vom lua masuri personale pentru securizarea banilor. N-am auzit sa se intample asa ceva la alta banca din Romania. Se intampla asa ceva si in Olanda, sau doar aici? 

- Foarte multe persoane care nu au avut diverse incidente neplacute legate de malfunctioning-ul ING-ului se intreaba de ce nu au fost notificari via SMS/email etc. Cred ca e destul de simplu: in loc sa faca astfel de notificari - de bun simt - tuturor clientilor, dar sa sufere o dauna modica ori semnificativa de imagine cu o masa mare de clienti, banca A ALES sa dea "dauna totala" ghinionistilor de prin restaurante, benzinarii, plecati la cumparaturi si/sau distractie fara cash. Astia sunteti fratilor bancheri, ramaneti sa va spalati pe cap cu propria voastra lipsa de etica. Boala grea harpagonita voastra. Ne vedem saptamana viitoare in office, la inchis conturile. Nu meritati nicio farama increderea oamenilor.

- Eu as sa afara tot IT-ul si as angaja oameni cu experienta si seriosi. Bineinteles ca pe acestia nu poti sa-i angajezi pe un salariu de doi lei. Este inadmisibil ca o banca sa fie nefunctionala atata timp. Orice firma serioasa si care se respecta nu poate sa vina cu motivatia ca este un server nefunctional. Orice firma serioasa are un server mirroring. Daca pica unul ramane celalalt in picioare. Intre timp cel cazut se repara. Adica redundanta. Nu se admite ca o banca sa fie nefunctionala atata timp. Deci ori mintiti cu problema serverului si altele sunt problemele ori chiar sunteti o banca neserioasa.

- Problema majora nu este ca sistemele au cazut. Stiu foarte bine ca acest lucru se poate intampla si stiu ca este greu uneori sa estimezi un timp de rezolvare. Grav este ca:

1. Nu a cazut doar un sistem, ci toate: card, ATM, Home Bank, telefon, site, tot. Partea de telefonie ar trebui sa nu fie afectata de o problema a sistemelor de carduri/tranzactionare. La fel si partea de site.

2. Dureaza rezolvarea asa mult. La acest nivel, ar trebui sa aveti un Disaster Recovery Site, care sa fie capabil sa preia toate cererile clientilor in maxim o ora. Faptul ca acest lucru nu s-a intamplat ma face sa cred ca ori problema a fost si mai mare ori nu aveti asa ceva.

3. Nu am primit nici pana la aceasta ora o comunicare oficiala (mail/SMS) din partea ING. La cat de mare este problema aceasta ar trebui sa dati comunicate directe clientilor la fiecare 30 min - 1 ora maxim.

- Voi chiar vreti sa va creada lumea ca stati intr-un singur server? Si dureaza atat de mult sa faceti restore? Si ca nu aveti solutii de back-up prevazute pentru astfel de cazuri? Pai, ma scuzati, dar in cazul asta, sunteti niste incompetenti...Veniti si voi cu niste explicatii concrete si cu niste masuri, nu de alta, dar cu banii oamenilor nu prea e de joaca...

- Ne-ati pus pe toti in situatii cel putin penibile. Ar trebui sa spuneti clientilor ce s-a intamplat, sad faces nu consoleaza pe nimeni. Spuneti-le ca ati avut la sfarsit de saptamana roll-out la noul core-banking care a crapat. Puteati avea bunul simt (si erati si partial acoperiti) sa ne dati cu cateva zile inainte SMS-uri de notificare legat de acest lucru. Sau stiau doar baietii de la care aveati core-banking-ul? Sa spun eu care sunt?

- Poate de acum incolo se va renunta la cardurile Visa Electron, sa se faca trecerea catre Visa Debit, cu functionalitate offline, si sa setam POS-urile ING sa accepte plati offline. Mai cade vreun server, nu ramane nimeni cu buza umflata.

- Pot sa va intreb ce ati invatat?

- sa nu faceti teste fara backup?

- sa nu faceti teste pana nu sunteti 101% pregatiti pentru restore daca nu iese testul (ca acum!)

- sa aveti si un DR?

- sa tineti pe o "linie" separata partea de comunicare, ca sa puteti anunta clientii?

- sa va anuntati clientii, inainte de a face un test care poate duce la caderea totala a sistemelor?

- Conform comunicatului de pe site, deduc ca toate serviciile critice se gaseau in acelasi data center, fara posibilitatea de geo redundancy. Deci plan pentru disaster recovery trebuie testat mult mai des.

- Am citit comunicatul de presa postat pe site-ul Dvs. in legatura cu incidentul de ieri si am inteles care a fost problema insa sunt anumite aspecte care ma deranjeaza foarte mult.

ING Romania are toate datele - tranzactii, operatiuni, website, Internet Banking - intr-un singur Datacenter si nu are o redundanta geografica in alt Datacenter.

Deci sa zic merci ca a durat 10 ore si nu a fost vreun incendiu real, cutremur sau alt eveniment nefericit in datacenter-ul ala care ar fi dus la nefunctionarea sistemului zile in sir.

Va rog sa ma corectati daca gresesc.

Raspunsul ING: Marius Zoltea a fost o zi cu multe peripetii! Te asiguram ca de fiecare data am avut cate ceva de invatat si ne pare sincer rau ca de aceasta data nu ne-am ridicat la nivelul asteptarilor! In rest, numai de bine si crede-ne ca ne incapatanam sa demonstram ca orice se poate rezolva atata timp cat exita incredere!

- Faptul ca nu aveti un sistem de redundanta este dezamagitor. Cu siguranta aveti mii de clienti care au ramas amanet prin benzinarii/baruri/magazine etc. Sper sa fie destul de destepti sa-si recupereze dauna. BT a patit la fel acum nu mult timp in urma si mi-am facut o parare "f. buna" despre ei. Acum imaginati-va cata incredere mai am in ING, clientul vostru fiind.

Raspunsul ING: Salut Catalin! Ne pare rau daca te-am dezamagit si te rog sa ne crezi ca nimeni nu si-a dorit acest incident. Da, stim ca au fost situatii dificile, motiv pentru care iti suntem recunoscatori pentru intelegere si rabdare. In prezent toate sistemele functioneaza si le monitorizam permanent. Catalin, te asigur ca prin calitatea serviciilor oferite, vom face tot posibilul sa iti recapatam increderea.

- Sunt clientul Dvs. de foarte multi ani. Aceasta situatie e pe cale sa se schimbe dupa problemele avute asta vara si acutizate de cele de ieri. Daca ne aducem aminte si la Cernobil a inceput tot cu un test al sistemelor de siguranta. Continuarea o stim cu totii. Din punctul meu de vedere pot sa va acuz de lipsa de comunicare si poate si de faptul ca tineti toate datele in acelasi data center. Dezamagitor pentru pretentiile pe care le aveti...

Raspunsul ING: Salut Marius! Regretam daca te-am dezamagit, dar te asiguram ca acest incident a fost unul izolat si nedorit. Desigur ca este deplasata comparatia,dar, daca ne permiti sa pastram aceeasi directie, daca va fi vreun efect al incidentului ce se va resimti atat pe termen scurt cat si pe termen lung, cu siguranta se va reflecta in sisteme mai sigure, produse se servicii wow si un customer experience deosebit! Iti multumim pentru intelegere, rabdare si ne incapatanam sa credem ca vei ramane cel putin la fel de multi ani partenerul nostru, Maius. O noapte linistita!

Marius: Sper ca aceasta sa fie singura asemanare cu Cernobil (ambele au esuat in timpul unor teste). Totodata de luni o sa incep sa mai caut o banca de back-up. E sansa Dvs. sa fiti o banca principala sau pe post de apendice.

Stire in curs de actualizare