15:51
5/8/2020

Przed kilkoma minutami klienci mBanku otrzymali 3 dziwne powiadomienia na swoje telefony:

mBank test wiadomości push

test wiadomości push ęśąćż

wiadomość testowa test wiadomości push

mBank pozdrawia &#058 ;&#041 ; Życzymy miłego dnia

Efekt? mBank umarł. Nie działa aplikacja ani strona główna

Zapewne przyczynili się do tego przerażeni klienci, którzy po otrzymaniu takich pushy zaczęli masowo logować się na swoje konta i przeciążyli serwery banku.

I właśnie dlatego nie testuje się na produkcji… ;)

Możemy sobie żartować (w redakcji stworzyliśmy taki mem):

Ale ta historia nie skończy się jak na powyższym obrazku. Jeśli ktoś wie, co zrobią temu, co te pushe wysłał, zapraszamy do kontaktu. I gwarantujemy anonimowość. A nieszczęśnika pozdrawiamy. Będzie miał co opowiadać wnukom :) Niech się cieszy, że nie testował tych puszy najpopularniejszym słowem testerskim…

PS. Efekt uboczny? DDoS na mój telefon:

i konieczność opisania naszego formularza kontaktowego CZERWONYMI CAPSAMI, że wiemy i żeby nam więcej nie wysyłać screenów, bo dostaliśmy ich 4000+…


Aktualizacja 5.08.2020, 20:43
W sieci jest sporo memów. Nas urzekł poniższy. Change our mind.


Aktualizacja 5.08.2020, 20:50
Brawa dla mBanku za doskonałą obsługę incydentu od strony PR-owej. Szanujemy!

Przeczytaj także:



71 komentarzy

Dodaj komentarz
  1. To na pewno fail? Na 100% nie jest to atak?
    Bo kliknąłem w pusha i nie wiem czy wyłączyć, spalić i zakopać telefon czy nie trzeba… :)

    • Lepiej nie ryzykować – wszytkie trzy czynności i dałbym jeszcze na mszę.

    • Trzeba przenieść konto do innego banku jak najszybciej żeby nie stracić pienionszkuf :) Podeślę świetną ofertę na priv :)

    • Uwaga! żeby ochronić swoje oszczędności w tym banku, który padł ofiarą hakerów, wyrzuć swoje pieniądze przez okno! Policjanci je zabezpieczą.

    • Trzeba spalić i zakopać telefon, ale nie byle jak i byle gdzie. O północy, w piątek trzynastego, przy pełni księżyca, na rozstajach dróg. Dla pewności warto razem z telefonem zakopać zdjęcie czarnego kota ;)

    • Czy myślisz że jakby to był atak to atakujący wysyłałby wiadomości o treści “test”?

    • @Marek
      A może atakujący wie, że jak napisze “test”, to ludzie, nie będą wiedzieć, że to jest atak, tylko, że to test?:)

  2. Pracowałam przy dużym projekcie aplikacji finansowej, ale nie przy module płatności. Napisane, przetestowane (tylko ręcznie), przekazane klientowi, przechodzimy na utrzymanie. Po dwóch tygodniach klikam sobie na wersji produkcyjnej i wbiłam ujemne ceny. Zatwierdzam, aplikacja łyka jak młody pelikan. Oczyszczenie bazy zajęło trochę czasu. Grupa odpowiedzialna za moduł płatności tego samego dnia wydała poprawkę, ale z premiami się pożegnała ;-)

  3. Karygodne a w zasadzie niedopuszczalne, mam nadzieje, ze wyciagnac konsekwencje od czlowieka ktory zatrudnim i dopuscil, ze jego podwladny pod jego wlasnie naciskiem, dopuscil sie takiego samobuja. Najac zycie poleci wlasnie ten biednak na dole.

    • Dude, shit happens. Każdy zalicza wpadki. Można sobie robić procesy jak w NASA żeby takie rzeczy się nie działy, ale wtedy prowadzenie konta kosztowałoby 1000 pln miesięcznie.

    • Tobie się błąd ortograficzny przytrafił ;)

    • Znając życie to po prostu błąd ludzki. Programista też człowiek…

    • możesz jeszcze raz ale tym razem po polsku?

    • Gdyby karali za ortografię i czytelność przekazywanych wypowiedzi, to miałbyś bana na internet na rok

    • Ok, można powiedzieć że zdarza się, każdy programista się myli itd… Ale w sytuacji gdy cała kasa w systemie jest wirtualna to nagle błędy programistyczne w bankach przestają być zabawne.

    • Pracowałem jako programista w banku i taka pomyłka programisty była tam niemożliwa z prostego powodu. Programiści nie mieli dostępu do produkcji. Był dostęp read only do produkcyjnych danych systemu nad którym się pracowało, aby można było sprawdzić czy liczby się zgadzają w nowej wersji aplikacji. Pełen dostęp do produkcji mógł na krótki czas dostać Executive director jak to odpowiednio umotywował i dostał akceptację od kilku odpowiedzialnych za to osób. Ja raczej stawiam, że błąd popełnił ktoś z devops i źle ustawił konfigurację środowisk w efekcie tester testując w QA wysłał wiadomości na numery z produkcji.

    • Żadne tam “shit happens”. ISO 27001 którym chwali się mBank, jawnie wymaga rozgraniczeń środowiska testowego i produkcji.
      Generalnie, amatorszczyzna, ale z drugiej strony – smutny branżowy standard.

  4. Zdarza się :/

  5. Jak już przy temacie banków to który według Was jest najbezpieczniejszy ? Wiadomo, że teoretycznie w każdym środki powinny być bezpieczne, ale np w którym banku mają na tyle ogarnięte procedury że zwykłym duplikatem karty SIM i znajomością kilku informacji nie wyprowadzi się wszystkich środków z konta ? :|

    A jak widać wpadki zdarzają się niestety wszędzie, dziwne, że już po 1 wiadomości push się nie zorientowali, w końcu chyba też korzystają z własnych usług i pewnie też dostali błędne pushe

    • W każdym gdzie 2FA będziesz realizował przez aplikację a nie SMSy.

    • Rozumiem, że każdy z komentujących nigdy nie popełnił w pracy żadnego błędu?
      Ludzie wyluzujcie, wypadki się zdarzają wszędzie i wszystkim, bez względu na to czy to Google, Microsoft, rząd USA czy banki. Tutaj coś totalnie niegroźnego, w wiadomościach żadnych wulgaryzmów, jest się o co spinać?
      Pośmialiśmy się i tyle. Jeżeli czyta nas ktoś z mBanku to pozdrówcie testera (testerkę?) i przytulcie ich ode mnie bo pewnie mają ciężkie chwile.

    • @Marek: A zapomniałeś już, że po zduplikowaniu karty SIM można bez problemu podpiąć sobie aplikację (bo na nowy telefon przychodzą SMS oraz rozmowy) i nią wyprowadzić całość?
      Oczywiście niski limit w pewien sposób zabezpieczy, ale z drugiej strony będzie strasznie upierdliwy, jeśli większość operacji wykonujesz z telefonu.

    • @Kenjiro
      Po pierwsze samo przekierowanie rozmów nie wystarczy żeby sparować aplikację z nowym telefonem. Po drugie aplikacja jest parowana z telefonem a nie z numerem, czyli nawet jeżeli ktoś dostanie Twoją kartę sim, to nadal będziesz dostawał powiadomienia na swój telefon.

    • @MArek

      No jeśli takie parowanie jest robione po IMEI (albo którymś z innych numerów precyzujących elektronicznie/informatycznie konkretny sprzęt) to tak. tylko ciekaw jestem czy aby na pewno taka prosta apka może mieć do nich bezpośredni dostęp.?

  6. Ciekawe jakie jeszcze ister-egi czekają na użytkowników.

  7. na stronie mBanku wreszcie pojawił się komunikat wyjaśniający, ale i tak uważam, że to mega nieprofesjonalne działanie. Oczywiście dodzwonić się nie da na 0801… i na 783… a na 42 nikt nie odbiera

    • Odbieraja na 801 300 800 ale faktycznie troche trzeba bylo czekac.

  8. U mnie działa. Można wrzucać na prod.

  9. Część komentujących powinna zluzować, zdarza się, i lepsze to niż “dupa dupa”
    Myślę że każdy programista kiedyś coś odwalił na produkcji, a jeśli nie, to znaczy że to jeszcze przed nim.

    • Ano właśnie… +1000.

    • ja tu bym nawet programisty nie winił, pomylić okienko czy coś? nietrudno
      problemem jest brak odpowiednich procedur, które by zadbały, żeby taka pomyłka po prostu nie była możliwa

      ja wiem, że “w idealnym świecie…” jednak systemy bankowe to nieco inna skala i wypadałoby chociaż tutaj o to zadbać

    • systemy do powiadomień typu “hej, mamy dla ciebie nową promocję” to nie są dla mnie systemy bankowe. Strona www MON jak rozumiem obsługuje (gbybyśmy mieli) również wyrzutnie rakiet atomowych i jest krytyczną infrastrukturą obronną?

    • Pracuję jako programista od 15 lat. Jeden z moich manager kiedyś powiedział, że nie ma systemu bez błędów i jeśli jakiś manager mówi, że jego system jest bez błędów, to albo kłamie, albo nie jest ich świadomy i w sumie nie wiadomo co gorsze. Tyle, że błąd to jest jak aplikacja się zawiesi, lub wyświetli błędne dane. Jeżeli w banku programista lub tester ma dostęp wysyłania wiadomości na produkcji to jest to błąd procedur. Ciekawe jak to się ma do RODO bo domyślam się, że sporo osób w mBanku miało dostęp do danych klientów.

  10. W polityce prywatności mBank wyjaśnia kto obsługuje cookie prawdopodobnie także webbpush

  11. Ogólnie fuck up, ale zdarza się. Jako osoba pracująca w bezpieczeństwie, często spotykająca się z żuczkami, którym zdarza się popełnić błąd mogę tylko powiedzieć: współczuje. Najważniejsze to wyciągnąć wnioski. Ze wszystkich wpadek jakie się przydarzały bankom ta jest nawet trochę zabawna. Oczywiście mniej do śmiechu jest tym, którzy chcieli kod blik wygenerować ;)

  12. Kto nigdy nie namieszał na produkcji niech pierwszy rzuci kamień :->

    • Ja rzucę ten kamień :)

  13. Problem jest nie w samych pushach, a w tym, że jak stwierdziła pani z infolinii, “aplikacja mobilna się przeciąża, bo się dużo klientów loguje”. To na czym oni to puszczają, na laptopie prezesa? Słyszał tam ktokolwiek o dynamicznym skalowaniu? Teraz już wszyscy wiedzą jak łatwo ich wyłożyć i tylko czekać na jakąś plotkę na fejsie czy gdzieś indziej, żeby im co i rusz ten systemik wykładać, bo się “dużo klientów loguje”.

    • Myślę, że przez cały dzień kilkanascie tysięcy osób na minutę korzysta z aplikacji.
      Ale teraz weszło na raz pewnie kilkaset tysięcy. Po co skalować system do warunków, które zaistnieją tylko raz na parę lat jak ktoś popełni taki błąd? To rzucanie kasy klientów w błoto.

    • @foormanek
      “To na czym oni to puszczają, na laptopie prezesa?” Proszę nie kpić. Bank obsługuje 1 firmowy komputer z procesorem 8 core i drugi taki sam zapasowy, które stoją w Sekretariacie, a zarządza nimi pani Basia – sekretarka, ma to w zakresie obowiązków. Serwis zapewnia pan Henryk z Elektrody. Skończyły się czasy Solarisów i innych takich wynalazków dla wybranych. Dynamiczne skalowanie jest dla pasjonatów z PCLab.
      Bank musi zarabiać, a nie wydawać pieniądze.

    • Dynamiczne skalowanie tez potrzebuje troche czasu na rozruch. A przykladowo jesli spodziewasz sie duzego przyrostu ruchu w krotkim czasie to w AWS musisz dac im znac by “rozgrzali” LB. Czytam tutaj duzo komentarzy od ludzi, ktorzy lekko lizneli wiedzy i maja sie za profesjonalistow. Google stosuje kolejkowanie by nie doprowadzic do takiej sytuacji, a wylozyli sie kiedys na niezbyt dobrze przetestowanym sofcie.

    • Komentarze Piotra i Jakuba są w stylu “to nieopłacalne” i “nie da się”. Nie spodziewam się, że mbank zbuduje u siebie drugi Azure czy AWS, ale nie uwierzę, że nie mogłoby być WYRAŹNIE lepiej niż ta żenada.

  14. Sami mądrale krzyczą “Nooo… ja fachowiec jestem… a oni taki głupi błąd zrobili! Ha! Ha! Ha! Ale cieniasy! Ha! Ha! Ha!”

    Cóż… można sobie tak żartować, ale fachowcy wiedzą że błędy ludzkie się zdarzają. NIC się nie stało. Kompletnie NIC. Bank przeciążył się na chwilę i tyle. A jak ktoś płacze, że nie mógł wtedy działać, to równie dobrze mógł mieć wypadek samochodowy, albo mogła bomba zerwać światłowód.

    Zatem naśmiewaczom pasowałoby trochę pokory nabrać.

    • @Alma
      Może “mądrale” słyszeli o BCM i analizie r.?
      Jeżeli bank uznał, że przeciążenie serwerów jest ryzykiem akceptowalnym, a podjęte działania określił na “nic nie robić, czekać”, to cała sytuacja, od strony banku, była pod kontrolą i rzeczywiąście nic się nie stało. W takiej sytuacji wszystkie komentarze to tylko nieuzasadniony atak na dobre samopoczucie banku.

    • No… nic się nie stało ;) Poza tym, że mBank na dzień dobry powinien utracić certyfikację ISO27001 a ludzie odpowiedzialni za cyrk polecieć dyscyplinarnie….

  15. Co z nim będzie?

    Opierdol na dajli i tydzień lub dwa tylko na fiksowaniu bugów z jiry… To przyjazna organizacja ;-)

  16. Projekt był na czas skończony ale testować musiał klient.

  17. A na korytarzu w firmie będą wołać ją/jego “Puszek” :)

  18. To nie testy… tak właśnie otrzymaliście pegasusa ;)

  19. Mogło być również tak, że testowali na środowisku testowym, ale bazę (kopię z produkcji) mieli tylko częściowo zanonimizowaną – identyfikatory urządzeń pozostały niezmienione ;)

  20. Przynajmniej push zadziałał jak należy. A nawet lepiej bo wygenerował taki ruch, że wszystko padło. Także przynajmniej sprawca całego zamieszania spowodował, że ziomki od optymalizacji mają co robić. Powinni mu flaszkę postawić Pozdro i glowa do góry, nie myli się tylko ten co nic nie robi

  21. Eee tam, dobrze, że nie test dupa 123

  22. Ale teraz popatrzcie – gdyby testowali sami, to by zajęło, a tak mają feedback od razu od ~kilkudziesięciu tysięcy darmowych testerów i przy okazji niezamówiony test obciążeniowy, który też by kosztował – same zyski :)

    Nieśmiertelny: https://memegenerator.net/img/instances/74771359/to-ja-im-wtedy-mwi-testujcie-od-razu-na-produkcji-bdzie-szybciej.jpg

    Niech pierwszy rzuci kamieniem, kto nigdy nie testował nic na produkcji :)

  23. @MEM_z_Redakcji

    W sumie “Pasażerowie” to taki średniej kategorii film (aktorzy całkiem całkiem :) ) – ni to SCI ni to Romance – ale zastanawiam się nad ew. nawiązaniami … Ta pierwsza kapsuła przecież “się sama spsuła” z drugą to już było całkiem coś innego no a kapitan to w ogóle ‘miał przerąbane jak świerk na ścince’ – you know chinese technology – shits happen.. ;)
    Push to tam, i owszem, poszedł taki z poważaniem, ale z szybu – no i przy 3(2) żywych na pokładzie o DDOSa naprawdę trudno… A że robili na produkcji – cóż, ręczę , że w zaistniałych, hmm, okolicznościach woleliby zapewne wytestować najpierw na jakimś gdzieindzieju, tyle ze nie było za bardzo takowego …

    Swoją drogą – wracając do mBanku – ciekawe ile można zaoszczędzić organizując takie wydajnościowe crash-testy systemu własnymi *) siłami ? ;)
    Bo chyba jasnym jest że dla firmy głównie/czysto sieciowej – istotnym jest to aby ‘kura znosząca złote jaja’ miała się raczej dobrze, a może się mylę …?

    ______
    * czytaj -P.T. klientów

    • Dziwie sie ze nikt nie zauwazyl, ze z glownego bohatera to jest jednak kawal nieogarnietego hu* – a fabula dwoi sie i troi dokola zaby na takiego nie wyszedl…

      Analogicznie mozna zrobic film o facecie ktoremu chcialo sie poc*ac, probojac upic jakas babke w barze zastrzelil przypadkowa staruszke ktora okazala sie szefem ukrytej dywizji SS bedacej o krok od wskrzeszenia hitlera-kaiju, w reakcji na to facet zaczyna latac dokola bez sensu i niczym kuleczka w pinbalu rozwala plan za planem przebrzydlym spiskowcom…

  24. Wiadomość testowa bez dupy to wiadomość testowa stracona.

  25. w sumie w marketingu to na uju stawali, zeby to jakoś ugryźć i ostatnim screenem chyba im się udało :D

  26. ale po hatetepsie nie bangla :c

  27. Niebezpiecznik szykuję się na przeprowadzenie phishingu, wykupili domenę: ęśąćż.pl

  28. […] aplikację. To jak w reakcji łańcuchowej przeciążyło serwery jak dobry atak DDOS. Przy okazji Niebzpiecznik, też został zaatakowany tysiącami zgłoszeń i zrzutów ekranu ze wspomnianymi […]

  29. Ewidentnie typ lub typiara testowali czy interfejs obsłuży polskie fonty. Dowód? Same szlaczki i żadnej “dupa dupa”

    • O słyszałeś o zażółć gęślą jaźń?

  30. Ale sie usmialem, a komentarze to moglibyscie limitowac np do 40stu :) bo czesto szkoda czasu. Pozdro ladmin .)

  31. Wiadomo że większość komentarzy tu to: “zdarza się”. Musimy tworzyć taki bzdurny mit żeby chronić własne zadki jak coś się u nas w IT coś posypie :).
    Niestety różnica pomiędzy “zdarza sie”, a “zostało spowodowane” jest baaaardzo wyraźna.
    Jeśli dostałeś włam 0dayem na zaktualizowanego serwa to tak: “zdarzyło się”.
    Jeśli zmieniłeś passwords.php na passwords.php.old albo jedziesz z testami na produkcji to nie “zdarzyło się”, a “zostało spowodowane”.

    • Jasne, że formalnie gdzieś tam po drodze jakiś winny spowodowacz. Ale to nie musiało być wcale tak, że “ale się głupek pomylił, zalogował się na produkcję i testował”. Może gdzieś w konfiguracji któregoś z elementów środowiska był błąd i namiary poszły na serwery produkcyjne, a może to nawet nie był błąd, bo np. “brakuje zasobów, żeby postawić wszystko end to end, ale to nie problem bo będziemy uzywać tylko do testowania notyfikacji indywidualnych, więc puśćmy ruch na produkcję”, a potem ktoś komuś nie powiedział albo zapomniał itd. itp.

  32. Serwery padły, bo powiadomienia kierowały na stronę mbanku i ludzie klikając w nie przeciążyli serwery, czyli mbank sam się z DDoSował :)

  33. Może po prostu chcieli zrobić testy wydajności. Mają szeroki materiał do analizy

  34. Jakie jest to najpopularniejsze słowo testerkie?

  35. Jestem programistą aplikacji mobilnych.
    I nie wiem czy wiecie, ale obsługa powiadomień jest totalnie oderwana od danych klientów, a nawet nie musi korzystać z bazy danych w ogóle. Tutaj ewidentnie użyto najprostrzej opcji która wysłała powiadomienie totalnie do wszystkich urządzeń. Czyli nijak się to ma do bezpieczeństwa.

    W zasadzie wręcz może być obsługiwana zewnętrznymi systemami.

    Z resztą obawy o atak też są bezzasadne: jedyne co może się stać po kliknięciu powiadomienia, to otworzenie właściwej aplikacji – która dopiero wewnętrznym mechanizmem może na ich podstawie zrobić cokolwiek innego. Ale samo powiadomienie z aplikacji X nie może bezpośrednio zrobić niczego innego niż otworzenie tejże i przekazanie jej odpowiednich danych.

    Ale przyznam też się dziwę, że nie było tam “dupa dupa” :)

  36. Również w tym czasie nie mogłem zalogować się na aplikacji jak również na stronie Web. Po paru godzinach wszystko wróciło do normy. Nie miałem jednak żadnego komunikatu o całym zdarzeniu. Przelewy Blik, ponownie działały bez żadnego problemu, choć nie zmienia to faktu, że całe zajście było dziwne.

  37. […] na to, że mBank zaliczył dziś kolejną wpadkę. O ile poprzednia była dość zabawna i raczej nieszkodliwa (poza sparaliżowaniem na długą chwilę serwerów banku) to obecny problem […]

Twój komentarz

Zamieszczając komentarz akceptujesz regulamin dodawania komentarzy. Przez moderację nie przejdą: wycieczki osobiste, komentarze nie na temat, wulgaryzmy.

RSS dla komentarzy: