18:17
6/6/2013

Od jednego z Czytelników otrzymaliśmy wiadomość, jaką serwerownia Hetzner właśnie rozesłała e-mailem do swoich klientów. Na kilku serwerach wykryto nieznanego dotąd backdoora. Analiza incydentu niestety wskazuje na to, iż dane klientów wyciekły.

Hetzner hacked!

Hetzner

Hetzner

Poniżej przetłumaczona na polski treść e-maila, którą publikujemy dzięki uprzejmości jednego z klientów Hetznera, Stefano Kocka.

Szanowny kliencie

Pod koniec zeszłego tygodnia technicy Hetznera znalezli backdoora w jednym z naszych wewnetrznych systemow monitorujacych (nagios). Natychmiastowe analizy wykazaly ze rowniez system do zarzadzania serwerami dedykowanymi (Robot) stal sie ofiara. Analiza incydentu sugeruje że fragmenty naszej bazy klientow zostaly wykradzione. W zwiazku z tym dane klienckie podane w Robocie należy uznać za wykradzione.

Odkryty malware jest wedlug naszych informacji nieznany publicznie. Zlosliwy kod zagniezdził sie wylacznie w pamieci operacyjnej — podejrzewamy ze zlosliwy kod zostaje bezposrednio wstrzykiwany do pracujacych procesów apache’a jak i sshd. W tym przypadku pliki binarne tychże uslug nie zostaja poprzez infekcje ani zmodifikowane ani uruchomione ponownie. Z tego powodu zwykle techniki analizy jak sprawdzanie checksum lub narzedzia jak rkhunter są bezskuteczne.

Do szczegolowej analizy zatrudnilismy zewnętrzną firmę — wyniki jeszcze nie są znane.

Hasla dostepowe dla Panskiego konta klientckiego Robota sa przechowywane w naszej bazie jako hash sha256
z stosowaniem saltu. Dla bezpieczenstwa radzimy by Panstwo zmienili swoje hasla dostepowe do robota. W przypadku kart kredytowych zostaja w naszym systemie jedynie ostanie 3 cyfry numeru karty, typ karty i data waznosci. Wszelkie inne informacje sa zapisane przez naszego uslugodawce platniczego i powiazane/odwolywane przez pseudo numer karty, dlatego wedlug aktualnych informacji nie zostaly wykradzione zadne dane kart kredytowych.

Technicy Hetznera stale pracuja nad znalezeniem ewentualnych luk w zabezpieczeniach – ochrona danych ma u nas bardzo wysoki priorytet. O sprawie poinformowalismy o urzad ochrony danych, jestesmy także w kontakcie z organami scigania. Bedziemy panstwa w razie nowych ustalen bezzwlocznie informowac.
Przykro nam jest bardzo z powodu incydentu i dziekujemy za panstwa zrozumienie i zaufanie

Oryginalne oświadczenie Martina Hetznera (po niemiecku) można znaleźć tutaj a po angielsku tu. Na oficjalnych stronach nie ma jeszcze żadnych informacji na ten temat — jedyne co udało nam się zlokalizować, to ten wpis na wiki.

Jeśli jesteście klientami Hetznera, na pewno warto zmienić hasło do swoich zasobów …i mieć nadzieję, że Hetzner szybko wyjaśni sposób w jaki przełamano zabezpieczenia serwerów (na pierwszy rzut oka, spawa wygląda na podobną do tej). Co ciekawe, kilka polskich firm hostingowych to tak naprawdę odsprzedawanie miejsca na serwerach ulokowanych w Hetznerze…

Przeczytaj także:

51 komentarzy

Dodaj komentarz
  1. Dlaczego mnie to nie dziwi…

  2. No tak. Zatrudnia się administratorów za gówniane stawki, to oni pokazują, co potrafią. Albo czego nie potrafią…

    • łomatko, co za głupi komentarz.

    • Czyli w Hetznerze muszą mieć bardzo wysokie stawki i wysokiej klasy specjalistów, ponieważ większość administratorów – również tych dobrze opłacanych, nie byłaby w stanie wykryć tego typu incydentu. ;)

      Wielkie wyrazy podziwu dla adminów z Hetznera.

  3. Propsy dla Hetznera za reakcję.

    No i dla twórcy malware’u za ukrycie się w pamięci. Ciekaw jestem jak się zabezpieczyć przed takim atakiem ? Jest metoda na wykrycie takiego wstrzyknięcia ?

    • Jakikolwiek HIPS/firewall ? :X Albo jakiś program własnoręcznie napisany który będzie logował wszelkie metody podpinania się pod proces jakiś.

    • Wojtku.. jest na przykład coś takiego: http://www.ossec.net/?page_id=165 jednak tak jak większość hipsów/hidsów jego zabezpieczenia przed takimi włamaniami opierają sie na weryfikacji czy nastapiła modyfikacja kluczowych plikow. Nie znalazłem HIDSa który byłby zintegrowany jakoś z strace/ltrace a wydaje mi się że dopiero własnie taka integracja zapewniła by jakiś wgląd w działanie procesów. Hetzner pewnie zauważył dziwny ruch na NIDS i zaczeli grzebać na Nagiosie zeby zobaczyć co sie dzieje.. nie ukrywam, że fajnie by było poczytać jak to faktycznie znalezli… ;)

    • grsecurity. Ogranicza możliwość ptrace’owania procesów, uniemożliwia uzyskanie dodatkowych przywilejów (man 7 capabilities) bez autentykacji w oparciu o kernel, wymusza oznaczanie segmentów danych jako NX (dzięki czemu zapobiega wykonaniu kodu np. po buffer overflow albo heap sprayingu). Patchset “utwardza” też wymianę danych między kernelem a userspace.

      Oczywiście, są też inne ciekawe metody na zabezpieczenie się. W praktyce jednak, jeśli spojrzymy na losowy artykuł z bloga Spendera (autora grsecurity) albo PaX team, ujrzymy soczystą krytykę SELinuksa/SMACK/TOMOYO jako niewystarczających.

  4. Znowu właśnie dostałem e-maila

  5. “Co ciekawe, kilka polskich firm hostingowych to tak naprawdę odsprzedawanie miejsca na serwerach ulokowanych w Hetznerze… ”

    Coś niesamowitego. A gdzie mają być ulokowane, na marsie?

    • Chodzi o to, ze ludzie mogą nawet nie mieć pojęcia, że są tam ulokowani i że temat ich dotyczy.

    • Może niebezpiecznik zakłada, że każda firma powinna od razu budować własne DataCenter… Albo, że każda osoba, która potrzebuje hostingu www / VPS musi kupić całego Dedyka… Cóż. Świat jednak działa tak, że jedna osoba buduje DataCenter, kolejna dzierżawi / kolokuje serwery, kolejna tworzy strony internetowe, a ostatnia sprzedaje jakieś produkty / usługi zamieszczając dane na swojej stronie. Taki łańcuszek jest normalny.

    • Może nie tyle temat ich dotyczy, co ich dostawców, którzy nastawiają pierś swoimi danymi… chociaż kto wie czy swojej bazy klientów w takiej serwerowni też nie trzymają ;).

    • Chodzi raczej o możliwość, że firmy korzystające z usług Hetznera niekoniecznie przekażą tą informację swoim klientom.

    • A jakie dane klienteli klientów hetznera zostały wykradzione?

  6. Łał. Korzystam z hostingu linuxpl.com, czy mnie to dotyczy? Skompromitowane może być moje hasło do DirectAdmin czy również hasła moich klientów do skrzynek pocztowych ? Wie ktoś?

    • Skompromitowany to możesz być co najwyżej ty sam ;) Widziałeś żeby w języku polskim była taka konstrukcja jak “skompromitowane hasło”?!? Czym to hasło się zasłużyło aby się skompromitować? :D

      Poza tym przeczytaj co się stało 5x i zastanów się jaki to ma związek z twoim DA :D

    • na 100% Twoje hasło do DirectAdmin zostało skompromitowane! zmień je jak najszybciej. Pamiętaj, że hasła są jak majtki im częściej zmieniasz tym większa higiena.

  7. “Co ciekawe, kilka polskich firm hostingowych to tak naprawdę odsprzedawanie miejsca na serwerach ulokowanych w Hetznerze…”

    Znaczy się co jest w tym ciekawego? Nie rozumiem tego zdania.

    Przecież na tym polega hosting, że ma się w jakimś DC maszyny (kolokowane czy dzierżawione). Ze względu na koszty mało kto ma zupełnie swoje własne, prywatne DC pod to.

  8. genialny przykład hackingu, exploit wart nobla :)

  9. Już 22 maja DirectAdmin zbanował mi IP należące do monitoringu Hetznera za próby dostania się do panelu…
    “The ip ‘213.133.113.84’ has been added to … for having too many repeated failed login attempts into the ” account.

    • Ahh… sorki, 29 maja.

    • a co ma piernik do wiatraka?

    • A to, że raczej mało prawdopodobne, by Hetzner nagle próbował się się włamywać na serwery swoich klientów. Połącz sobie Brute Force z IP monitoringu + informacje o włamie na NagiOS… Więc skoro mój serwer zgłaszał już 29 maja, że ktoś stuka do jego drzwi, to mamy przypuszczalną datę infekcji systemu.

  10. Hetzner leży

    • Nic nie leży, nie siej zamętu.

  11. Przeczytałem to info – rozłączyło mnie z dwoma niezależnymi serwerami (176.9.x.x i (176.9.y.y). Pingi: time out. Traceroute
    14 * 36 ms 57 ms hos-tr4.ex3k15.rz15.hetzner.de [213.239.244.112]
    15 * * * Upˆłynąłˆ limit czasu żądania.
    Ktoś jeszcze taką awarię? Oby dwa serwery są w Niemczech.

    Pośrednik stwierdził, że nie będzie się łączyć Hetznerem, czy Hetzner wyłączył jakieś serwery? [;

  12. Skompromitowane dane? Skompromitowane usługi? Kto to tłumaczył? Mam nadzieję, że nie wy. Kompromitacja to wyraz, który odnosi się do ludzi, nie rzeczy. Język polski jest tak bogaty, a stosowane są takie kalki językowe…

    • tlumaczylem to w miare szybko nie siedzialem w polsce tyle co reszta czytelnikow, bedac rodowitym wlochem mowiacym w 10 jezykach z ktorych 6 jezykow biegle, niestety polski u mnie nie jest biegly mimo ze siedze w polsce prawie 8 rok. gdy bys czytal original to bys zauwazyl ze hetzner stosowal takie slownictwo ale to tylko szczegol.
      to badz taki uprzejmy i przetlumacz nam ich list tak jak sie powinno bym mogl swoj faux pas uznac za uzasadniony.
      tak cz ysiak twoj reply to totalny offtopic + typical poland tfuu trolland mentality

    • Nie jęcz koleś, jesteśmy w Polsce i piszemy po Polsku. To, że znasz miliard języków zupełnie nie zwalnia Ciebie z pisania do nas po Polsku, a nie w “lengłydżu”. Polacy nie gęsi i swój język mają. Nie… kompromituj się bardziej ;)

    • szook, mówisz, że w Polsce piszemy po “Polsku”? Ciekawe… I kto tu się skompromitował? Nie wiem kim jest Stefano, ale pisze po polsku lepiej, niż niejeden nasz rodak i propsy dla niego.

  13. dostalem info ze ProFTPD jest tez podatne

    przypomina mi to szkodnika Darkleech ktory juz cuda narobil, robi wrazenie ze to jakas nowa odmiana ktora w pamieci bezposrednio zmiany wprowadza.

    niewiem czy wiecie ale strato tez ma kilka powaznych problemow, ponad wiekszosc serwerow apache u nich ma zainfekowane pliki htaccess a to tez jest podobne dzialanie darkleech ktory bardzo sprytnie dobiera sobie ofiary, ja od kilku dni walcze z plikami htaccess, hasla byly kilka krotnie zmieniane z roznych komputerow. przyklad na kilku z tych serwerach nie ma zadnych dynamicznych plikow, tylko kilak plikow html i jpg a mimo tego htaccessy sie generuja, jeden taki plik macie tutaj
    http://pastebin.com/mDbbUMwi
    hetzner poinformowal klientow, strato jednak nie.

    tu w liczbach co sie dzialo
    http://blogs.cisco.com/security/apache-darkleech-compromises/

    • @Stefano: Skad info o ProFTPd?

  14. Moje serwery a Hetznerze śmigają cały czas. Hasła zmienione :)

  15. Mają jaja wielkie jak kokosy. Nie dość, że wykryli to mega skomplikowane gów*!o to jeszcze zamiast ukrywać sprawę i zacierać ślady jak pewnie zrobiłaby większość PL firm to wszystkich powiadomili i robią śledztwo kosztem dostępności własnych usług i szumu medialnego.

    It is Nice! I like it! Szakunec.

    • Niemcy, więcej dodawać nie trzeba ;)

  16. Dobra, to które polskie hostingi stoją na ich serwerach? Taka dość istotna (być może najbardziej istotna?) informacja w całym temacie, której tak jakby zabrakło ;)

  17. Czemu nikt nie napisze jakie polskie firmy hostingowe korzystają z hetznera?

    • Bo nikt nie wie; nie ma pełnej listy. Polscy przedsiębiorcy się nie przyznają do współpracy ze Szwabami… O.o
      (A tak na serio, całkiem możliwe, że mają też osobne pule adresowe z reverse DNS ustawionym na swojsko brzmiące nazwy zamiast *.hetzner.de, nawet spoza puli Hetznera – alokacja z PI + routing BGP albo co…)

    • powód jest prosty, takie informacje możesz sobie sam znaleść, oczywiście jeżeli chcesz iść na łatwiznę to prościej jest napisać w komentarzu “hejka kto mi poda liste firm”.

  18. 1. O sprawie krążyły plotki na ircnecie już od poniedziałku.
    2. Czym się przejmujecie? To wina hetznera, więc jeśli zostało u was coś uszkodzone/skradzione, to wystarczy pozew. ;-)

  19. „Co ciekawe, kilka polskich firm hostingowych to tak
    naprawdę odsprzedawanie miejsca na serwerach ulokowanych w
    Hetznerze…” — Hmm, czy to aby nie podpada pod próbę oszustwa, jeśli
    się chwalą WŁASNĄ infrastrukturą i SWOIMI fachowcami? Nie podoba mi
    się to łańcuszkowanie odpowiedzialności i przepływu informacji
    zwrotnej.

    • Nie. Mało firm, które kolokują się/dzierżawią w innych
      firmach chwali się własną infrastrukturą, za to
      mogą własnymi fachowcami – przeważnie firmy takie jak hetzner
      zapewniają jedynie zaplecze sprzętowe, prąd i łącze i nic poza
      tym. Sama administracja systemem i wszystkie pochodne tego
      zagadnienia spoczywają już po stronie administratorów (tu
      nazwanych przez Ciebie: fachowców) danej firmy. Jeśli natomiast
      jakaś firma chwali się własnym datacenter, czy własnym sprzętem a
      wszyscy wiedzą, że jest to mało zgodne z prawdą… to takie firmy
      po prostu się unika ;-)

    • @samu: Zaplecze sprzętowe (czyli kompletna infrastruktura: provisioning, monitoring, backup), prąd (czyli kompletna infrastruktura: zaprojektowane i zarządzane, monitorowane, konserwowane niezależne tory zasilania + zasilanie awaryjne), łącze (czyli kompletna infrastruktura od kolorowych naklejek na światłowodach, przez zarządzanie bezpieczeństwiem w L2/L3, redundancje switchy rdzeniowych i brzegowych, routerów, łącz, po monitoring ruchu w warstwie aplikacji) i NIC poza tym? To co byś jeszcze chciał, żeby zrobili? Napisali za Ciebie Twoją aplikację i wystawiali za Ciebie faktury?

  20. Internet jest bezpieczny.

  21. olo: ;D

  22. Fakt, niektóre firmy dzierżawią serwery Hetzner AG – ale
    wynika to z cen hostingu. Ceny Hetznera za hosting są bardzo
    konkurencyjne i to jest powód kolokacji/dzierżawy. To dobrze
    pokazuje ile w Polsce jest jeszcze do zrobienia. Wyższe ceny
    high-endwych serwerów, bardzo wysokie ceny łącz internetowych (w
    porównaniu do RFN, USA) – to wpływa na ceny hostingu w Polsce.
    Wiele firm oszczędza na adminach, na szkoleniach z zakresu IT, IT
    Security – bo gdzieś trzeba zmniejszyć koszty. Zachodnie korporacje
    oferujące sprzęt czy oprogramowanie z reguły sprzedają je w Polsce
    drożej niż w USA. Przykład:
    http://technet.microsoft.com/pl-pl/subscriptions/ms772428.aspx
    TechNet Subscription Standard – 199 USD/1 rok – w USA netto
    http://technet.microsoft.com/pl-pl/subscriptions/hh442910 TechNet
    Subscription Standard – 213,05 EUR/1 rok – w PL netto Zapewne
    znalazłoby się więcej innego rodzaju przykładów wskazujących na
    przyczyny wysokich cen sprzętu komputerowego w Polsce – czy
    pamiętacie informacje sprzed kilku lat jak korporacyjni dyrektorzy
    byli uwikłani w afery: http://www.rp.pl/artykul/878186.html
    http://www.ngi24.pl/article/216/afera-lancuszkowa-w-cisco-systems
    Jeśli policzyć dobrze koszty sprzętu: serwery, routery,
    koncentratory, macierze dyskowe – w PL ceny znacznie wyższe (bez
    VAT), cena prądu jest/będzie wyższa ponieważ infrastruktura
    przesyłowa i elektrownie są przestarzałe. Wiele z nich jest na
    giełdzie a akcje są kupowane przez zachodnie firmy które chcą
    zarabiać, w wielu pracownicy wywalczyli dobre pakiety ochronne.
    Poniżej podział Polski pomiędzy poszczególne spółki energetyczne:
    http://www.rynek-energii-elektrycznej.cire.pl/st,33,241,tr,70,0,0,0,0,0,spolki-obrotu.html
    Czyli sprzęt i energia – drogie, dochodzą przepisy UE o opłatach za
    emisję CO2. Firmy hostingowe nawet korzystając z darmowych
    dystrybucji Linux muszą gdzieś umieścić sprzęt. Wybudowanie
    serwerowni wiąże się z wieloma pozwoleniami budowlanymi – w dużych
    miastach to duże koszty i dużo czasu (wyższy koszt). Chyba, że
    inwestor załatwi budowę w SSE (Specjalna Strefa Ekonomiczna),
    uzyskując w ten sposób przewagę ekonomiczną nad innymi firmami. Co
    robią te firmy – dzierżawią hosting w Niemczech – w Hetzner AG:-)
    Ewentualnie jak inne podmioty – zatrudniają jak najtańszych
    pracowników oszczędzając na szkoleniach informatycznych. Łącza
    telekomunikacyjne – tu nadal dominuje Orange – czyli firma z
    Francji, która chce zapewne zarabiać coraz więcej. Ceny łącz w PL w
    stosunku do innych państw w UE (stosunek ceny do parametrów łącza)
    należą do najwyższych w Europie (a zarobki?). Tylko ludzie –
    pracownicy są tańsi – ale firmy hostingowe chcą zarabiać i
    zatrudniają marketingowców aby więcej sprzedawali a ograniczają
    wydatki na personel techniczny i na szkolenia z zakresu IT
    Security. Aha – firmy zatrudniają też speców od PR którzy powinni
    zareagować gdy pojawi się sytuacja kryzysowa. Mam wrażenie, że w PL
    proporcje ulegają zachwianiu – więcej sprzedawców, coraz mniej
    pracowników technicznych. Pewnie w przyszłości się to zmieni, jak
    niebezpiecznik i inni zaczną ujawniać dziury w zabezpieczeniach
    systemów informatycznych firm. Ciekawe jak to wytłumaczą PR-owcy:-)
    I można domniemywać, że wiele serwerów w polskich firmach ma back
    doory o których nikt nie wie poza samymi cyberprzestępcami, którzy
    jak wampiry powoli wysysają informacje z firm. Czasem się o tym
    dowiadujemy z mediów (np. niebezpiecznik). Bezpiecznej mogą się
    czuć te firmy, które nie skąpią grosza na szkolenia informatyczne i
    oprócz sprzedawców i licealistów zatrudniają doświadczonych
    adminów:-)

  23. Dziękuję za informację. Też mam stronę na Hetznerze, ale
    nie dostałem wiadomości o możliwości wycieku moich danych. Zaraz
    zmienię moje hasła.

  24. Bez przesady ludzie. Zwykli administratorzy wynajęci przez
    Hetznera, to ludzie, którzy mają prawo do popełnienia błędu. Akurat
    oni zachowali się całkiem przyzwoicie. Podjęli środki
    bezpieczeństwa i skorzystali z usług firmy zewnętrznej. ;)

  25. Dziwne, ani ja ani żaden z moich 4 kolegów, którzy
    korzystają z tej serwerowni nie dostaliśmy żadnych emaili.

  26. […] Symantec wykrył backdoora dla systemu Linux, który wykorzystuje własny protokół komunikacyjny aby jak najdłużej pozostać niedostrzeżonym na zainfekowanym systemie. Prawdopodobnie to właśnie ten kod został użyty a ataku na serwerownię Hetzner w maju. […]

Twój komentarz

Zamieszczając komentarz akceptujesz regulamin dodawania komentarzy. Przez moderację nie przejdą: wycieczki osobiste, komentarze nie na temat, wulgaryzmy.