20:25
24/5/2012

Od zakończenia akcji przeciw ACTA minęło już kilka tygodni. Można powiedzieć, że presja jaką internauci wywarli na rząd, przyniosła pozytywne rezultaty. Z pewnością pamiętacie, jak wyglądały wtedy główne ulice i place w wielu polskich miastach. „Tłoczno” było także w sieci, a wiele stron rządowych zostało narażonych na ataki, o czym pisaliśmy tutaj. Poniżej, na przykładzie stworzonego przez Wykop.pl serwisu z petycją przeciw ustawie ACTA, prezentujemy jak od strony technicznej wyglądała akcja „offloadowania” wzmożonego ruchu HTTP do serwerów w chmurze. Ile naprawdę kosztuje „wzmocnienie” serwisu przez chmurę?

Jestem przeciw ACTA czyli…

Akcja na Wykopie, związana z protestem, rozpoczęła się 23 stycznia, a szum medialny przeniósł się także na tradycyjne media, co zaowocowało znacznym zwiększeniem ruchu w serwisie. Wykop.pl we współpracy z serwisami demotywatory.pl, kwejk.pl, antyweb.pl, joemonster.org i przy silnym wsparciu technicznym ze strony e24cloud.com zdecydował się na stworzenie strony jestemprzeciwacta.pl, której głównym założeniem było zebranie 500 tysięcy podpisów przeciwko ustawie ACTA.

Architektura serwisu

Tuż przed uruchomieniem akcji administratorzy serwisu Wykop.pl podjęli decyzję o rozpoczęciu „offloadowania” ruchu do chmury obliczeniowej e24cloud.com.

„Aplikacja obsługująca serwis jestemprzeciwacta.pl została napisana tak, aby była maksymalnie wydajna, w oparciu o Memcached, gdzie do MySQL były zapisywane tylko rejestracje użytkowników. Całość działała na standardowej konfiguracji LAMP z HAProxy na wejściu, co pozwoliło rozdzielić ruch na wszystkie maszyny na początku akcji, gdy liczba wejść była duża. Z czasem, gdy ruch się uspokoił, płynnie zmniejszyliśmy liczbę serwerów.” – mówi Paweł Stefański z Wykop.pl.

Chmura e24cloud.com zbudowana jest w oparciu o maszyny IBM serii x3755 wyposażone w:

    – 48 rdzeni, procesor AMD 6164HE, 192 GB RAM
    – 64 rdzenie, procesor AMD 6262HE, 256 GB RAM

Sieć lokalną oraz dostęp do zasobów SAN zapewniają karty Emulex (4×10 Gbit w każdym serwerze) oraz karty Infiniband. Ponadto, wykorzystywane są łącza PLIX oraz LEVEL 3, którego europejski węzeł szkieletowy kolokowany jest w Beyond.pl.

Dla niewtajemniczonych wyjaśniamy, że PLIX to jedyny w Polsce neutralny komercyjny węzeł wymiany ruchu IP, natomiast LEVEL 3 to jeden z największych na świecie operatorów usług telekomunikacyjnych.

Harmonogram wydarzeń

23 stycznia, Piątek

Godzina 22:00 – Wykop.pl zwraca się do e24cloud.com z zapotrzebowaniem na pierwszą maszynę. Wzmożony ruch w serwisie wywołany akcją przeciw ACTA, wymusił decyzję o zwiększeniu dostępnych zasobów serwerowych. Początkowo serwer miał być jedynie zapasem “na peaki”.

Godzina 23:30 – Pierwsza maszyna w chmurze zostaje przekazana do dyspozycji administratorów Wykopu (32 Core / 64 GB RAM + łącze o przepustowości 1Gbit).

Godzina 24:00 – Zaczyna się weekend. Wykop prowadzi prace administracyjne w serwisie, podejmując jednocześnie decyzję o przeniesieniu części zasobów do serwerów w chmurze. Ruch w serwisie nadal rośnie.

26 stycznia, Poniedziałek

Wykop.pl informuje e24cloud.com o zamówieniu na kolejne maszyny oraz pomyśle uruchomienia serwisu jestemprzeciwacta.pl. W sieci udostępnione zostają skrypty umożliwiające łatwe “podpinanie” akcji do innych serwisów. Do dzisiaj akcję poparło ponad 3900 serwisów kierujących ruch na jestemprzeciwacta.pl.

Tego samego dnia “na wszelki wypadek” uruchomione zostają 3 kolejne serwery w chmurze w konfiguracji 32 core / 64 GB RAM.

Stan na 1 maja 2012:
Ogólna liczba wejść na stronę jestemprzeciwacta.pl wyniosła: 28 725 307. Całkowity ruch z odesłań to 3 653 729 wejścia. 95,91% ruchu z odesłań (3 504 487 wejść) wygenerowane zostało przez 20 stron (przy łącznej liczbie 3 900 stron odsyłających).

Poniżej lista TOP 20 stron, które wygenerowały ruch na jestemprzeciwacta.pl:

Rozkład poparcia internautów w pierwszym tygodniu akcji:

Podsumowanie ruchu w ciągu pierwszych dni akcji na Wykopie:

Na wykresie można zaobserwować zależność pomiędzy pojawieniem się informacji w tradycyjnych środkach przekazu, a zwiększoną liczbą odwiedzin serwisu.

Komercyjny wymiar rozwiązania

Podsumowanie zasobów sprzętowych:

    23 stycznia – 1 dzień akcji – jedna działająca maszyna
    26 stycznia – 4 dzień akcji – dwie dodatkowe maszyny, trzy działające
    27 stycznia – 5 dzień akcji – zmniejszenie o jedną maszynę, dwie działające
    29 stycznia – 7 dzień akcji – zmniejszenie o jedną maszynę, jedna działająca

Z puli czterech serwerów przekazanych serwisowi Wykop.pl wykorzystane zostały trzy.

W sumie, w pierwszym tygodniu wykorzystano 8448 corogodzin. Analizując cennik e24cloud.com można obliczyć, że średnie koszty takiego zużycia zasobów wyniosłyby 5,44 zł netto za godzinę, a w skali 7 dni otrzymalibyśmy kwotę 1436,16 zł. Z finansowego punktu widzenia koszt można było jeszcze na bieżąco optymalizować, skalując wydajność serwerów ręcznie lub za pomocą harmonogramu, dzięki któremu wydajność serwerów oraz koszty można modyfikować wg przygotowanego wcześniej szablonu. Warto podkreślić, że godzinowe naliczanie opłat oraz brak zobowiązań w postaci umowy, wpływają pozytywnie na kontrolę wydatków związanych z akcjami o tak nieprzewidywalnym ruchu jak jestemprzeciwacta.pl

Wnioski

Jak pokazuje przykład akcji skierowanej przeciw ACTA, serwery w chmurze idealnie sprawdziły się jako swoisty wentyl bezpieczeństwa, gwarantując niezawodne działanie nie tylko serwisu Wykop.pl oraz strony jestemprzeciwacta.pl, ale także stron takich jak benchmark.pl czy bebzol.com.

Przygotowaliśmy wykres dotyczący kosztów wykorzystania zasobów serwerowych w przypadku akcji jestemprzeciwacta.pl uwzględniając różne rodzaje serwerów (porównanie na podstawie uproszczonych założeń użycia 3 maszyn po 32 core każda):

Podane ceny dotyczą 7 dni użytkowania serwerów. Jedynie w przypadku Ogicom.pl podana została cena za miesiąc – tyle wynosi minimalny okres wykupienia usługi. Tabela przygotowana została w oparciu o oferty dostępne na stronach dostawców (ogicom.pl oraz ovh.pl) oraz cenniki dostępne w serwisie cloudorado.com (ceny w dolarach zostały przeliczone po kursie 3,25 zł za 1 dolara). Podane ceny są wartościami orientacyjnymi i mogą ulec zmianie.

Wszystkich zainteresowanych samodzielnym porównaniem cen odsyłamy bezpośrednio do serwisu:

Źródła informacji wykorzystanych w artykule:
www.ogicom.pl/uslugi/serwery/serwery-prywatne-vps-2
www.ovh.pl/cloud/
www.cloudorado.com
www.e24cloud.com

Przeczytaj także:

52 komentarzy

Dodaj komentarz
  1. Wykres:
    https://niebezpiecznik.pl/wp-content/uploads/2012/05/tabela3.jpg
    Ceny w tysiącach złotych?
    czyli gogrid.com żąda 14 milionów złotych?

  2. literówka się wkradła: powinno być joemonster.org

  3. Data chyba powinna być luty, nie marzec. Akcje i inne działania w temacie ACTA były w lutym, dobrze myślę?

    • Czy nawet styczeń, jak wynika z ikonografiki:)

  4. Świetny artykuł :-) Dawno nie było czegoś takiego, co może posłużyć w praktycznym wykorzystaniu.

  5. Z tego co widzę to kod strony: http://jestemprzeciwacta.pl/ można by też trochę zoptymalizować – połączyć css i do cache, javascript do zewnętrznego pliku i do cache, cały kod zminifikować (jest takie słowo? :D). Transfer mógłby zejść o kilkanaście % (przy 1.5k zł to już byłaby lekka oszczędność). Anyway, + za ten opis, dawajcie więcej takich artykułów :)

    • Ciekawe zagadnienie poruszyłeś. Rzeczywiście przy płatności “za zużycie” optymalizacja serwisu staje się ważnym, bo dotykającym kieszenie, czynnikiem. Może jako jeden z plusów chmury należy zaliczyć to, że poniękąd wymusza tworzenie optymalnych serwisów? Przynajmniej na Krakusach i Poznaniakach :)

    • Co do takich podstawowych optymalizacji to raczej każdy serwis powinien temu podlegać, niezależnie czy stoi na CDN czy na virtualu – transfer zawsze ma wpływ na cenę końcową :) zwłaszcza jeśli spodziewamy się ogromnego ruchu (a było to pewne od samego początku). Ps. niebiezpiecznikowy serwis też nie jest zoptymalizowany pod tym kątem :p

    • To czekamy na ofertę optymalizacji z projekcją przychodów ;)

    • @Piotr Konieczny
      firebug+yslow i http://gtmetrix.com/reports/niebezpiecznik.pl/lGVF91Kn

  6. Na innych serwisach, jak się pojawia wpis sponsorowany to jest jako taki oznaczony, na niebezpieczniku nie zauważyłem takiego oznaczenia – może nie jest sponsorowany? Warto podać autora.

    • niebezpiecznik podaje autora pod title -> “Offloadowanie” ruchu do serwerów w chmurze
      Autor: redakcja | Tagi: ACTA, chmura, DDoS

      jest tez w rss zawsze.

  7. aaaa do tych tabelek można poprosić jeszcze dwie z OSami i przeglądarkami z których wchodzono. Ciekawi mnie to przy takiej liczbie wejść…

    • Zobaczymy co da się zrobić w tym temacie – nie ma tego w tekście bo w kontekście rozpatrywania chmury jako offloadu ruchu nie jest to istotne ;)

    • Wyszarpcie jeszcze rozdzielczosci ;]

  8. co to jest “corogodzina” użyta w artykule ?

    • Na chłopski rozum godzina użycia rdzenia procesora

  9. ciekawy artykul, zrdowa reakcja biznesowa kilku madrych osob z wykopu, ale tak bardzo pachnie po-cichu-dogadana promocja, ze mam niesmak.

  10. To patrząc na tabelkę – od dołu – dopiero na 10 miejscu jest strona z której korzystam. A myślałem, że się jeszcze do młodego pokolenia zaliczam i je rozumiem ;) Zadziwiające są te nowe źródła / kanały informacji (i fakt, że chce się ludziom na takich stronach w ogóle siedzieć… ja dostaję tego dziwnego wrażenia, że marnuje sobie życie nawet przy pisaniu komentarzy na Niebezpieczniku czasem ;P)

    • komentuj nasze wpisy na demotach, statsy nam skoczą ;)

  11. Takie skalowanie w chmurze to nie skalowanie.

    Aplikacje www się do chmur świetnie nadają, ale lepiej mieć więcej mniejszych maszyn, niż jedną dużą. Dlaczego?
    Po pierwsze: redundancja. Na początku akcji i na końcu jest jedna maszyna. Łatwo o faila i cała kampania może przez to nie wyjść.
    Po drugie: Akcje kierowane do Polaków charakteryzują się tym, że w nocy mamy mniejszy traffic. Posiadając mocną maszynę w nocy przepłacamy.

    Obecnie wypracowałem sobie autoscaling dla aplikacji w Amazonie. Kolejne uruchamiają (i wyłączają) się na podstawie monitoringu req/s per serwer. W nocy pracują dwie instancje, w szczycie o godz. 21 kilkanaście. Oszczędności na tym poziomie to ok. 30% ;)(różnice robi cena za pracujące godziny, traffic przecież bez zmian)

  12. Bardzo dobrze że uświadamiacie ludziom, że chmura to nie tylko przestrzeń dyskowa w sieci.

  13. Over Quota

    This application is temporarily over its serving quota. Please try again later.

    Trololololo … piszecie o chmurce a tu benc :) [ostatni obrazek i link pod nim]

    • Ups. Chmura cloudorado nie wytrzymała Efektu Niebezpiecznika ;)

  14. Piotr, sorry, ale to jest bezczelnie marketingowy artykuł. Ze skalowaniem w chmurze ma niewiele wspólnego

    • Takie czasy. Każdy szuka dodatkowych źródeł dopływu gotówki…

    • moze i jest marketingowy, ale pokazuje “debilizm specjalistow” IT w naszym rzadzie ktorzy nie wiedza jak rozlozyc traffic – w prywatnej firmie da sie, w panstwowej instytucji – NIE DA SIE

    • Zen, a nawet gdyby to co? Mają do tego prawo. Póki piszą w miarę na temat to ja nie mam zastrzeżeń. Każdy chce zarobić/zebrać profity. Będziesz miał własną firmę to zrozumiesz :P

    • ja tu marketingu nie dostrzegam , nie da sie pisac o konkretnych rozwiazaniach bez wymiany ich nazw ludzie. co niby ma reklamowac ten tekst? wykop, chmure jako chmure, ecloud24.com? nie wina chlopakow ze wykop wlasnie tego uslugodawce wybral na dostawce backendu. tekst zreszta pokazuje tez inne firmy i zrodla danych mozna sobie samemu poklikac i pewnie jak ktos ma inne potrzeby dobrac swoja chmure. ja sie w kazdym razie nie poczulem namawiany do zakupu niczego ;D a dowiedzialem o cloudorado i bardzo mnie to cieszy :)) a co do skalowania w chmurze to moze @zen napisze pare slow wiecej , nie sadze zeby chlopaki z niebezpiecznika mialy cos przeciwko aby wrzucic taki tekst

    • ecloud24 ciężko nazwać chmurą. Nie obsługuje żadnego API, nie da się tego kontrolować programowo. Wdrażam projekty w chmurach (tych najbardziej popularnych, aws i rackspace) i to jest zupełnie inna bajka. Dodając jeden atrybut w chef-ie wyskalować aplikację do kilku chmur jednocześnie. ec24 ma jedną zaletę: nieograniczony transfer i to rzeczywiście czasami jest zaletą. Technicznie to jest bardziej elastyczny virtual server – szybciej dostępny i z większym zakresem parametrów do zmiany.
      Informacje na temat prawdziwego skalowania w chmurze pojawiły się już w innych komantarzach. Ja od siebie dodam tyle, że gdyby wykop używał moich rozwiązań, to o wzroście ruchu dowiedziałby się z powiadomienia billingowego od swojego dostawcy (aws lub rackspace). Deployment nowego serwera zajmuje około 3-6 minut, łącznie z deploymentem aplikacji, dopięciem do load balancera i monitoringu. Mówimy o dwóch kompletnei różnych rzeczach – tradycyjnym podejściu z nieco bardziej elastycznymi możliwościami konfiguracji (ec24) i całkowicie innym paradygmacie projektowania systemów informatycznych, z ekstremalną automatyzacją (aws/rackspace/openstack, etc). W Polsce drugie podejście raczkuje z powodu braku kompetencji. Na marginesie, większość polskich startapów na początkowych stadiach rozwoju z tego powodu jest do rozłożenai na łopatki po pierwszym artykule na popularniejszym portalu.

  15. “Pierwsza maszyna w chmurze zostaje przekazana do dyspozycji administratorów Wykopu (32 Core / 64 GB RAM + łącze o przepustowości 1Gbit).”

    http://forum.e24cloud.com/topic/lacze-do-serwerow

  16. Artykuł sponsorowany :X

    • A co złego jest w artykułach sponsorowanych?

    • @ Amadeusz – nie ma w tym nic zlego.
      Wchodze na niebezpiecznik, czytam duzo ciekawych artykulow i to jest super :)
      ale tak jak napisal kolega Bartek (2012.05.24 21:27) – chcialbym widziec, ktore artykuly sa ciekawe z zalozenia (jak wiekszosc) a ktore sa pisane ‘w porozumieniu’
      Jesli ten artykul nie przemyca reklamy, to najmocniej przepraszam, mozliwe ze mam paranoje.

  17. 160tys wejść na stronę z formularzem odpalić można na najprostszym dedyku z ovh i uciągnie to za 300zł miesięcznie. Na prawdę nie trzeba tutaj chmury. Mówię jako praktyk.
    Wykop wciąż promuje się tematem ACTA, ale niech nie zapomina, że to nie tylko ten serwis protestował. To była cała sieć i rzesze internautów, a nie tylko ta “klika” nielubiąca JP2.

    • nie masz pojecia o czym mowisz trolu
      a te wyjazdy osobiste to sobie zostaw gdzie indziej

  18. To ja już wolę takie coś poczytać:
    http://www.theregister.co.uk/2012/04/30/inside_pinterest_virtual_data_center/

  19. Pytanie do specjalistów – jako sobie można “zrobić” taką chmurę?

    1) czy te serwery to są maszyny wirtualne (swobodne dodawanie-odejmowanie maszyn/rdzeni/pamięci a’la vmware) czy fizyczne maszyny które włącza i wyłącza się do zasilania?
    2) w związku z pyt 1): na jakim systemie to działa? Serwery fizyczne z zainstalowanymi Win/Linux czy wirtualne odpalane z obrazów różnych systemów?

    Nie żebym planował uruchomić konkurencyjną firmę, zwyczajnie ciekawi mnie problematyka “chmur” od strony technicznej. Kiedyś “multimedia” było słowem-wytrychem, potem “interoperacyjność” a teraz “chmury” jako lekarstwo na wszystkie problemy. Fajnie byłoby wiedzieć jak to naprawdę działa :-)

    • Już sam doszedłem :-) To są zwykłe serwery wirtualne na vmware, cały bajer polega ni mniej ni więcej na podaniu klientowi odpalonej wirtualnej maszyny ze wstępnie skonfigurowanym systemem na wirtualnym dysku.

      Wszytko ładnie, ale z dużej “chmury” mały deszcz. “Offloadowanie” to nic innego jak znalezienie kogoś kto ma maszynę o mocy X, dzięki czemu można wykorzystać moc 0,1X, a jak trzeba to 0,2X a w razie naprawdę parcia na szkło nawet 0,4X :-) Nic w sumie nowego, stara jak świat idea “dobrze jest mieć coś w zapasie”.

      Jedyny praktyczny aspekt to cena usługi – można w miarę potrzeb dopasować moc usługi i płacić tylko za tę moc. 1.5kzł tygodniowo to nie jest dużo, ale czy na dłuższą metę wolałbym mieć własną fizyczną maszynę czy wirtualną – miałbym dylemat.

    • polecam poczytanie sobie tutaj – http://www.stackops.org – darmowa chmura dla kazdego
      chmura jako taka to jest kolejna warstwa po hardwarze, nic wiecej – cos jak poszerzenie-kooperacja kilku maszyn w srodowisku unix/linux
      w skrocie – polaczenie kilku vmware serverow z mozliwoscia wymiany danych/ sytemow “live” pomiedzy nimi
      mozesz sobie na tym zainstalowac co sobie zywcem zamarzysz [ oczywiscie jesli znajdziesz odpowiednie sterowniki, co tez problemem nie jest ]

    • ecloud24 to na 99% nie vmware.
      vmware to tradycyjny dostawca wirtualizacji, z tego taka chmura jak z koziej dupy trąbka. Największe infrastruktury wirtualizacyjne używają open sourcowych hypervisorów, w kolejności wykorzystania Xen i KVM.

    • @Zen- bo cie pacne normalnie, czytaj ze zrozumieniem
      ja wiem ze vmware nie jest chmura, dlatego mu podalem stackopa, gotowe rozwiazanie i w piekny sposob [ z rysunkami ] objasnione wszystko – podobne rozwiazania stosuje Amazon i kilka innych firm
      vmware jest po prostu virtualka – a chmura to polaczenie takich virtualek, o to mi chodzilo

    • oktawave.com oferuje testy usług, a tam mam:

      # lspci | grep VMware -c
      36

      Ale pewnikiem hypervisior na Xen stoi. Jestem ciekaw jakie fizyczne maszyny taką chmurę obsługują.

    • kazda chmura korzysta z roznyc hypervisorow – przyklad stackopa
      chmura to jest dodatkowy poziom softu zaraz za sprzetem ktory pozwala po prostu ” rozwalenie” pracy na kilka roznych systemo/ kompow i tyle

  20. Prośba do autorów:

    Bardzo proszę, nie róbcie słupków 3d w wykresach. Ani to ładne ani czytelne.

  21. Dlaczego nie ma porównania z cennikiem platformy MS Azure?

  22. Wykop na chmurze stoi? Buahahahaha, co za bzdura….

    • Nie stoi, tylko przez chwilę zrobił offload do chmury.

  23. haaalo Panie PK, gdzie te dodatkowe tabelki ? Pozdr:)

  24. No i na ten weekend mogliśmy sobie pooglądać jak ta chmura “działa” w praktyce hi hi.

    http://interaktywnie.com/biznes/newsy/bezpieczenstwo/duze-polskie-serwisy-padly-awaria-serwerow-beyond-23600

  25. Nawet się z tą chmurą poznać nie można ;)

    http://i.imgur.com/9ksyb.png

Twój komentarz

Zamieszczając komentarz akceptujesz regulamin dodawania komentarzy. Przez moderację nie przejdą: wycieczki osobiste, komentarze nie na temat, wulgaryzmy.

RSS dla komentarzy: