Tajemnice serwerów

Moja znajoma myślała, że serwerownia w Krakowie to nowa knajpa.
Rozmawiałem kiedyś z kolegami, że można by stworzyć knajpę "Serwerownia" i podawać drinki między starymi serwerami. Myślę, że w Krakowie ten pomysł mógłby wypalić, bo jeszcze nie ma takiego miejsca.

A co to jest tak naprawdę?
Definicji jest dużo, ale krótko mówiąc to centrum przetwarzania danych. To miejsce kluczowe dla większości przedsiębiorstw w których znajdują się ich najważniejsze dane . Serwerownie mają różne wymiary i rozmiary. W małych firmach to niewielki pokój z kilkoma komputerami, a w dużych przedsiębiorstwach, zwłaszcza związanych z biznesem internetowym, jak Onet - duże dedykowane do tego celu budynki na tysiące urządzeń. Serwerownie gigantów - jak Google, IBM, Microsoft - to ogromne hangary. Google na przykład mieści w nich około miliona serwerów.

Ile ma ich Onet?
W naszej nowej serwerowi maksymalnie możemy ich pomieścić pięć tysięcy. Obecnie mamy około 2300 urządzeń.

Co to właściwie jest ten serwer?
Komputer. Tyle że o wysokiej wydajności i większej niż normalny niezawodności. Nie ma swojej klawiatury i monitora. Zarządzany jest zewnętrznie przez kabel sieciowy. Umieszcza się go w specjalnej szafie.

W szafie?
Owszem. Serwerów jest na tyle dużo, że ustawianie ich na podłodze byłoby nieracjonalne. Zajęłyby zbyt dużo miejsca.

A do czego serwer służy?
Serwer ma swój procesor i pamięć, wiele różnych interfejsów i kartę sieciową, co pozwala mu na wykonywanie różnych obliczeń i udostępnianie ich wyników na zewnątrz. W przypadku serwerów internetowych obliczenia te służą do pokazywania stron www użytkownikom portalu.

Wasza serwerownia jest duża?
W naszej części Europy tak. Porównując do tych na świecie - średnia.

A wszystkie to takie ładne budynki?
Wręcz przeciwnie. To zwykle betonowe bryły. Mało która firma dba o ich walory architektoniczne, bo to dodatkowe koszty. Nasza serwerownia znajduje się w prestiżowej lokalizacji w Krakowie i zależało nam, żeby nie był to przeciętny budynek techniczny, tylko miejsce z charakterem o porządnej architekturze.

Wasze serwery pracują w wyśmienitych warunkach, w lepszych niż ludzie w niejednym biurze. Mają na przykład dwa rodzaje klimatyzacji. To bardzo wymagające urządzenia.
To prawda. Ludzie w serwerowniach często zakładają polary, gdy na zewnątrz są upały gdyż dłuższe przebywanie dostają kończy się katarem albo anginą. Odpowiednia temperatura, od 16 do 30 stopni Celsjusza, to podstawa, żeby serwery dobrze działały. Te urządzenia wytwarzają ciepło, a jest ich na tyle dużo w jednym miejscu, że ilość powietrza w pomieszczeniu nie wystarcza, by je schłodzić. W domu mamy jeden, dwa komputery i nie ma tego problemu.
Ale między rzędami szaf z serwerami jest zimno i ciepło na przemian.
Serwery z jednej strony zasysają powietrze, a z drugiej je wypychają. Stąd strefy ciepłe i zimne. W zimnych nadmuchiwane jest zimne powietrze, komputery je zasysają, chłodząc swoje urządzenia wewnętrzne elementy, a oddają na zewnątrz ogrzane właśnie do strefy ciepłej. Stąd klimatyzacja odbiera to ciepło do swojego obiegu i przez agregat chłodniczy na dachu zamienia je na zimne powietrze.

Czego jeszcze serwer potrzebuje?
Zasilania dobrej jakości. Prąd musi być podawany bez przerw o dobrych parmetrach napięcia i częstotliwości. Niektóre urządzenia z zanikami prądu radzą sobie całkiem nieźle - czajnik, kuchenka, telewizor - włączą się i wyłączą. Komputery słabiej - gdy zabraknie prądu, dane zapisane w pamięciach lub dyskach mogą zostać utracone. Takie doświadczenia ma większość posiadaczy komputerów. Gdy serwerów jest dwa tysiące - te straty mogą być bardzo duże.

Co robicie, żeby mieć "dobry prąd"?
Za to odpowiada infrastruktura elektryczna serwerowni. Mamy zainstalowane UPS-y, czyli zasilacze bezpieczeństwa z zewnętrznymi bateriami, które utrzymują zasilanie, gdy napięcie zanika na kilkanaście sekund. To coś analogicznego do baterii w laptopie. Baterie mogą jednak działać tylko przez określony czas. Dlatego stosujemy agregaty prądowtwórcze, czyli silniki diesla. Gdy zabraknie prądu z elektrowni - one go produkują.

Jak długo?
Ponad dobę.

A gdy nadal nie ma prądu?
Trzeba przywieźć cysterną oleju napędowego i zatankować agregaty.

Co, gdy wybuchnie pożar?
W dobrze utrzymywanej serwerowi to mało prawdopodobne. Jedynym źródłem powstania pożaru może być prąd, płynący przewodami, które mogą się tlić dodatkowo możliwe są zapalenia zasilaczy w serwerach. Nowoczesne systemy antypożarowe są bardzo czułe - za pomocą laserowego czytnika wykrywają cząstki dymu, które są większe od cząstek powietrza i alarmują w odpowiednim momencie. Gdyby ten system nie zadziałał lub ludzie nie zareagowaliby na jego sygnały, są też konwencjonalne czujki, jak w zwykłych biurach. Jeśli włączą się dwie czujki w dwóch różnych obiegach, rozpoczyna się gaszenie gazem obojętnym.

Czyli straż pożarna nie jest potrzebna?
Nie, ale jeśli zaszłaby już taka konieczność, nie ma mowy o gaszeniu wodą. Trzeba by zastosować specjalne gaśnice proszkowe. Taka akcja gaśnicza podowdowałaby jednak ogromne straty finansowe w sprzęcie.

Ile kosztuje jeden serwer?
Od dziesięciu do pięciuset tysięcy złotych. Infrastruktura w naszej serwerowi to kilkanaście milionów złotych.
Jakie urządzenia poza serwerami tam działają?
Switche i routery, które umożliwiają komunikację serwerów między sobą i z siecią internetową, oraz macierze dyskowe, na których można przechowywać dane, na przykład zdjęcia, pliki wideomaile, załączniki. Dane te dodatkowo są przechowywane w robotach taśmowych.

Czy musieliście kiedykolwiek zastosować plan awaryjny?
Tak, w czasie ostatniej powodzi. Akurat nie w serwerowi na Ruczaju, gdyż jest ona położona na wzniesieniu, w miejscu niedostępnym dla wody, lecz w naszej drugiej serwerowi. Musieliśmy zabezpieczyć część sprzętu przed zalaniem. Strony Onetu działały jednak normalnie, właśnie dlatego, że mamy drugą serwerownię. Prowadzenie biznesu w oparciu o jedno centrum danych jest bardzo niebezpieczne.

Ile standardowo mają ich duże firmy?
Dwa albo trzy. Pary są bardzo dobre, bo dają możliwość udostępniania usług, gdy jedna serwerownia ma awarię. Te najczęściej spowodowane są błędem ludzkim a nie zdarzeniami losowymi. Dwie serwerownie są jednak stosunkowo drogie, bo w obu muszą być utrzymywane identyczne infrastruktury techniczne. Gdy jedną się wyłączy - działa druga. Dlatego lepszą są trójkąty. Jeśli infrastruktura informatyczna umożliwia pracę w dwóch serwerowniach z trzech, to tylko jedna trzecia sprzętu jest zapasem. Tym bardziej, że trzy serwerownie można lokować w dalekich odległościach od siebie - światowi giganci informatyczni umieszczają je na różnych kontynentach, a nawet płytach tektonicznych. My działamy w polskich warunkach i nie jest to konieczne, ale jeśli zbudujemy trzecią serwerownię, to już poza Krakowem. Nasza serwerownia na Ruczaju składa się z trzech niezależnych komór serwerowych. To daje dużą niezawodność przy zdarzeniach losowych albo w razie, gdy błąd popełni człowiek.

A gdy wysiądzie jeden maleńki serwer?
Nie ma to żadnego wpływu na nasze usługi. Wymieniamy go i po sprawie.

Serwerownia Onetu łączy się z internetem poprzez łącza o przepustowości kilkudziesięciu gigabitów. Jak wygląda takie łącze?
Łącze to po prostu kabel światłowodowy w odpowiedni sposób zakończony. Kiedyś był to zestaw miedzianych kabli, służących do transmisji danych. Nadal można je wykorzystywać, jednak ich przepustowości są ograniczone, dlatego teraz korzysta się ze światłowodów, czyli kabli optycznych, wykonanych z bardzo cienkiego szkła. Kable te znajdują się pod ziemią w kanalizacji teletechnicznej. Sygnał, który nimi biegnie to światło, generowane i odbierane przez lasery, umieszczone w routerach. W ten sposób dane z urządzeń w Onecie docierają do urządzeń operatorów internetu, np. TP SA, UPC czy Netii, a z nich do komputerów w naszych domach.

Ta serwerownia to drogi interes. Komputery pobierają tyle prądu, że starczyłoby dla 11 tys. domów jednorodzinnych, sama budowa kosztowała 70 mln zł. Czy ta inwestycja była Wam potrzebna? Wcześniej radziliście sobie świetnie bez niej.
To nam się opłacało. Sami z niej korzystamy i wynajmujemy ją też zewnętrznym firmom.

Serwerownia jest bardzo dobrze zabezpieczona. Wejść tam mogą tylko wybrańcy, którzy znają kody. Macie tam mnóstwo kamer, czytniki linii papilarnych, śluzowe drzwi.
Tego wymaga bezpieczeństwo danych. To nie jest standardowy budynek, lecz centrum przetwarzania danych, kluczowych dla firmy. Bez nich firma nie istnieje.
To dlaczego Pan odpowiada na moje pytania, skoro to wszystko takie tajne i strzeżone?
W gruncie rzeczy to, o czym mówię, to rzeczy oczywiste dla specjalistów, którzy wiedza, jak działają serwerownie. Szczegóły technologiczne pozostają naszą tajemnicą. Nie jesteśmy bankiem ani zakładem zbrojeniowym, lecz firmą medialną. Nie wszystko musi być top secret. Nie jest to jednak miejsce, do którego wchodzi się z ulicy. Wpuszczamy tylko określone osoby.

Ilu ludzi pracuje w tym potężnym budynku?
Kilkanaście osób Pracują na trzy zmiany, więc zawsze jest tam kilka osób.

To wystarczy, żeby obsłużyć tyle specjalistycznych urządzeń?
Tak, bo infrastruktura jest dobrze zarządzana.

Pan jest szefem pionu utrzymania portalu w tym serwerowni. Jak się czymś takim zarządza?
Bardzo przyjemnie, choć wymaga to dużo czasu, cierpliwości i kosztuje sporo stresu. Zarządzam bardziej ludźmi niż sprzętem. Pracownicy, którzy czuwają nad pracą systemów informatycznych i serwerów na miejscu mają odpowiednie umiejętności i doświadczenie. Oni bardzo dobrze wiedzą, co należy na bieżąco robić. Moje zadania polegają raczej na myśleniu taktycznym i strategicznym - co planujemy na jutro, żeby biznes lepiej się kręcił, a użytkownikom Onetu łatwiej i przyjemniej korzystało się z naszych uslug. Oczywiście zajmuję się również wszystkimi codziennymi bolączkami, które się zdarzają. A więc odbieram raporty o awariach i odpowiednio na nie reaguję. W tak dużych strukturach sprawne zarządzanie polega właśnie na umiejętnym radzeniu sobie z awariami, tak, żeby były nieodczuwalne dla naszych użytkowników i klientów.

Czy potrafiłby Pan zastąpić każdego swojego podwładnego w serwerowi?
Nie każdego. Specjalizacja pracy jest na tyle duża, że to niemożliwe. Zaczynałem pracę w Onecie jako administrator systemów, więc są pracownicy techniczni, których mógłbym zastąpić. Jednak w serwerowi pracują wysokiej klasy specjaliści, więc ktoś, kto nie wykonuje tego typu zadań od kilku lat, ma małe szanse na zastąpienie kogoś ad hoc. Ścieżka menedżerska jaka wybrałem to zupełnie inne wyzwania.

Skąd Pan dowodzi swoją załogą?
Pionem IT Operations można sprawnie zarządzać, dlatego, że pracownicy są podzieleni na kilka grup, czyli linii wsparcia. Trochę jak w filmie "Apollo 13". Ludzie na pierwszej linii wsparcia zajmują się bieżącym monitoringiem, wykonują bardzo dużo prostych czynności, ci na drugiej - specjalizują się w pewnych fragmentach zadań, zaś osoby na trzeciej linii to już eksperci w wąskich dziedzinach, którzy rozwiązują najtrudniejsze awarie i problemy. W serwerowi pracuje pierwsza linia wsparcia - ludzie, którzy usuwają zdecydowaną większość awarii w podstawowym zakresie. Tam znajduje się centrum dowodzenia z 50 monitorami. To tak zwane "oko na portal", bo pracuje tam ludzie który przez 24 godziny na dobę analizują jak on działa. Ja swoje biuro mam w siedzibie Onetu, gdzie pracuje druga i trzecia linia wsparcia IT. W serwerowni bywam co jakiś czas.

CV

Wojciech Ehrenfeld

Absolwent Politechniki Krakowskiej. Karierę zaczynał w Telewizji Wisła jako administrator systemów. Od 1999 r. związany jest z Grupą Onet. Od 2008 r. - dyrektor Pionu IT Operations - zarządza specjalistami odpowiedzialnymi za pracę serwisów portalu Onet.pl, infrastruktury IT oraz serwerowni. Mieszka w Krakowie, wychował się w Oświęcimiu. Ma wspaniałą rodzinę: żonę i dójkę dzieci (Olga i Łukasz). Stara sięspędzać z nimi każdą wolną chwilę. Pasjonuje się narciarstwem, żeglarstwem i muzyką.