We are in the process of migrating this forum. A new space will be available soon. We are sorry for the inconvenience.

BHS tinklas


oles@ovh.net
05-26-2012, 09:12 PM
Sveiki,

Šiek tiek papasakojau apie pastatą, elektros tinklą, patalpas ir beta testavimui skirtus serverius, o „kas naujo“ kalbant apie BHS tinklą?

Reikalai juda į priekį. Ir kiekvieną savaitę vis geriau!

Šiuo metu turime 3 poras šviesolaidinio pluošto tarp mūsų BHS duomenų centro ir Monrealio. Mes juos patys valdome, jau įjungti 2 pluoštai po 80 Gbps. Nusprendėme susikurti savo pagrindinį POP Monrealyje, Cologix 3 pastate (anksčiau Canix 3). Turime kelias spintas, 2 maršrutizatorius ir vieną*"nedidelės" 60 Gbps spartos jungtį su Niujorku/Torontu/Londonu. Įdomu tai, jog Monrealio/Londono jungtis neina tiesiogiai per JAV, bet per Kanadą.

Turėdami šį tinklą galime atlikti alpha ir beta testavimą. Mes, žinoma, jį plėtosime ir toliau, kad sujungimas su Monrealiu būtų nepriekaištingas.

Tuo pat metu vystome itin didelio pajėgumo ir aukšto pasiekiamumo tinklą tarp:

- BHS ir Niujorko (apeinant Monrealį);
- BHS ir Čikagos (apeinant Monrealį).

Mūsų tikslas – kuo labiau sumažinti vėlinimą (nesijungiant per Monrealį) ir valdyti itin didelio pajėgumo perduodamų duomenų srautą tarp mūsų BHS duomenų centro ir 2 pagrindinių POP JAV: Niujorko (NY) ir Čikagos (IL).

Mūsų siūloma pridėtinė vertė – tinklas ir perduodamų duomenų srauto kokybė. Mes užtikriname šios paslaugos teikimą, kadangi Europoje perkame tamsųjį šviesolaidį, renkamės įrangą, kad įjungtume šviesolaidį, ir patys valdome savo tinklą.

Savo sėkmingą verslo modelį Europoje norime pakartoti ir JAV, todėl mums būtina tiesiogiai valdyti šviesolaidinį tinklą.

Tačiau tai nėra paprarsta. Kodėl? Kadangi vietos operatoriai nelabai nori parduoti šviesolaidį ir perduoti jo valdymą mums. Jie pageidauja patys valdyti šviesolaidinį tinklą ir mums parduoti valdomas paslaugas. Žinoma, susiduriame su verslo modelio (ir kainos) problema, be to, su šia prieiga mes negalime pasinaudoti technologinėmis inovacijomis (pvz., 100G nuoseklia jungtimi), o ką jau kalbėti apie mūsų klientus.

Taip susiklostė, kad vietos operatoriai neparduoda ir neperka šviesolaidinio pluošto, bet jį keičia santykiu "1 metras: 1 metras". Taigi reikia investuoti į savo tinklą (spręsti techninius klausimus, atlikti išsamius tyrimus) ir tik po to siūlyti šviesolaidį mainais, keičiant mus dominančius*"gabalus" į tuos, kurie gali sudominti kitus operatorius. Laimei, mainai dar ne viskas..


O tinklas?

Artimiausiu metu pasirašysime sutartį dėl šviesolaidinio pluošto poros tarp Monrealio ir Niujorko (per Albany) su operatoriumi, pageidaujančiu su mumis bendradarbiauti. Taip galėsime įjungti nuosavą 100G tinklą nuosekliai ir sujungti mūsų duomenų centrą su Niujorku, iš pradžių esant 1 Tbps perduodamų duomenų srautui. Tinklas turėtų būti veikiantis rugpjūčio/rugsėjo mėn.

Tuo pat metu bendraujame su operatoriumi kitame (dubliuotame) maršrute tarp Monrealio ir Niujorko. Kol kas tai diskusija, bet po 2-3 savaičių pagaliau galėsime kalbėti apie tinklą, pradėsiantį veikti rugsėjo mėn. Siekiame turėti du maršrutus ir dubliuoti tinklą.


Kaip dubliuojamas tinklas?

Siekiant užtikrinti nenutrūkstamumą, vienas iš sprendimų - paimti vieno maršruto 10G tinklą ir kito maršruto 10G tinklą. Vėliau viską apjungti maršrutizatoriuose. Naudojant OSPF/BGP maršrutizavimo protokolą, maršrutizatorius naudos tik*UP pažymėtą maršrutą, o jeigu maršrutas pažymėtas DOWN, maršrutizatorius perskaičiuos naudotiną maršrutą.

Šio sprendimo problema ta, kad visa tai veikia labai gerai nedideliuose 50-100G tinkluose, tačiau pradžiai mums reikia 1 Tbps, o ilganiniui prireiks 8 Tbps. Sujungti 1 Tbps perdudamų duomenų srautą realiu laiku reiškia sujungti 2 Tbps pajėgumo. Vadinasi, 200x 10G vietoj 100x 10G. Tai labai brangus sprendimas, kadangi kiekvienas 10G sujungimas ir kiekvienas 10G maršrutizatoriaus prievadas kainuoja labai brangiai. Tačiau po to, itin greitai apsiribojama maršrutizatoriaus prievadų skaičiumi. Galiausiai turime daugybę maršrutozatorių ir sudėtingai valdomą backbone.

O mums reikia paprasto ir nebrangiai kainuojančio backbone.

Mes pageidaujame įgyvendinti sprendimą, kuris mums leistų naudoti 2 šviesolaidinio tinklo maršrutus ir atlikti Failover šviesolaidžio lygmenyje, bet ne IP maršrutizatoriuose. 1-ame, o ne 3-ame lygmenyje. Kitaip sakant, 100x 10G turi būti pajungti prie maršrutizatorių, visada pažymėtų UP, o žemiau esančioje šviesolaidžio sistemoje turi būti naudojamas vienas ar kitas šviesiolaidionio tinklo maršrutas. Tai vadinama "apsaugotais tinklais", o su 100G nuoseklia jungtimi šis sprendimas tampa labiau prieinamas. *

Todėl būtina patiems valdyti šviesolaidinį tinklą. Visa šviesolaidžio įranga 2 maršrutuose turi būti to paties prekės ženklo ir suderinta tarpusavio komunikacijai. Tam, kad gedimo atveju šviesolaidžio maršrutą būtų galima pakeisti į < 200ms.

Tęsiame apie tinklą.

Visą laiką Monrealyje/Niujorke kalbamės apie 3-ąjį maršrutą su operatoriumi, turinčiu šviesolaidinį tinklą Kanados ir Albany (NY) pasienyje, ir su kitu operatoriumi, turičiu šviesolaidinį tinklą tarp Albany (NY) ir Niujorko (NY). Taigi 3 pasirinkimas. Atsižvelgiant į tai, kad mums reikia tik 2, siekiant užtikrinti 100 % SLA (Service Level Agreement), mums viskas tinka.

Kitame Monrealio gale, Toronte, viskas sudėtingiau, net jeigu šiuo metu vyksta derybos. Iš tikrųjų, įstatymuose reikalaujama, kad siekiant būti operatoriumi Kanadoje, reikia, kad operatorius gautų 80% pajamų iš Kanados gyventojų. Šiuo metu veikia 4-5 stambūs operatoriai, mažai konkurencijos, todėl mažai naujų investicijų. Paskutinės investicijos buvo 1999-2001 metais. Nuo to laiko operatoriai naudoja šviesolaidinį tinklą ir jį laiko sau.

Tačiau mums vis tiek pavyko užmegzti pokalbį ir pastumti mūsų projektą į priekį. Iš pradžių pavyko susitarti su susidomėjusiu operatoriumiu dėl šviesolaidinio tinklo tarp Monrealio ir Toronto per Otavą. Mes dar neturime tikslaus grafiko, kadangi mus domina ne Torontas, o Čikaga (IL).


Tarp Toronto ir Čikagos (IL) du maršrutai:
-per Bufalą (NJ);
-per Detroitą (MI).

Ir čia viskas daug sudėtingiau. Maršrute tarp Toronto ir Detroito (MI), taip pat Detroito (MI) ir Čikagos (IL) veikia trys operatoriai, turintys šviesolaidinį tinklą, tas pats tarp Bufalo (NJ) ir Čikagos (IL). Bet derybos sudėtingos. Tas pats Toronto – Bufalo (NL) maršrute. Kodėl?

Mes patenkame į maršrutus tarp 3 biržų: Niujorko, Toronto, Čikagos. Šie maršrutai labai trumpi ir tiesūs, "mažas vėlinimas", maršrutai naudojami HFT (High-Frequency Trading), t.y. itin sparčiai vykstančiai prekybai. Serverių užsakymai tvirtinami biržoje, kad būtų spekuliuojama kitais pateiktais užsakymais. Tikslas yra skaičiuoti užsakymus ir juos tvirtinti anksčiau už kitus, pasipelnyti iš trumpalaikio biržų skirtumo ir užsidirbti. Kai kurios įmonės pasirengusios mokėti tūkstančius dolerių, kad laimėtų kelias ns (taip, ns, o ne ms), ir pateikti užsakymus biržose anksčiau nei konkurentai, kad galėtų spekuliuoti biržoje. Šioje vietoje labai sudėtinga derėtis dėl*tamsiojo šviesolaidžio šiuose maršrutuose, kadangi tai labai brangiai kainuoja, o vietos operatoriai tikrai nenori matyti naujų konkurentų (kad galėtų ir toliau užsidirbti biržose). Taigi, yra problemų, ypač tarp Toronto ir JAV.

Todėl šiuo metu kalbamės su daugeliu operatorių, kad kartu pastatytume naują tinklą tarp Monrealio ir Toronto, per A20, vietoj to, kad eitume per Otavą. Net jeigu tai yra dviejų metų trukmės projektas, tai labai įdomu, kadangi mus dominantis tinklas bus trumpesnis ir spartesnis. Be to, tinklas bus dubliuojamas su tinklu, einančiu per Otavą. Taip pat galėsime atlikti keitimus.


O po Niujorko ir Čikagos?

Kai tik būsime Niujorke (NY) ir Čikagoje (IL), mums bus kiek paprasčiau derėtis dėl šviesolaidžio. Net jeigu operatoriai perperka ir perkasi tamsiojo šviesolaidžio rinką (siūlydami valdomas paslaugas), yra ir operatorių, kuriems tamsusis šviesolaidis yra pagrindinis, netgi unikalus, verslas. Taigi turime šviesolaidinį pluoštą tarp Niujorko (NY) ir Ashburn (VA) ir Čikagos (IL). Taip pat turėsime šviesolaidinį pluoštą tarp Ashburn (VA), Atlantos (GA) ir Majamio (FL). Kodėl Majamis? Majamis – tai labai svarbus jungties taškas, kadangi visi Pietų Amerikos operatoriai (iš Brazilijos, Argentinos ir t.t.) vyksta į Majami, kur ieško tinklo sujungimo ir srauto apsikeitimo taškų.

Kodėl šviesolaidinis tinklas Majamyje? Su 100G nuoseklia jungimi įmanoma pastumti šviesolaidžio signalą 3500 km atstumu, jo negeneruojant iš naujo. Šiuo metu mūsų Europoje naudojamos 10G technologijos tai leidžia padaryti tik 700 km atstumu. Mes norime tik sugeneruoti signalą Monrealyje ir jį pastumti iki Majamio, negeneruojant signalo iš naujo. Išvengiant nereikialingų išlaidų ir mažinant vėlinimą. Tikra inovacija telecom pasaulyje, ypač JAV, kur atstumai siekia 7500 km (šviesolaidinio tinklo atstumas). Iš naujo sugeneruoti šviesiolaidinio 10G tinklo signalą kas 700 km, arba 10x, ar pakartotinai sugeneruoti 100G šviesolaidinio tinklo signalą kas 3500 km, arba 2x, tai 10x daugiau perduodamų duomenų srauto, kainuojančio 5x pigiau. Poveikis perduodamų duomenų srauto kainai yra tiesioginis: 50x pigiau. Arba už tą pačią kainą 50x daugiau perduodamų duomenų srauto. Labai įdomu.



O kaip gi mūsų tinklas?

Pageidaujame, kad mūsų POP Vakarinėje dalyje pasiektų didelio perduodamų duomenų srauto pajėgumo*Los Andžele (CA) ir Palo Alto (CA). Dviejuose POP yra visi operatoriai iš Azijos (Japonjos, Kinijos, Singapūro) ir Australijos. Mes ten galėsime plėsti savo šviesolaidinį tinklą, kai Čikagos (IL) POP bus tiesiogiai sujungtas su BHS. Kol kas tai bus 10G tinklas.



O jeigu ne?

Priešingu atveju, turime daugybę 10G tinklo pasiūlymų skirtingiems maršrutams. 10G standartinio tinklo pasiūlymai, kaip ir pasiūlymai mums suteikti valdomo tinklo paslaugas. Tai brangiai kainuoja, bet tai veikia, ir mums įdomu turėti šią žaidimo kortą.

Pagaliau pageidaujame turėti tokį tinklą JAV:
http://yfrog.com/z/h0l8uahj

Ir nieko kito.

Taigi. Tinklo formavimas niekada nebuvo paprastas. Jeigu tai būtų taip paprasta, tai darytų visi. Jeigu viskas būtų taip paprasta, neturėtume jokios pridėtinės vertės. Jeigu nebūtų buvę iššūkio šiam projektui, mes jo nebūtume įgyvendinę. Trumpai tariant, mes ieškojome sunkumų ir iššūkių, ir galime pasakyti, kad juos radome.

Atsižvelgiant į 6 mėn. trukmės diskusijas, ir į tai, jog kiekvieną savaitę gauname gerų naujienų, mes žinome, kad mums pavyks garantuoti klientams didelio pajėgumo perduodamų duomenų srautą, paslaugos teikimo nenutrūkstamumą (100% SLA) bei kuo labiau sumažinti vėlinimą.

Draugiški linkėjimai,
Octave