Как се прехвърлят по 14 терабайта в секунда до другия край на света? Питайте Google

Когато си най-големият играч в сферата на онлайн търсенето, поточното видео, навигацията и съдържанието за смартфони (сред още много други неща), вероятно на сървърите ти има доста информация. Толкова много, че се измерва в екзабайти - един отговаря на милиард гигабайта.

Големият пазарен дял идва с големи масиви и големи проблеми, както добре разбират в Google. На конференция в Сидни от компанията показаха своя инструмент Effingo, с който на пръв поглед се случва невъзможното - 14 терабайта в секунда стигат от единия до другия край на света. Всяка секунда. Всеки ден.

$2-милиардна инвестиция - Google създава центрове за данни и облачни услуги в Малайзия

Това е поредната, най-нова инициатива от вълната за разширение на водещите технологични компании в региона

Защо е нужно това? Мнозина може би не си дават сметка, но пропускателната способност на мрежите не е неограничена, а таван на скоростта в наши дни поставят законите на физиката, които действат и вътре в оптичния кабел. Просто няма как целият свят да се свързва с един сървър, на който е качен YouTube. Тоест, вероятно може, но времето от началото на подобен експеримент до катастрофалния му край ще се измерва в най-добрия случай в секунди.

Затова Google разчитат на идентични копия на данните, разположени на различни точки по света - възможно най-близо до потребителите. Това само звучи просто.

Прехвърлянето на данни струва скъпо - особено когато трябва да се използват подводни кабели. Освен това не трябва да се нарушава нормалното функциониране на останалите мрежови функции. Това означава, че трансферът на данни трябва да е много стабилен, но и с постоянна оптимизация.

Как Google (отново) ще се опита да победи Excel

Sheets вече ще работи много по-бързо

Решения за автоматизиран трансфер на данни на пазара има много, но както Google отбелязват, те са или оптимизирани само за висока скорост, или не са подходящи за избрания от тях инфраструктурен модел, или просто не са в състояние да се справят с 1,2 екзабайта информация за пренос дневно.

Тук идва ролята на Effingo. Софтуерът работи на клъстери от по хиляди машини. Някои са в един и същи център за данни и са високоскоростна връзка, други са във WAN мрежи през инфраструктура на Google и трети страни. Effingo оптимизира замените мрежови ресурси съобразно важността на задачата - например, товари повече при възстановяване след срив и по-малко при миграция от машини, които предстои да минат профилактика.

Въпреки всичките оптимизации системата натрупва по 8 петабайта "опашка" (1 петабайт = 1 милион гигабайта). Когато най-тежките задачи се изпълняват, тя нараства с още 12 петабайта и 9 млн. файла.