Тази видеокарта струва $40 000. Всички искат да я имат

Скъпият специализиран хардуер за големи изчислителни центрове обикновено има съдбата на всяко друго топ оборудване - малки серии, които отиват при взискателните клиенти без много шум. При графичния ускорител Nvidia H100 положението е напълно наопаки - може да струва 40 000 долара бройката, но компанията не може да смогне с поръчките от целия свят за него.

Причината - това е най-добрата видеокарта за трениране на AI модели. А днес няма сериозна IT компания, която да не прави нещо, свързано с изкуствения интелект... нали?

Вложени 10 000 лева в тази компания преди 10 години щяха да ви направят милионери

Технологичната компания отбеляза забележителен растеж

Контекст: ChatGPT, MidJourney и всички техни двойници разчитат на предварително тренирани AI модели, минали през огромно количество текстове, изображения и т.н. Това е задача, която неотдавна изглеждаше твърдо на територията на суперкомпютрите, но днес е постижима и с малко по-достъпен хардуер.

Ключова обаче е ролята на видеокартите - те са оптимизирани за огромно количество паралелни операции и така правят генеративния изкуствен интелект възможен.

Nvidia A100 от 2020 г., се смята за сървърната видеокарта, направила AI революцията възможна. A100 е най-малко два пъти по-мощна от тогавашния актуален върхов потребителски модел. Nvidia даже се наложи да направят за Китай специален модел с лимитирани възможности, за да не нарушават наложените от САЩ ограничения върху износа на специализирани чипове.

Nvidia направи специален AI чип за Китай, поръчките са за $5 млрд.

Графичният ускорител заобикаля забраните, наложени от Вашингтон

H100 е 9 пъти по-бърза от това при задачи, свързани с обучение на AI модели. Иначе казано, това е най-мощният графичен ускорител, чието съществуване е официално потвърдено.

Детайли: Някои от най-големите купувачи на H100 са Microsoft и Google - двете компании са в истинска "надпревара във въоръжаването" по темата с изкуствения интелект, като през последните месеци го интегрираха в на практика всички свои продукти и услуги.

Държави като ОАЕ и Саудитска Арабия също "пазаруват на едро" - за свои собствени AI проекти.

Първата компания за производство на чипове, оценена на над $1 трилион

Тя се нареди до технологични гиганти като Apple, Alphabet, Microsoft и Amazon

Производителите на сървъри се налага да чакат по половин година, за да получат поръчаните чипове, пише Quartz. Именно трудният достъп до графичните ускорители е и в основата на плана на Илон Мъск Tesla да си построи суперкомпютър на име Dojo на стойност 1 млрд. долара и на него да се извършват различни свързани с автономните автомобили AI задачи - Nvidia просто не могат да му доставят достатъчно бройки H100.

Цифром и словом: Учени от Вашингтонския университет и Университета на Сидни са направили приблизителна сметка колко струват на компаниите големите езикови модели. Ако, например, Google използват GPT-3 модела (по-слаб от този даже на безплатната версия на ChatGPT) за своите 99 000 търсения в секунда, ще им трябват 2,7 млрд. видеокарти Nvidia A100. Може да е стар модел, но пак ще струва 40 млрд. долара.

И тук не слагаме сметката за ток. И нуждата от ядрен реактор, който да го осигури - 2,7 млрд. видеокарти A100 (всяка от които харчи по 400W) биха имали обща консумация над 1 гигават.

AI увеличи двойно богатството на милиардер от световния Топ 50

Акциите на компанията му в момента са най-добрите в S&P 500

Очевидно решението не е АЕЦ в центъра за данни (макар и подобни варианти да са възможни), а чип, който има по-висока производителност при същата консумация на ток. Така на сцената се появява Nvidia H100, но освен това Amazon и Google работят по свои собствени архитектури - Tranium и Tensor Processing Unit.

Докато те наберат скорост, обаче, Nvidia определено ще се чувстват като притежатели на печатница за пари.