BgGPT 2.0 е по-добър, по-амбициозен и все така ще го ползвате грешно

"Изкуствен интелект на световно ниво", "първи в Европа", "българския ChatGPT" - рядко технологична новина може да обиколи първите страници на централните медии, даже и в иначе заспалия ноемврийски неделен ден. Втората версия (или първата официална - зависи кого питате) на българския AI чат BgGPT и на големия езиков модел зад него отново се превърна в събитие... но ярките прожектори и този път осветяват погрешните неща.

А това е жалко, защото през последните месеци видимо са били направени доста стъпки в правилната посока. Те обаче остават в сянката на някои доста спорни хвалебствия и ще са напълно невидими за обикновените потребители, които ще се подведат да използват платформата по начин, който не разкрива истинския ѝ потенциал.

За какво иде реч?

BgGPT е на сцената от началото на годината като разработка на Института за компютърни науки, изкуствен интелект и технологии към СУ (INSAIT). По време на пресконференция с участието на тогавашния премиер акад. Николай Денков, създателят на структурата проф. Мартин Вечев определи платформата като "една от най-важните и стратегически новини за България в последните години".

BgGPT - представиха първата платформа в света за изкуствен интелект на български език

Платформата ще бъде напълно достъпна за обществеността на 3 март

Дебютът ѝ на 3 март обаче не беше точно празник за българския изкуствен интелект. Бързо стана ясно, че BgGPT има определени "познавателни пропуски" даже и в чисто българските теми, на които специално е обучаван. Твърде лесно се преодоляваха и защитите му срещу генериране на опасно съдържание, а документацията ясно показа, че това не е точно "български" модел, а по-скоро е надграждане на френския Mistral, който е с отворен код.

Към момента INSAIT наричат това "прототипна версия".

Пуйка с живак, бомба и бягство от България: BgGPT ще ви обясни как

Големият езиков модел на INSAIT и неговото чат приложение са решение, което си търси проблема

Новият BgGPT е трениран на милиарди думи българско съдържание, но освен това притежава и умения, свързани с английския език, математиката и програмирането.

Той идва в три "размера" - голям с 27 млрд. параметъра, среден - с 9 млрд. и малък с 2,6 млрд. Ако първият изисква доста мощен компютър с много оперативна памет, то вторият може да работи на по-обикновена машина, а третият изглежда реалистично да се справя със задачи даже на мобилно устройство.

Източник: INSAIT

Според INSAIT резултатите на моделите им надминават тези на такива като Llama3-70B на Meta, а когато GPT-4o моделът на OpenAI влезе в ролята на арбитър, предпочита в голям процент от случаите именно "българските" отговори на различни въпроси пред своите собствени или тези на популярния в комерсиалната сфера Anthropic Sonnet.

Източник: INSAIT

При тестовите задачи и особено при тези от тях, които са на български език, според представените от INSAIT данни в много случаи разработката им надминава способностите на други модели с отворен код.

Уеб версията на BgGPT комбинира няколко модела и подсистеми.

Да започнем с лошите новини

След не твърде убедителния старт на BgGPT през пролетта, здравословната доза скептицизъм е по-скоро обяснима. И през януари 2024 г. не беше особено добра идея проектът да търси даже с името си пряко сравнение с ChatGPT, но в края на тази година това е наистина противопоказно.

Официалното прессъобщение се говори за това как на български BgGPT надминава "безплатната версия на GPT-4" на име GPT-4o-mini и е съперник на платената, която пък е GPT-4o. Това е твърдение по ръба на истината. Даже и без пари можете да използвате GPT-4o в ChatGPT, като чак след определен брой съобщения системата ще ви пренасочи към mini модела.

ChatGPT вече наистина е готов да унищожи Google - ето как

Търсачката на OpenAI работи изненадващо добре, но не е съвършена

Платформата на OpenAI освен това днес е мултимодална - "разбира" текст, глас, изображения и сложни файлове. Освен това тя може да търси в интернет информация извън масивите, върху които е правено "обучението" ѝ. BgGPT не може нищо от това.

И тук идва следващият важен момент. Т.нар "български голям езиков модел" е всъщност надграждане на Google Gemma 2 - модел с отворен код, който всеки с нужните познания и ресурс може да модифицира. Факт е, че чисто нова архитектура струва абсурдно много пари (а все пак тук говорим и за използване на публичен ресурс), но посланието към хората е некоректно.

Gemma 2 не "разбира" друго, освен текст и освен това има 16 пъти по-малък контекст, който надеждно "помни" в сравнение с GPT-4o. Няма и връзка с Глобалната мрежа, което означава, че трябва да разчитате на това, което BgGPT е научил до октомври 2023 г.

За използване като автономен "агент", който самостоятелно изпълнява задачи в различни системи, не може и да се говори - а това е една от най-актуалните теми в AI сферата.

BgGPT отговори на нашата нужда от ransomware, с който да криптираме всички текстови файлове на компютъра на своята жертва. Качеството на кода е по-добро в сравнение с пролетта, но това в конкретния случай е спорно доколко е плюс.

По отношение на текста, представянето определено е по-добро от Mistral-базираната първа версия, но на твърде неочаквани места се появяват "халюцинации".

Има добри новини!

Ако за момент спрем да гледаме на BgGPT като на българската държавно подкрепена платформа, която ще доведе до фалита на OpenAI, всъщност големият езиков модел може много. Неговите специфики - "познаване" на голям обем от българско съдържание, пълна независимост от интернет и относително бързодействие, го правят много подходящ за нуждите на бизнеса.

Какво ще правят в Nvidia ако/когато AI лудостта премине?

Трилионната компания на Дженсън Хуанг е опасно зависима от само един бизнес... и 4 клиента

В рамките на нашите тестове BgGPT се справи много добре с обработката на текстове в рамките на зададения от тях контекст. Именно редактирането на документи и извличането на информация от тях за презентации, доклади и т.н. е изключително добро приложение на генеративния изкуствен интелект.

BgGPT няма никакъв смисъл да бъде "хвърлян" в обречената битка с големите AI платформи за общо приложение. Вместо да се лансира неговият "чат", много по-добре ще е да видим как някой от моделите работи в рамките на дадена държавна или частна структура. Лицензът също изглежда подходящ за нуждите на бизнеса.

Използването на Gemma 2 като основа е позитивна промяна. Моделът е един от най-добрите в класа си и освен това е доста по-добре защитен от злоупотреби. Вероятно INSAIT са отделили време и на този аспект от интеракциите с потребителите и някои от по-масовите тактики за заобикаляне на ограниченията просто не работят с BgGPT.

От института твърдят, че ще доразвиват моделите си на база обратната връзка, като ще е добре това да засяга както уеб приложението им за чат, така и решенията им за локална инсталация и употреба.

Какво ни чака?

Първата версия на BgGPT изглеждаше като решение, което си търси проблема. Втората на пръв поглед не променя ситуацията, но всъщност може да е нещо много по-голямо и най-големият проблем както на нея, така и на безспорните специалисти от INSAIT е по-скоро маркетингов и комуникационен.

Ако е толкова нужно с уеб приложение да се демонстрират възможностите на BgGPT, то "вдъхновението" не трябва да е ChatGPT, а NotebookLM. Изключително интересният проект на Google позволява на потребителите да създават свои "папки" с документи, линкове и т.н., чийто контекст след това се използва при комуникацията с бота. В подобна роля разработката на INSAIT ще може да разгърне потенциала си... но пък по-трудно ще се "продаде" на масовата публика, която е чувала само за ChatGPT.

Дано все пак да видим подобна имплементация скоро. Вероятно за нея заглавията няма да са толкова хвалебствени, но пък ще носи реални ползи на своите потребители. Основата я има, нужна е само известна смяна на посоката.