1. Mistral готові кинути виклик OpenAI?

Французи з Mistral AI представили свою нову LLM — Mistral Large, яка конкуруватиме з топами індустрії. Розробники кажуть, що їхня модель посідає друге місце після GPT-4 і перевершує всі інші моделі за ключовими бенчмарками. Large вміє розуміти текст, генерувати код і працює п'ятьма мовами — англійською, французькою, іспанською, німецькою та італійською «з тонким розумінням граматики та культурного контексту».
Контекстне вікно — 32к токенів. 

Також компанія випустила Mistral Small, яка <за обіцянками> працює краще та швидше за Mixtral 8x7B. Затестити нові LLM можна в Le Chat <спойлер — дійсно дуже ок>. 

Стартап також оголосив про стратегічне партнерство з Microsoft — тепер моделі Mistral доступні на платформі Azure, а гігант інвестував $16 млн, отримавши невелику частку в стартапі. 

Компанія, якої ще рік тому навіть не існувало, вже кидає виклик OpenAI та робить кращі AI-моделі на рівні Meta, Google, Amazon й інших гравців. Реліз Mistral Large, Le Chat і стратегічне партнерство з Microsoft — все це виглядає, як кілька кроків до вершини. 

Коментар Олексія: Mistral AI — молодчинки. Щиро кажучи, при ціні лише трохи нижчій від GPT-4, я не бачу достатньо мотивації переводити вже наявні продукти на Mistral Large. Але для нових продуктів точно розглядатиму їхні моделі. Як мінімум, щоб підтримати конкуренцію :)

Сподіваюся також, що Mistral AI продовжать гарну традицію публікувати ваги своїх моделей під м’якими ліцензіями. Бо саме за це ми їх любимо найбільше.

P.S. Хоч офіційно і не заявлено, але модель притомно розуміє та пише українською.

2. Привітайте Claude 3! 

Anthropic зарелізили три нових моделі Claude 3 — Opus <найпродуктивніша, обходить GPT-4 за популярними бенчмарками, доступна за підпискою>, Sonnet <баланс продуктивності та витрат, безоплатна, доступна тут> і Haiku <найлегша та найшвидша, обіцяють майже моментальні відповіді, але поки недоступна>. 

У компанії стверджують, що Claude 3 працює в два рази краще за 2.1 + всі моделі вміють в математику, написання коду, міркування, мультимодальність <так, Claude навчився «бачити» зображення> тощо. Контекстне вікно — 200к, з часом можливе розширення до 1 млн. 

Anthropic точно кидають виклик OpenAI. Коли там новий GPT?

Пейпер тут.

Коментар Олексія: Ого-го, бенчмарки виглядають круто. Маємо реальну заявку на трон!

Приємно спостерігати, як мультимодальність та довгий контекст стають нормою та відкривають нові застосування. Наприклад, написання блог-посту на основі відео записів лекцій стало майже тривіальною задачею.

3. Text-to-games замовляли?

Google DeepMind випустили Genie — AI-модель, яка навчилася на відео і тепер може генерувати ігрові 2D-світи за текстовим описом, фотографіями, синтетичними зображеннями та скетчами. Відтворюються ці світи поки не дуже швидко (лише один кадр в секунду), але революційним є сам факт — модель «домальовує» ігровий світ на основі дій гравця. 

Genie складається з просторово-часового токенізатора відео, моделі авторегресійної динаміки та моделі латентної дії. Це дозволяє вибудовувати покадрову взаємодію у створених середовищах без попередньо визначених міток дій, натомість вибудовуючи можливі дії з власне відеоданих. Варто зазначити, що Genie недоступна для всіх, а використовувати її можуть лише в дослідницьких цілях. Поки що. 

Насправді Genie — це не тільки про ігри. Це крок вперед щодо можливостей і навчання AI та взаємодії у віртуальних середовищах. Ця модель може допомогти в навчанні AI-агентів і роботів — наприклад, останні також зможуть все більш ефективно навчатися на відео. 

Пейпер тут.

Коментар Олексія: Дивує, скільки всього може робити модель в 11 мільярдів параметрів — розмір, який у світі NLP вважається середнім, якщо не маленьким. І ще вражає, який шлях пройшла індустрія за неповних 10 років: від керування агентом у простих Atari-іграх до генерації ігрових світів з настільки складною графікою.

4. Figure збирає технологічні зливки

Figure AI — стартап, який розробляє людиноподібних роботів, флагманським продуктом якого має стати робот Figure 0, що призначений для виконання небезпечних робіт. Самого робота поки ще нема, зате є демо, в якому він тягає контейнери без допомоги людей. 

Компанія залучила вже $675 млн при оцінці у $2.6 млрд. Серед інвесторів — OpenAI, Джефф Безос, Amazon, Microsoft, Nvidia, Intel, Samsung і багато інших відомих компаній та фондів. 

Цікаво, що колись в OpenAI навіть роздумували над придбанням Figure AI. Але Альтман з колегами вчасно зрозуміли, що величезний робо-напрям їхня команда не потягне. Зараз компанії співпрацюють — Figure AI отримає доступ до AI-моделей OpenAI для подальшого розвитку своїх розробок.

Що ще нового у світі AI:

🧑‍💻Останні дні багаті на хороші новини для розробників: 

• GitHub запустив Copilot Enterprise, інструмент для написання коду, вартістю $39 на місяць. Тул можна інтегрувати з внутрішнім кодом та базою знань компанії, щоб отримувати точніші відповіді. В майбутньому буде доступне ще тонше налаштування з використанням власних репозиторіїв коду, оптимізуючи інструмент під конкретні мови або бібліотеки.
• Hugging Face разом з ServiceNow та Nvidia випустили сімейство <3, 7, 15 млрд параметрів> AI-моделей StarCoder 2, які можуть працювати на більшості відеокарт. StarCoder 2 навчали на ~619 мовах програмування, завдяки чому розробники обіцяють значно кращу продуктивність у порівнянні з першою версією. 
• Phind-70B — нова AI-модель, яка генерує код на рівні GPT-4 Turbo, перевершує модель від OpenAI за деякими іншими задачами та є менш «лінивою», працюючи в чотири рази швидше. Спробувати можна тут. 

🖼Stability AI випустила Stable Diffusion 3. Кажуть, що це їхня найпотужніша модель зі значно покращеною продуктивністю, якістю зображень, роботою з текстом і загальним розумінням промптів. Є кілька версій, від 800 млн до 8 млрд параметрів. Поки що модель у попередньому доступі — вейтліст тут, пейпер тут, вижимка з пейперу тут. 

💻Copilot для Microsoft тепер допомагає оптимізувати ще більшу кількість повсякденних задач — можна попросити AI-асистента очистити корзину, включити економрежим батареї чи прибрати зайвий предмет з фотографії. Крім того, Microsoft випустила Copilot for Finance, який оптимізує роботу фінансових відділів <можете порадувати колег> й інтегрується в інші продукти компанії на кшталт Dynamics 365 чи Outlook і Excel. В майбутньому компанія планує створювати копайлоти для інших бізнес-напрямів на кшталт маркетингу та логістики — інтеграція AI відбувається повним ходом. 

🗣ChatGPT тепер вміє зачитувати свої відповіді 37 мовами <українська теж є>. Для цього треба натиснути кнопку Read Aloud, яка є під кожною відповіддю. 

👺Чекали на бій Ілона Маска і Марка Цукерберга в клітці? Доведеться почекати, бо Маск знайшов собі іншого суперника — він подав в суд на OpenAI, звинувативши компанію та Сема Альтмана в тому, що ті відмовилися від основної місії компанії — приносити користь людству, промінявши її на прибутки. В OpenAI звинувачення відкинули, зазначивши, що Маск — лицемір, який і сам хотів зробити компанію for-profit, об’єднавши її з Tesla або отримавши над нею повний контроль. Погодьтеся, є щось іронічне в усій цій ситуації. 

🕸Планується, що Llama 3 від Meta вийде в липні. Вона буде вдвічі більшою за v2 <найбільша версія v3 може мати понад 140 млрд параметрів> і сягне рівня GPT-4. Одна з проблем, яку хочуть пофіксити в Meta, — неякісні відповіді <або їхня відсутність> на будь-які контроверсійні питання. Поки невідомо, чи буде Llama 3 мультимодальною і працювати з зображеннями, адже дослідники ще не почали файнтьюнити модель. 

🧠Чат-бот шведської фінтех компанії Klarna працює за 700 людей, яких скоротили минулого року — у 2024 році він принесе додаткові $40 млн прибутку. Середній час розв'язання задач скоротився з 11 до 2 хвилин, при цьому бот доступний 24/7 і може спілкуватися 35+ мовами. Через такі успіхи технології компанія заморозила найм, особливо на неінженерні посади. 

🎨Google планує перевипустити AI-генератор зображень у Gemini протягом наступних «кількох тижнів». Нещодавно компанії довелось відключити його через те, що Gemini генерував історично неточні зображення на кшталт чорношкірих нацистів і відмовлявся зображувати білих людей, посилаючись на занепокоєння щодо стереотипів. 

🎷Стартап Suno AI, який працює над створенням музики з тексту, відкрив доступ до альфа-версії своєї моделі V3 для платних підписників. Демо демонструє значні покращення у V3 в порівнянні з другою версією їхньої моделі, яка вже зараз генерує доволі непогані треки. На ринок також пробує зайти Adobe, яка показала демо свого музичного AI-генератора Project Music GenAI Control.

🐲Китайський стартап Moonshot AI залучив $1 млрд у раунді фінансування від Alibaba та інших інвесторів. Це — найбільший раунд, який підняли китайські стартапи з моменту випуску ChatGPT у листопаді 2022 року. В жовтні минулого року Moonshot запустила чат-бот Kimi Chat, який працює на базі LLM Moonshot, здатної обробляти до 200 тим. китайських ієрогліфів у контекстному вікні.

🇨🇳 Новий AI-чіп Ascend 910B від Huawei працює на рівні чи краще топового графічного процесора A100 від Nvidia. Попри санкції США, спрямовані на обмеження діяльності компанії у сфері напівпровідників, Huawei активно розширює свої операції з виробництва чіпів і співпрацює з китайськими постачальниками. 

⚖️OpenAI звинуватила New York Times у використанні «оманливих підказок», щоб змусити ChatGPT копіювати їхні статті у своїх відповідях, після чого NYT подали на компанію в суд. Медіа парирувало, що своїми діями там хотіли знайти докази порушення авторських прав. Але на цьому проблеми не закінчились, адже в кінці лютого в суд проти OpenAI окремі позови подали The Intercept, Raw Story й AlterNet — вони звинувачують компанію, що та спеціально видаляла авторів, назви медіа та іншу інформацію про авторські права під час навчання своїх AI-моделей. 

Цікаве з мережі:

AI та туман війни

Пентагон активно вивчає можливості використання LLM-ок у воєнних цілях — американські військові впевнені, що AI буде справжнім геймченджером, який забезпечить значну перевагу над ворогом. Наприклад, Дослідницька лабораторія армії США вивчає, чи може ChatGPT покращити планування бою: поки що використовуючи його лише в Starcraft II. Але насправді цей напрям просунувся вже набагато далі за відеоігри. 

Американські посадовці та військові активно працюють з лідерами галузі та технологічними компаніями, збираючи інформацію про потенційні варіанти використання AI. Це може буде узагальнення розвідданих, розробка сценаріїв військових ігор і навіть прийняття рішень в реальному часі. Одна з головних проблем станом на зараз — галюцинації, а тому на повноцінну інтеграцію AI-систем піде ще багато часу. 

Попри це, штучний інтелект вже активно допомагає воювати. Наприклад, американські військові використовували алгоритми машинного навчання для визначення понад 85 цілей для авіаударів на Близькому Сході 2 лютого 2024 року. AI-системи аналізували знімки з дронів і супутників, щоб виявити потенційні цілі, як-от пускові установки, ракети, безпілотники та об'єкти бойовиків в Іраку, Сирії та Ємені. Всі цілі перевіряли люди, які й приймали остаточні рішення по кожній з них; технічний спеціаліст Центрального командування Збройних сил США підкреслив, що «ніколи не існує алгоритму, який просто запускається, робить висновок і переходить до наступного кроку». Перевірка людиною відбувалася на кожному етапі, пов'язаному зі штучним інтелектом.

Перші військові AI-системи були розроблені в межах проєкту Maven, який запустили у 2017. Не без скандалів — у 2018 році тисячі співробітників Google публічно закликали компанію відмовитись від розробок військових технологій і вийти з проєкту. Компанія вийшла, але зрештою все одно продовжила працювати з військовими — але це вже інша історія. Перші результати ж Maven були не дуже обнадійливими. 

Військові поступово вдосконалювали свою модель. До відео додались дані з радіолокаційних систем й інфрачервоних датчиків, які дали змогу AI «бачити» крізь хмари, дощ і темряву. Maven навчився аналізувати невізуальну інформацію, відслідковуючи перехресні посилання геоміток з систем спостереження, стрічок соцмереж та IP-адрес. Роль системи виросла від простого виявлення об'єктів до автоматизації 4 з 6 етапів у циклі прийняття рішень 18-го повітрянодесантного корпусу щодо застосування сили. Але останнє слово залишається за людиною.

Після початку повномасштабного вторгнення рф до України інженери 18-ки передислокувалися до гарнізону в Німеччині. Люди, знайомі з операціями, анонімно розповіли, що США передавали Україні інформацію про розташування російської техніки, зібрану за допомогою Maven. Ця співпраця вигідна й Пентагону, адже український досвід допомагає їм покращувати роботу програми. Так протягом перших 10 місяців, відколи Maven працювала в Україні, вона отримала понад 50 оновлень. 

Минулого року проєкт Maven перейшов до Національного агентства геопросторової розвідки (NGA), який спеціалізується на аналізі карт і зображень. Це допомогло Maven здійснити технологічний стрибок у точності роботи та інтеграції даних. 

Проте система все ще неідеальна: точність роботи Maven становить близько 60% у хороших умовах і падає до 30% під час снігу/зливи чи інших важких погодних умов <ефективність людей-аналітиків 18-ки становить 84%>. Водночас є занепокоєння щодо потенційних кібератак чи «отруєння» навчальних даних. Звичайно є й етичні питання щодо точності роботи алгоритмів — одна справа сплутати військовий корабель з хвилею, коли випущена ракета впаде в море; інша — сплутати будинок з цивільними та військову техніку. 

Військові зазначають, що головна перевага від AI станом на зараз — це швидкість обробки інформації, завдяки чому люди можуть ухвалювати важливі рішення ще ефективніше. «Це не Термінатор. Машини не приймають рішень, вони не повстануть і не захоплять світ», — каже полковник Джозеф О'Каллаген, координатор вогневої підтримки та керівник з розвитку AI-систем 18-го повітрянодесантного корпусу. Але багато військових впевнені — вже незабаром ми побачимо війну машин і роботів. 

До речі, почитати, як ЗСУ використовують AI-дрони на війні проти рф можна тут. 

Чи зможе хтось кинути виклик Nvidia?

Компанія Nvidia вже давно створює так звані графічні процесори, або GPU, які спочатку розроблялися для рендерингу зображень у відеоіграх. Але 10 років тому дослідники зрозуміли, що ці чіпи також добре підходять для побудови нейронних мереж.

Бум генеративного ШІ за останній рік показав, наскільки залежними від Nvidia стали великі технологічні компанії. Будувати власні AI-моделі та продукти без спеціальних чіпів, які створюють у Nvidia банально неможливо, а тому компанія зараз фактично продає лопати та кірки для золотошукачів, отримуючи мільярдні прибутки. Наприклад, близько чверті продажів Nvidia за останні два повних квартали — це замовлення від Microsoft і Meta. Попит настільки великий, що зараз Nvidia банально не встигає його закривати.

За минулий рік Nvidia продала близько 2,5 млн чіпів; на компанію припадає понад 70% продажів AI-чіпів; Ще більшою є частка компанії в постачанні різних систем, що використовуються для створення генеративних AI-моделей; загальні продажі компанії зросли на 206%, а ринкова вартість збільшилася приблизно на трильйон доларів.

Тож найбільші tech-компанії (зокрема Amazon, Google, Meta та Microsoft) працюють над створенням власних AI-чіпів. Минулого року в Google витратили від $2 до $3 млрд на створення близько мільйона власних AI-чіпів. Amazon витратила близько $200 млн на 100 тисяч чіпів, а Microsoft заявила, що вже почала тестувати перші AI-чіпи власного виробництва. Не забуваймо також про OpenAI та Сема Альтмана, який зараз активно фандрейзить, щоб створити глобальну мережу заводів із виробництва напівпровідників. Але навіть попри величезні інвестиції, всі ці компанії зараз дуже залежні від Nvidia.

Поки великі технологічні компанії заходять у бізнес Nvidia, вона заходить у їхній. Минулого року Nvidia запустила власний хмарний сервіс, де компанії можуть використовувати її чіпи. Паралельно компанія інвестує в нові хмарні провайдери на кшталт CoreWeave, які конкурують із великою трійкою: Amazon, Google та Microsoft.

До 2027-го ринок AI-чіпів зросте більш ніж удвічі, приблизно до $140 млрд. Так на ринку також є і інші великі гравці типу AMD та Intel, а також стартапи <наприклад, Cerebras, Tenstorrent, SambaNova, d-Matrix, Etched, Extropic>, але технологічні гіганти можуть робити те, що не під силу меншим конкурентам.

Фішка Nvidia в тому, що саме їхні чіпи стали базою, основою, на яких побудовані більшість програмних систем, що використовувалися для навчання AI-моделей. Експерти відзначають, що просто взяти й почати використовувати інші чіпи — не така проста задача. Переписати програмний код для використання нового чіпа настільки довго, складно та дорого, що більшість компаній навіть не намагаються це зробити.

Саме це станом на зараз є одним із найбільших викликів для індустрії — зробити так, щоб компанії могли без проблем переходити на інші чіпи.

Найбільшу фору нині має Google. Компанія розробила свій тензорний процесор, або T.P.U <tensor processing unit>, які вона використовувала, наприклад, для розробки чат-бота Bard. Amazon зараз працює над другим поколінням свого AI-чіпа Trainium. Microsoft анонсувала свій перший AI-чіп Maia в листопаді. А от Meta поки лише планує подібні розробки <прим. — наприкінці минулого тижня з’явилась інформація про AI-чіпи Artemis від Meta>.

<Тепер вже> конкуренти Nvidia використовували свої інвестиції у відомі AI-стартапи, щоб стимулювати використання своїх чіпів. Найбільш відомі кейси — співпраця Microsoft і OpenAI; Google та Anthropic. До речі, є цікава історія і про Anthropic — це одна з небагатьох AI-компаній, яка використовує різноманітні чіпи. Теоретично це допоможе розробляти чіпи майбутнього, знизити їхню вартість та підвищити продуктивність, — заявляють в Amazon.

Але жодна із цих компаній не наздожене Nvidia в найближчій перспективі. Її чіпи можуть бути дорогими, але є одними з найшвидших на ринку — і з часом ставатимуть усе кращими.

Дякуємо, що дочитали! 

Не забудьте порадити наш дайджест своїм знайомим, яким цікава тема AI/ML. А усі побажання, питання та поради для покращення ньюзлеттеру можна традиційно залишити за посиланням 🙂

Ви отримали цей лист, тому що підписані на
email-розсилку від AI HOUSE. Відписатися від розсилки.