Large 2 – tak nazywa się nowy model LLM stworzony przez Mistral i będący odpowiedzią na ostatnie modele od Meta i OpenAI. Co ciekawe, premiera Large 2 odbyła się zaledwie dzień po tym, jak Meta wypuściła swój najnowszy i najlepszy model open source, Llama 3.1 405B. Jak twierdzą przedstawiciele Mistral, Large 2 ma dorównywać rozwiązaniom OpenAI i Meta pod względem generowania kodu, matematyki i rozumowania. Na dowód tej śmiałej tezy przytaczają kilka testów porównawczych. Oto kilka kluczowych charakterystyk, które pomogą Wam lepiej poznać Large 2.
Rozmiar i parametry
Mistral Large 2 oferuje 123 miliardy parametrów. Taki wzrost rozmiaru modelu w porównaniu do jego poprzedników ma przekładać się bezpośrednio na zwiększenie możliwości rozumowania i poprawę wydajności w szerokim zakresie zadań.
Kontekstowe okno
Jedną z ważniejsych cech Mistral Large 2 ma być rozszerzone okno kontekstowe. Obejmuje ono 128 000 tokenów. Ten rozszerzony kontekst ma pozwalać modelowi przetwarzać i rozumieć zauważalnie większe fragmenty tekstu niż konkurencja. Dlatego jego twórcy rekomendują go do zadań obejmujących długie dokumenty lub złożone, wieloobrotowe rozmowy.
Czytaj także: Metawersum już tu jest. I to dobra informacja dla lokalnych firm
Możliwości wielojęzyczne
Mistral Large 2 obsługuje 11 języków, w tym angielski, francuski, niemiecki, hiszpański, włoski, chiński, japoński, koreański, portugalski, holenderski oraz – co szczególnie dla nas ważne – polski. Dzięki temu model ma wyróżniać się wszechstronnością w zastosowaniach globalnych i zadaniach wielojęzycznych.
Obsługa języków programowania
Model został przeszkolony w zakresie szerokiej gamy języków programowania, obejmującej ponad 80 różnych języków kodowania: Python, Java i JavaScript, a także bardziej wyspecjalizowane języki, takie jak Swift i Fortran.
Mistral Large 2 jest dostępny do użytku w Google Vertex AI, Amazon Bedrock, Azure AI Studio i IBM watsonx.ai. Nowego modelu można również używać na platformie La Plateforme firmy Mistral pod nazwą „mistral-large-2407” i przetestować go za darmo na konkurencyjnym ChatGPT startupu, Le Chat.
Walka z halucynacjami
W komunikacie prasowym zespół Mistral twierdzi, że jednym z kluczowych obszarów szkolenia modelu było zminimalizowanie problemów z halucynacjami. Large 2 ma ponoć udzielać „bardziej wnikliwych” odpowiedzi. I jeśli czegoś nie, to się po prostu do tego przyzna, zamiast brnąć w mniej lub bardziej prawdopodobne wyjaśnienia.
Czytaj także: Będą cienko śpiewać? Największe wytwórnie muzyczne pozywają startupy AI ws. praw autorskich
Large 2 oraz inne modele Mistral, podobnie jak większość innych, nie są open source w tradycyjnym sensie. Każde komercyjne zastosowanie modelu wymaga płatnej licencji.
Z kronikarskiego (i inwestycyjnego) obowiązku dodajmy jeszcze, że paryski startup AI zebrał niedawno 640 milionów dolarów w rundzie B, prowadzonej przez General Catalyst. Sama spółka jest wyceniana na 6 miliardów dolarów.
Bankructwo zagląda w oczy OpenAI?
Dla wielu z Was to może być szokująca informacja. W ciągu 12 najbliższych miesięcy OpenAI może znaleźć się na skraju bankructwa w ciągu 12 miesięcy, z prognozami 5 miliardów dolarów strat. Gigant, który dał światu ChataGPT, zdawał się być kurą znoszącą złote jajka. Tymczasem serwis The Information donosi, że OpenAI „może być na skraju bankructwa, a prognozy wskazują, że może zabraknąć mu gotówki w ciągu najbliższych 12 miesięcy”.
SCOOP: OpenAI may lose $5B this year & may run out of cash in 12 months, unless they raise more $, per analysis @theinformation.
Investors should ask: What is their moat? Unique tech? What is their route in profitability when Meta is giving away similar tech for free? Do they… pic.twitter.com/i5EkvEFEQd
— Gary Marcus (@GaryMarcus) July 24, 2024
Według raportu Appfigures, uruchomienie GPT-4o doprowadziło do „największego w historii” wzrostu przychodów i pobrań ChatGPT OpenAI na urządzenia mobilne. Generuje to do 2 miliardów dolarów rocznie z ChatGPT i dodatkowy miliard dolarów z opłat za dostęp do LLM. W przybliżeniu przekłada się to na przychód w wysokości od 3,5 do 4,5 miliarda dolarów rocznie.
Czytaj także: ChatGPT promuje fałszywy przekaz o Holokauście, Google Bard generuje zmyślone cytaty świadków Zagłady: GenAI zagraża historycznej pamięci
To jednak z trudem wystarcza na pokrycie kosztów operacyjnych firmy. Przypomnijmy, że OpenAI ma za sobą siedem rund finansowania, które przyniosły jej 11 miliardów dolarów. Sama spółka wyceniana jest na 80 miliardów dolarów. W tym kontekście trzeba też dodać, że OpenAI działa prawie na pełnych obrotach: ChatGPT wykorzystuje już 290 000 z 350 000 serwerów postawionych dla tego asystenta AI.
