Trumpova večera s direktorom Anthropica i otvoreni modeli na Vercelu

Pentagon je početkom godine Anthropic proglasio sigurnosnim rizikom. Sad je Donald Trump pozvao njegova direktora Darija Amodeija na večeru. Za to vrijeme na Vercelu otvoreni modeli obrađuju 56 % AI tokena. Večera je zanimljiva. Brojka bi mogla biti važnija.

Jedna vijest govori o politici, druga o tome tko će pokretati AI koji svakodnevno koristimo. Mene više zanima ova druga.

Trump ugostio Darija Amodeija nakon mjeseci javnog sukoba

Pentagon je htio koristiti Anthropicov Claude za masovni nadzor i autonomno oružje. Anthropic je odbio. Pentagon ga je potom proglasio rizikom za opskrbni lanac. Prilično brz put od mogućeg dobavljača do problema.

Trump je vodstvo Anthropica javno nazvao ljevičarskim luđacima. Nakon takve razmjene riječi, večera s Amodeijem nije baš očekivan sljedeći korak. Ali politika rijetko pita za redoslijed.

Ne znamo o čemu su razgovarali. Sve ostalo bilo bi pogađanje, a toga u vijestima o AI-ju već imamo dovoljno.

Poznato je gdje se razilaze. Anthropic traži granice za neke primjene AI-ja. Trumpova administracija želi manje kočnica za razvoj. Večera sama po sebi ne mijenja ni jedno ni drugo.

Prema izvještajima o ranijem susretu, najveći prijepor ostala je primjena AI-ja u oružju. Anthropic smatra da današnji modeli nisu dovoljno pouzdani za samostalno odlučivanje o primjeni sile. Tu mi se oprez čini razumnim.

Model može zvučati potpuno sigurno i svejedno pogriješiti. Kod prijedloga teksta to je neugodno. Kod izbora mete posljedice se ne mogu popraviti novom verzijom odgovora.

Australija je u međuvremenu pozvala Amodeija i Sama Altmana iz OpenAI-ja na saslušanje u Senatu. Dolazak nije obvezan. Zasad je zato važnije samo pitanje koje im žele postaviti nego nagađanje hoće li kupiti avionske karte.

Za tvrtke koje koriste njihove modele ovo nije samo politička drama. Odnos s državom može utjecati na to gdje dobavljač posluje, kakve ugovore sklapa i koje zahtjeve odbija.

Ako cijeli sustav ovisi o jednom modelu, promjena cijene ili pravila korištenja postaje vaš problem. To nije uzbudljiva tema za naslovnicu. Jest za čovjeka koji mora održavati sustav u ponedjeljak ujutro.

Zato bih već sada provjerio koliko je teško prijeći na drugi model. Ne očekujem da će Anthropic nestati. Jednostavno je lakše pripremiti rezervnu opciju dok vam još ne treba.

Na Vercelu otvoreni modeli obrađuju 56 % AI tokena

Vercel je platforma na kojoj razvojni timovi objavljuju web aplikacije. Prema podacima iz ove vijesti, otvoreni modeli sada obrađuju 56 % AI tokena na njegovoj platformi. Takav model možete preuzeti i pokretati na vlastitoj infrastrukturi, uz uvjete njegove licence.

Prije godinu dana otvorene su modele mnogi gledali kao zanimljiv pokus. Danas se na platformi poput Vercela preko njih obrađuje većina AI tokena. To ne dokazuje da su najbolji za svaki zadatak, ali pokazuje da ih više nije lako otpisati.

Predstavljen je i model koji se može preuzeti i komercijalno koristiti. Njegova verzija u oblaku, prema navedenoj cijeni, stoji oko 40 centi za milijun tokena. Navodi se i brzina do 2.000 tokena u sekundi. Impresivno, ali brzina nije isto što i kvaliteta odgovora.

Razlika je i u uvjetima korištenja. Neki zatvoreni pružatelji ograničavaju korištenje svojih modela za razvoj drugih modela. Kod otvorenog modela pravila ovise o konkretnoj licenci. Prije preuzimanja zato vrijedi pročitati sitna slova, koliko god to kvarilo romantičnu sliku otvorenosti.

Kad samo jedan model dovoljno dobro rješava zadatak, cijena je sporedna. Kad ih ima nekoliko, cijena odjednom postaje vrlo zanimljiva. Tu otvoreni modeli dobivaju prostor.

Mnogi poslovni zadaci ne traže najjači model na tržištu. AI može izdvojiti podatke iz poruke, razvrstati upit ili pripremiti nacrt odgovora koji će netko provjeriti. Za takve poslove vrijedi isprobati i jeftiniju opciju.

Bitno je izmjeriti koliko često griješi baš na vašem zadatku. Lijepa tablica rezultata na tuđem testu neće odgovoriti na to pitanje.

Ako trošak AI-ja počne rasti, prvo bih postavio zadatak s modelom koji daje pouzdan rezultat. Zatim bih isti skup primjera dao jeftinijim modelima i usporedio izlaze. Bez takve provjere birate prema dojmu.

• Pripremite stvarne primjere zadatka i točne odgovore s kojima ćete uspoređivati modele.
• Iste primjere pokrenite na skupljem i jeftinijem modelu.
• Zapišite razliku u pogreškama, vremenu i cijeni.
• Odlučite je li ušteda vrijedna dodatnih pogrešaka za taj konkretan posao.

Prije testa odredite koliko pogrešaka posao može podnijeti. Pogrešno razvrstan marketinški upit možete lako ispraviti. Kod osjetljivih podataka ili važnih odluka prag mora biti mnogo stroži.

Ako sustav obrađuje zdravstvene podatke, pogreška može imati ozbiljne posljedice. Tamo bih tražio ljudsku provjeru i prije svega jasno odredio što AI uopće smije odlučiti.

Ako mjesečno trošite tek nekoliko desetaka eura, nema smisla potrošiti tjedan dana da biste prepolovili taj račun. Prvo provjerite radi li proces. Tek zatim optimizirajte cijenu modela. Isto vrijedi kad planirate AI agenta za svoj tim.

Ako je mjesečni račun već velik, test se isplati. Otvoreni model možda može preuzeti rutinske zadatke, a skuplji ostati za teže slučajeve. Koliki će biti taj udio, pokazat će vaši podaci, ne tuđa reklama.

Što iz toga slijedi

Večera s Trumpom podsjeća da AI tvrtke ovise i o političkim odlukama. Vercelova brojka pokazuje da postoji sve više uporabljivih alternativa. Zajedno su dobar razlog da provjerite koliko ste vezani uz jednog dobavljača.

Mislim da ćemo sve češće raspravljati o tome tko smije koristiti koji model i pod kojim uvjetima. Broj bodova na testu izgleda uredno u objavi za medije. Ugovori, licence i politika odlučuju što zapravo možete pokrenuti.

A kad je riječ o oružju, tu bih povukao jasnu crtu: model ne bi smio samostalno odlučivati o meti. Za takvu odluku nije dovoljno da je dobro riješio test.