En ny era av AI-infrastruktur

Rapporten pekar på ett avgörande skifte i techvärlden: framväxten av mjukvaru- och infrastrukturbolag som bygger nästa generation av AI-tjänster och -lösningar, helt oberoende av techjättarna. Det här innebär en grundläggande förändring i hur vi driver utveckling och användning av AI. Och det är spännande att hålla koll på.

Viktiga innovationer pågår i flera delar av AI-stacken:

1. Modellager, ett drivhus för innovation

Modellager är på väg att bli alltmer dynamiska och konkurrenskraftiga. Det görs snabba framsteg i hur tekniken kan skalas upp, i arkitekturen för språkmodeller, och med specialiserade grundmodeller för olika användningsområden. Det öppnar nya möjligheter för AI-användande i olika branscher.  

Nya och avancerade modeller, framför allt stora språkmodeller (LLM), presterar extremt bra i olika tester där de använder offentliga data. De blir alltmer effektiva att använda för komplexa och svåra uppgifter. Ett exempel är modeller för vården, som Med-PaLM – en modell som utvecklats och tränats av Google för att kunna ge precisa svar av hög kvalitet på medicinska frågor. Otroligt häftigt.

2. Beräkningslagret, förflytta gränserna

Innovation inom beräkningslagret, där vi räknar in hårdvara som GPU/TPU men också specialanpassade kretsar, operativsystem och AI-modeller i molnet, siktar på att lösa avgörande flaskhalsar i träningen, integreringen och inferensen hos AI-modeller. Intressanta tekniker som mekanismer för self-attention och optimering av KV cache förbättrar effektiviteten rejält, och minskar minnesanvändningen i beräkningslagret.

Evan Morikawa, som leder OpenAI och ChatGPTs team för applied enginering, pratade tidigare i år om utmaningarna med att skala upp språkmodeller och beräkningslager. Han nämnde specifikt hur mekanismer för self-attention och optimering av KV cache användes för att göra ChatGPT mer effektivt.

Tekniker för self-attention hjälper språkmodeller att analysera meningar och förstå vilka ord som är viktiga och hur de förhåller sig till varandra, vilket förbättrar modellens förmåga att ge relevanta svar. Samtidigt fungerar optimering av KV cache som ett snabbt referensminne för språkmodellen, vilket gör att den kan spara tidigare beräknad data i minnet och undvika upprepade beräkningar för vissa uppgifter och frågor.  

3. Förändringen av datastruktur

Eftersom data är själva livsnerven för AI och generativ AI, GAI, så skapar AI-revolutionen stora förändringar i hela datastrukturen. Traditionell infrastruktur för data omdefinieras för att hantera belastningen från AI, och prognosen är att mängden ostrukturerade data kommer att öka explosionsartat till runt 612 zettabyte år 2030. Det språnget kommer att kräva nya verktygskedjor för data och lagring. Aktörer som Weaviate och Databricks arbetar snabbt för att möta behoven.

4. Framväxten av startups som är inbyggda och AI-native

En ny våg av start-ups dyker upp som bygger system med AI-språkmodeller i kärnan, eller som förbättrar befintliga funktioner med AI-teknik. Trenden tydliggör vilka begränsningar som finns i den nuvarande datainfrastrukturen och verktygen, och att de ännu inte har anpassats till användning inom AI. Det driver efterfrågan på AI-specifika verktyg som möjliggör framtida strategier inom datahantering.

5. Orkestrering, ryggraden i AI-utveckling

Företag som jobbar med orkestrering, såsom Langchain och LlamaIndex, blir viktiga aktörer när det gäller leverans och applikationsutveckling inom AI. De erbjuder ramverk som förenklar utvecklingen av AI-inbäddad mjukvara genom att plocka bort en stor del av den underliggande komplexiteten. 

HiQs perspektiv – styr rätt i AI-infrastrukturen

Rapporten från Bessemer Venture Partners är en av de mest djupgående roadmaps om AI-infrastruktur som skrivits. Det är svårt att förutspå hur infrastrukturen för AI kommer att se ut om tre–fyra år, men rapporten ger en hel del insikter i vart vi är på väg. Här är vår syn på vad företag kan vänta sig framåt:

1. Molnbaserade grundmodeller dominerar

Vi tror att grundmodeller som nyttjar toppmoderna GPU-kluster kommer fortsätta att öka i prestanda och kapacitet. De flesta organisationer kommer att få tillgång till modellerna genom techjättarnas molninfrastruktur, eftersom förinlärda modeller fortsätter att vara mer kostnadseffektiva än att träna egna.

2. Data Science blir en nödvändig kompetens

Verksamheter av alla storlekar kommer i allt högre grad att satsa stort på data science och ingenjörskomptens . Skiftet kommer att innebära att man tar fram nya kompetenser, investerar i kapacitet för att arbeta datadrivet och inför nya AI-verktyg och infrastruktur. Verksamheter som rör sig för långsamt i övergången riskerar halka efter i ett alltmer AI-drivet affärslandskap.

3. Fokusera på domänspecifika data av hög kvalitet

Vi kommer att se ett större fokus på att samla in och använda domänspecifika data av hög kvalitet. Plattformar och ramverk för human-in-the-loop (HITL) kommer att spela en avgörande roll i att konsolidera och förädla data för bredare användningsområden inom AI.

4. Från DataOps till AIOps

När AI blir mer integrerat i affärsverksamheten kommer vi att se ett ökat fokus på verktyg och ramverk för AIOps (AI operations). Dessa verktyg blir avgörande för att övervaka och utvärdera prestationen hos framtida AI-modeller, exempelvis när det gäller bias, resonemangsförmåga, träningseffektivitet, latens, kostnad för databeräkningar med mera.

5. Nya typer av AI-inbäddad mjukvara växer fram

Utöver chatbottar väntar vi oss att se nya typer av AI-inbäddad mjukvara som byggs på de framväxande plattformarna för AI-infrastruktur.Aktörer som Datarobot, Databricks och Airbyte, liksom större bolag som Amazon (med Trainium och Inferentia), Microsoft och Meta, kommer att driva denna innovation framåt och möjliggöra AI-funktioner för prediktivt underhåll, intelligent styrning och system med AI-at-edge. Håll ögonen öppna!

6. Satsa på hackor och spadar

Rapporten nämner en värdefull möjlighet för aktörer inom den framväxande AI-infrastrukturen att leverera ”hackor och spadar” till företag. Hackor och spadar är de grundläggande verktyg som kommer att öppna upp för nya sätt att jobba med datahantering (DataOps) och integrering av olika maskininlärnings- (ML) och AI-operationer (MLOps-AIOps) inom företag. 

Förberedelser för en AI-driven framtid

”När vi närmar oss en AI-driven framtid behöver organisationer förbereda sig för en snabb utveckling inom landskapet för AI-infrastruktur. I den här nya eran kommer framgången att bero på många saker. Först och främst kommer rörlighet och anpassningsförmåga att ha stor betydelse – företag behöver vara redo att snabbt införa och integrera framväxande AI-tekniker. För det andra kommer strategisk datahantering att vara avgörande, med fokus inte bara på datainsamling, utan också på att säkerställa datans kvalitet och relevans för AI-inbäddade applikationer. För det tredje kommer investeringar i kompetensutveckling, framför allt inom AI-kunskap och specialistkompetenser, att vara avgörande på alla nivåer i organisationen”, säger Shahin Atai på HiQ. 

Revolutionen inom AI-infrastruktur är inte något som skymtar vid horisonten – den är redan här, och den omdefinierar hur vi jobbar med tech i företag. Skiftet innebär både utmaningar och möjligheter för bolag i alla branscher.

På HiQ brinner vi för att hjälpa våra kunder att styra rätt i denna komplexa och snabbt skiftande terräng.  Oavsett om ni precis har börjat er AI-resa, eller är ute efter att växa era befintliga förmågor, är våra experter redo att ge den vägledning, verktyg och stöd ni behöver för att lyckas i den AI-drivna framtiden. Vi kan hjälpa er att designa och skapa AI-inbäddade lösningar – men vi kan också stötta i att skapa ert eget perspektiv, och låta de första stegen på AI-resan ta form.

Tveka inte att höra av dig om du vill veta mer om ditt företags AI-potential.