Verdens største brikke

Aug 23, 2021

Legg igjen en beskjed

I løpet for å få fart på kunstig intelligens, tar Silicon Valley -selskapet Cerebras en uvanlig strategi: Go big.


Mens en typisk datamaskinbrikke er på størrelse med en negl, er Cerebras' chip er på størrelse med en tallerken.


Deep learning, en AI-teknologi som driver taleassistenter, selvkjørende biler og Go-mestere, er avhengig av komplekse" nevrale nettverk" programvare arrangert i lag. Deep learning -systemer kan kjøres på en enkelt datamaskin, men de største systemene er spredt over tusenvis av tilkoblede maskiner, noen ganger i store datasentre, for eksempel de som drives av Google. I en stor klynge glir opptil 48 servere i pizza-eske inn i en mannhøye stativer; Hyllene er stilt opp på rad og fyller en bygning på størrelse med et lager. De nevrale nettverkene i disse systemene kan løse skremmende problemer, men de står også overfor åpenbare utfordringer. Et nettverk som formerer seg i en klynge er som en hjerne spredt over et rom og koblet sammen. Elektroner beveger seg raskt, men kommunikasjonen på tvers av sjetonger er treg og bruker mye energi.


Eric Vishria, en general partner i San Francisco venturekapitalfirma Benchmark, innså først problemet da han hørte Cerebras Systems, et nytt datachip -selskap, snakke våren 2016. Benchmark er kjent for å være en tidlig investor i selskaper som Twitter, Uber og ebay - det vil si i programvare, ikke maskinvare. Selskapet ser på rundt 200 oppstart i året og investerer i ett." Vi spilte dette spillet med å kysse tusen frosker," Vishria fortalte meg. I begynnelsen av talen bestemte han seg for å kaste frosken tilbake." Jeg tenkte, hvorfor sa jeg ja til dette?" Vi' kommer ikke til å investere i maskinvare, &, husket han." Det&er dumt."


Cerebras medgründer Andrew Feldman startet med lysbildedekselet til teamgliden og fanget Vishria's oppmerksomhet: talentet hans var imponerende. Feldman sammenlignet deretter de to typene datamaskinbrikker. Først så han på grafikkbehandlingsenheter, eller Gpus - brikker designet spesielt for å lage 3D -bilder. I dag er&maskinlæringssystemer avhengige av disse grafikkbrikkene av forskjellige årsaker. Deretter så han på sentrale behandlingsenheter, eller cpus, de generelle brikkene som gjør det meste av arbeidet i en typisk datamaskin." Det tredje lysbildet var omtrent' Gpus,' som faktisk er dårlige for dyp læring - de er tilfeldigvis hundre ganger bedre enn cpus." Cerebras har kommet med en ny type brikke som ikke er designet for grafikk, men spesielt designet for kunstig intelligens.


Vishria er vant til å høre plasser fra selskaper som planlegger å bruke dyp læring innen cybersikkerhet, medisinsk bildebehandling, chatbots og andre applikasjoner. Etter at Cerebras&snakket, snakket han med ingeniører i selskaper finansiert av Benchmark, inkludert Zillow, Uber og Stitch Fix; De fortalte ham at de hadde problemer med AI fordi det tok for lang tid å" trene" det nevrale nettverket. Google har begynt å bruke super-raske" tensor prosessorenheter," eller Tpus, spesielle chips designet for ARTIFICIAL intelligence. Vishria visste at det var et gullrushet på gang, og noen måtte lage plukker og spader.


Det året ledet Benchmark og Foundation Capital, et annet venture Capital -selskap, en finansieringsrunde på 27 millioner dollar for Cerebras, som har samlet inn nesten 500 millioner dollar. Andre selskaper lager også såkalte kunstig intelligens-akseleratorer; Cerebras' konkurrentene groq, Graphcore og Sambanova samlet inn mer enn 2 milliarder dollar i kapital mellom dem. Men Cerebras' tilnærming er unik. I stedet for å skrive ut dusinvis av skiver på et stort stykke silisium, kutte dem av og koble dem til hverandre, har selskapet laget et gigantisk" wafer level" chip. Mens en typisk datamaskinbrikke er på størrelse med en negl, er Cerebras omtrent på størrelse med en tallerken og er den største datamaskinbrikken i verden.


Til og med konkurrenter syntes bragden var imponerende." Dette er ny vitenskap," Nigel Toon, administrerende direktør og medstifter av Graphcore &, fortalte meg." Det' er en utrolig teknikk. Det' et mesterverk." I mellomtiden beskrev en annen ingeniør jeg snakket med det som et vitenskapsprosjekt - stort for&s skyld. Tidligere har selskapet prøvd og ikke klart å lage gigantiske chips; Cerebras' plan utgjør et veddemål om at å overvinne ingeniørutfordringer er mulig og verdt det." For å være ærlig, for meg er uvitenhet en fordel," Sa Vishria." Jeg vet ikke&ikke om jeg visste hvor vanskelig det er å gjøre det de gjør, ville jeg ha mot til å investere."


Det er lett å ta for gitt at datamaskiner blir raskere og raskere. Dette forklares ofte av Moore's lov: mønsteret som ble etablert i 1965 av halvlederpioneren Gordon Moore, ifølge hvilken antallet transistorer på en brikke dobles hvert år eller annethvert år. Selvfølgelig er Moore' s lov ikke' og ingeniører jobber utrettelig med å krympe transistorer samtidig som de forbedrer" arkitektur" av hver brikke for å lage mer effektive og kraftfulle design.


Chip-arkitekter har lenge lurt på om en enkelt, storstilt datamaskinbrikke kan være mer effektiv enn en haug med mindre sjetonger, akkurat som en by med konsentrerte ressurser og tette blokker er mer effektiv enn en forstad. Ideen ble først prøvd på 1960 -tallet, da Texas Instruments begrenset produksjonen av chips noen få centimeter brede. Men selskapets' s ingeniører løp inn i avkastningsproblemer. På en gitt silisiumskive bringer produksjonsfeil uunngåelig et bestemt antall kretser i fare. Hvis en wafer inneholder 50 sjetonger, kan selskapet kaste de dårlige og selge de gode. Men hvis hver vellykket brikke var avhengig av arbeidskretsen til en enkelt skive, ville mange dyre skiver blitt kastet. Texas Instruments fant en løsning, men teknologien og behovet var' t der ennå.


På 1980 -tallet prøvde en ingeniør ved navn Gene Amdahl igjen å løse problemet med et selskap han grunnla kalt Trilogy Systems. Det ble den største oppstarten i Silicon Valley&s historie, med rundt 250 millioner dollar i finansiering. For å løse avkastningsproblemet trykte Trilogy redundante komponenter på brikken. Denne metoden øker produksjonen, men reduserer hastigheten på brikken. I mellomtiden sliter Trilogy på andre måter. Amdahl kjørte over en motorsyklist med rullene hans Royce, noe som forårsaket juridiske problemer; Presidenten døde av en hjernesvulst; Kraftig regn har forsinket byggingen av fabrikker, rustende klimaanlegg og oppsamling av støv på flis. I 1984 ga Trilogy opp." Jeg skjønte ikke' hvor vanskelig det ville være," Amdahl' s sønn fortalte The Times.


Hvis teknologien til Trilogy&#er vellykket, kan den nå brukes til dyp læring. I stedet løser Gpus (brikker som brukes i videospill) vitenskapelige problemer i nasjonale laboratorier. Gjenbruk av gpus for AI er avhengig av at nevrale nettverk, selv om de er veldig komplekse, er avhengige av mye multiplikasjon og tillegg. Når" nevroner" i nettverket brenner hverandre, de forsterker eller reduserer hverandres' s signaler og multipliserer dem med koeffisienter som kalles tilkoblingsvekter. En effektiv AI -prosessor vil beregne mange aktiveringer parallelt; Den kombinerer dem i en rekke tall som kalles vektorer, eller tavler med tall som kalles matriser, eller høyere dimensjonale blokker som kalles tensorer. Ideelt sett vil du multiplisere en matrise eller tensor med en annen samtidig. Gpus er designet for å gjøre noe lignende:


& quot; Skyggen av Trilogy er så stor," Feldman fortalte meg nylig," at folk slutter å tenke og begynner å si,' Det' er umulig.'" GPU -selskaper, inkludert Nvidia, hoppet på muligheten til å tilpasse sjetongene sine for dyp læring. I 2015 begynte Feldman og en gruppe dataarkitekter å diskutere ideen om større chips etter at de var med å grunnlegge en dataserverprodusent, Seamicro, som de solgte til chipprodusenten AMD for $ 334 millioner dollar. De jobbet med saken i fire måneder på et kontor lånt fra et venturekapitalfirma. Når de hadde en oversikt over en levedyktig løsning, snakket de med åtte selskaper; Fikk finansiering fra Benchmark, Foundation Capital og Eclipse, og begynte å ansette.


Cerebras' første oppgave er å løse produksjonsproblemene som plager store chips. Chippen var opprinnelig en sylindrisk ingot av krystallinsk silisium med en fot i diameter, og stålgutten ble kuttet i skiver mindre enn en millimeter tykke. Kretsen blir deretter" trykt" på skiven gjennom en prosess som kalles litografi. UV-sensitive kjemikalier deponeres forsiktig på overflaten, og deretter projiseres en stråle av UV-lys gjennom en detaljert mal kalt en maske. Disse kjemikaliene reagerer på kretsløp.


Normalt blir området dekket av lys som projiseres gjennom masken en brikke. Deretter beveger brikken seg og lyset projiseres igjen. Etter at dusinvis eller hundrevis av sjetonger er skrevet ut, blir de laserskåret fra skiven." Den enkleste måten å gjøre det på er ved at moren din tar ut en rund kakedeig," Sa Feldman." Hun har en kakeform og kutter kakene forsiktig." Lovene i fysikk og optikk gjør det umulig å lage en større kakeskærer. Som et resultat utviklet vi&en teknologi slik at du kan kommunisere gjennom en liten deig mellom to informasjonskapsler."


I utskriftssystemet Cerebras utviklet i samarbeid med TSMC, selskapet som lager brikken, overlapper kantene på informasjonskapslene slik at ledningene deres er koblet sammen. Resultatet er et enkelt" wafer size" wafer, kobberfarget firkant og 21 cm på hver side. (Den største Gpus er litt under 3 cm i diameter.) Cerebras produserte sin første chip, Wafer-scale Engine 1, i 2019. Wse-2, som ble introdusert i år, bruker en tettere krets, med 2,6 billioner transistorer pakket inn i 850 000 prosessorenheter , eller" kjerner" ;. (Top Gpus har bare noen få tusen kjerner, mens de fleste cpus har færre enn 10.)


& quot; 2.6 billioner transistorer er forbløffende," sa Aart de Geus, styreleder og co-CEO i Synopsys. Synopsys tilbyr noe programvare som Cerebras og andre chipmakere bruker for å lage og validere sine chipdesign. De Geus sier at ingeniører først må vurdere to kjernespørsmål når de designer sjetonger:" Hvor kommer dataene fra?" Hvor håndteres det?" Når sjetonger var enklere, kunne designere svare på disse spørsmålene med en blyant på et tegnebord; Når du jobber med dagens mer komplekse chips &, skriver du inn kode som beskriver arkitekturen de vil lage, og går deretter videre til visualiserings- og kodingsverktøy." Tenk på hvordan huset ser ut fra taket," sa de Geus." Er garasjen i nærheten av kjøkkenet? Eller er det nær soverommet? Du vil ha det nær kjøkkenet - ellers må du&bære dagligvarer gjennom hvert hjørne av huset." Etter å ha designet plantegningen, forklarte han," du kan bruke ligninger til å beskrive hva som skjer i rommet."


Designkompleksiteten til sjetonger er overveldende." Det er mange lag her," sa de Geus, med kretser krysset og lagdelt på hverandre, som en hovedveiovergang. For ingeniørene i Cerebras, som arbeider på skalaen til en skive, øker kompleksiteten. Synopsys' programvare hjelper i form av kunstig intelligens: mønstermatchingsalgoritmer identifiserer vanlige problemer og foreslår løsninger; Optimizer -programmet flytter rommet til et raskere og mer effektivt arrangement. Hvis for mange baner prøver å presse seg inn i en toblokkeringsbygning, lar programvaren ingeniører spille Robert Moses og flytte blokken.


Til slutt, sier Feldman, er det flere fordeler med store chipdesigner. Når kjernene er på samme brikke, kommuniserer de raskere: datamaskinens&hjerne er nå konsentrert i en enkelt hodeskalle, i stedet for spredt over et rom. Større chips håndterer også minne bedre. Vanligvis må en liten brikke som er klar til å behandle en fil først hente filen fra en delt minnebrikke som ligger andre steder på kretskortet; Bare de mest brukte dataene blir bufret nærmere hjemmet. Ved å beskrive effektiviteten til chips på wafer-nivå, tilbød Feldman en analogi: Han spurte meg om å forestille meg en gruppe romkamerater (kjerne) som bodde i en hybel (chip) som ønsket å se en fotballkamp (utføre databehandling). For å se spillet, sier feldman, må romkamerater lagre øl i kjøleskapet (data lagres i minnet); Cerebras oppbevarer et kjøleskap i hvert rom, så romkamerater trenger ikke' trenger ikke risikere å gå til hybelen' s felles kjøkken eller Safeway. Dette har den ekstra fordelen at hver kjerne kan behandle forskjellige data raskere." Så jeg kan ha Bud i sovesalen min," Sa Feldman." I din sovesal kan du ha Schlitz."


Til slutt må Cerebras overvinne avkastningsproblemer. Selskapets' s ingeniører bruker Trilogy' s triks: redundans. Men her har de en fordel i forhold til forgjengerne. Trilogy prøver å lage generiske chips med mange forskjellige komponenter, så kabling rundt en enkelt mislykket komponent kan kreve tilkobling til en fjern erstatning. På Cerebras' chip, er alle kjernene identiske. Hvis en kjeks er feil, er de rundt den like gode.