U utrci za ubrzavanjem umjetne inteligencije, kompanija Cerebras iz Silicijske doline zauzima neobičnu strategiju: Idi naprijed.
Dok je tipičan računarski čip veličine nokta, Cerebras' čip je veličine tanjira za večeru.
Duboko učenje, AI tehnologija koja pokreće glasovne asistente, automobile sa samoupravljanjem i prvake u vožnji, oslanja se na složenu&"neuronsku mrežu [GG"; softver raspoređen u slojevima. Sistemi za duboko učenje mogu raditi na jednom računaru, ali najveći sistemi su raspoređeni na hiljade povezanih mašina, ponekad u velikim podatkovnim centrima, poput onih kojima upravlja Google. U velikom skupu, do 48 servera veličine pizza-box-a klizi u police za jednog čovjeka; Police su poređane u redove i ispunjavaju zgradu veličine skladišta. Neuronske mreže u ovim sistemima mogu riješiti zastrašujuće probleme, ali se također suočavaju s očiglednim izazovima. Mreža koja se množi u skupu je poput mozga razbacanog po prostoriji i povezanog zajedno. Elektroni se kreću brzo, ali i pored toga komunikacija preko čipova je spora i troši mnogo energije.
Eric Vishria, generalni partner kompanije Benchmark za rizični kapital u San Franciscu, prvi je put shvatio problem kada je čuo da je Cerebras Systems, nova kompanija za proizvodnju računarskih čipova, govorila u proljeće 2016. Benchmark je poznat po tome što je bio rani investitor u kompanije poput Twittera, Uber i ebay - odnosno u softveru, a ne u hardveru. Kompanija razmatra oko 200 start-upova godišnje i ulaže u jedan." Igrali smo ovu igru ljubljenja hiljadu žaba," Vishria mi je rekla. Na početku svog govora odlučio je baciti žabu natrag." Pomislio sam, zašto sam pristao na ovo?" Mi' nećemo ulagati u hardver, "GG", prisjetio se razmišljanja." To je' glupo."
Suosnivač Cerebre, Andrew Feldman, počeo je sa naslovnom pločom na svom timskom slajdu i privukao pažnju Vishrije &: njegov talent je bio impresivan. Feldman je zatim uporedio dvije vrste računarskih čipova. Prvo je pogledao grafičke procesorske jedinice ili Gpus čipove dizajnirane posebno za stvaranje 3D slika. Današnji sistemi mašinskog učenja' oslanjaju se na ove grafičke čipove iz različitih razloga. Zatim je pogledao centralne procesorske jedinice ili cpus, čipove opće namjene koji većinu posla obavljaju na tipičnom računaru.&"Treći slajd je o' Gpus,' koji su zapravo loši za duboko učenje - samo su sto puta bolji od CPU -a." Cerebras je predstavio novu vrstu čipa koji nije dizajniran za grafiku, već je posebno dizajniran za umjetnu inteligenciju.
Vishria je navikla slušati glasove kompanija koje planiraju koristiti dubinsko učenje u cyber sigurnosti, medicinskim slikama, chatbotovima i drugim aplikacijama. Nakon razgovora kompanije Cerebras &, razgovarao je s inženjerima u kompanijama koje finansira Benchmark, uključujući Zillow, Uber i Stitch Fix; Rekli su mu da imaju problema s AI jer je predugo trajalo" vlak" neuronska mreža. Google je počeo koristiti superbrze&jedinice za obradu tenzora,&ili Tpus, posebni čipovi dizajnirani za UMJETNU inteligenciju. Vishria je znala da se događa zlatna groznica i da je neko morao izabrati lopate i lopate.
Te godine, Benchmark i Foundation Capital, još jedna kompanija za rizični kapital, predvodili su 27 miliona dolara za finansiranje Cerebre, čime je prikupljeno skoro 500 miliona dolara. Druge kompanije takođe proizvode takozvane akceleratore veštačke inteligencije; Cerebre' konkurenti groq, Graphcore i Sambanova prikupili su više od 2 milijarde dolara kapitala između njih. Ali Cerebras' pristup je jedinstven. Umjesto da odštampa desetine pločica na velikom komadu silicija, odsiječe ih i poveže međusobno, kompanija je stvorila džinovsku" nivo vafer" čip. Dok je tipičan računarski čip veličine nokta, Cerebras je otprilike veličine tanjira i najveći je računarski čip na svijetu.
Čak su i takmičari smatrali da je podvig impresivan." Ovo je nova nauka," Rekao mi je Nigel Toon, izvršni direktor i suosnivač Graphcore'&"To je' nevjerovatan inženjering. To je' remek -djelo." U međuvremenu, drugi inženjer sa kojim sam razgovarao opisao ga je kao naučni projekat - veliki za dobro' U prošlosti je kompanija pokušavala i nije uspjela napraviti ogromne čipove; Cerebre' plan predstavlja opkladu da je prevladavanje inženjerskih izazova moguće i isplati se." Iskreno, za mene je neznanje prednost," Rekao je Vishria." Ne znam' ne znam da sam znao koliko je teško raditi ono što rade, imao bih hrabrosti uložiti."
Lako je uzeti zdravo za gotovo da računari postaju sve brži i brži. To se često objašnjava Mooreovim zakonom: obrazac koji je 1965. godine ustanovio pionir poluvodiča Gordon Moore, prema kojem se broj tranzistora na čipu udvostručuje svake godine ili svake dvije godine. Naravno, Moore' s Law nije' zapravo zakon, a inženjeri neumorno rade na smanjivanju tranzistora, a istovremeno poboljšavaju" arhitekturu" svakog čipa za stvaranje učinkovitijih i snažnijih dizajna.
Arhitekte čipova dugo su se pitale može li jedan veliki računarski čip biti efikasniji od gomile manjih čipova, baš kao što je grad sa koncentriranim resursima i gustim blokovima efikasniji od predgrađa. Ideja je prvi put isprobana 1960 -ih, kada je Texas Instruments ograničio proizvodnju čipsa širine nekoliko centimetara. Ali inženjeri kompanije' naišli su na probleme s prinosom. Na bilo kojoj silicijskoj ploči proizvodni nedostaci neizbježno ugrožavaju određeni broj kola. Ako oblatna sadrži 50 čipova, kompanija može baciti loše i prodati dobre. Ali ako bi svaki uspješan čip ovisio o radnom krugu jedne pločice, mnoge skupe pločice bi se odbacile. Texas Instruments je pronašao rješenje, ali tehnologija i potrebe još nisu bili prisutni'
Osamdesetih godina inženjer po imenu Gene Amdahl pokušao je ponovo riješiti problem sa kompanijom koju je osnovao pod nazivom Trilogy Systems. Postao je najveći startup u istoriji Silicijumske doline &, sa oko 250 miliona dolara finansiranja. Kako bi riješio problem prinosa, Trilogy je na čip odštampao suvišne komponente. Ova metoda povećava proizvodnju, ali smanjuje brzinu čipa. U međuvremenu, Trilogija se bori na druge načine. Amdahl je svojim Rolls Royceom pregazio motociklistu uzrokujući pravne probleme; Njegov predsjednik je umro od tumora na mozgu; Obilne kiše odgodile su izgradnju fabrika, zahrđale klimatizacione sisteme i sakupljale prašinu na strugotinama. 1984. Trilogy je odustala." Nisam znao' nisam shvatio koliko bi to bilo teško," Amdahl' sin je rekao za The Times.
Ako je tehnologija Trilogy' uspješna, sada bi se mogla koristiti za duboko učenje. Umjesto toga, Gpus (čipovi koji se koriste u video igrama) rješavaju naučne probleme u nacionalnim laboratorijima. Ponovna upotreba gpusa za AI ovisi o činjenici da se neuronske mreže, iako vrlo složene, oslanjaju na mnogo množenja i sabiranja. Kada je&neuroni" u mreži se međusobno aktiviraju, međusobno pojačavaju ili umanjuju signale' množeći ih koeficijentima koji se nazivaju težinama veze. Efikasan AI procesor paralelno će izračunati mnoge aktivacije; Kombinuje ih u niz brojeva koji se nazivaju vektori, ili rešetke brojeva koji se zovu matrice, ili blokove većih dimenzija koji se zovu tenzori. U idealnom slučaju, želite pomnožiti jednu matricu ili tenzor s drugom odjednom. Gpus su dizajnirani da rade nešto slično:
& quot; Sjena Trilogije je tako velika," Feldman mi je nedavno rekao&da ljudi prestanu razmišljati i počnu govoriti:' To' je nemoguće.'" GPU kompanije, uključujući Nvidiju, iskoristile su priliku da prilagode svoje čipove za duboko učenje. Godine 2015. Feldman i grupa računarskih arhitekata počeli su raspravljati o ideji većih čipova nakon što su suosnivali proizvođača računarskih servera, Seamicro, koji su prodali proizvođaču čipova AMD za 334 miliona dolara. Četiri mjeseca radili su na tom pitanju u uredu posuđenom od firme za rizični kapital. Kada su imali nacrt održivog rješenja, razgovarali su sa osam kompanija; Dobio sam sredstva od Benchmarka, Foundation Capital -a i Eclipse -a i počeo zapošljavati.
Cerebre' prvi zadatak je riješiti proizvodne probleme koji muče velike čipove. Čip je izvorno bio cilindrični ingot od kristalnog silicija promjera oko stope, a čelični je ingot izrezan na pločice debljine manje od milimetra. Kolo se zatim&štampa; štampa" na ploču kroz proces koji se naziva litografija. Hemikalije osjetljive na UV zrake pažljivo se talože na površinu, a zatim se snop UV svjetla projicira kroz detaljni predložak koji se naziva maska. Ove kemikalije reagiraju stvarajući krugove.
Obično područje prekriveno svjetlošću projicirano kroz masku postaje čip. Zatim se čip pomiče i svjetlo se ponovo projicira. Nakon što su odštampane desetine ili stotine čipova, laserski se izrezuju iz pločica." Najlakši način da to učinite je da vaša mama izvadi okruglo tijesto za kolače," Rekao je Feldman." Ona ima kalup za kolačiće i pažljivo ih reže." Zakoni fizike i optike onemogućuju izradu veće kalupe za kolače. Kao rezultat toga,&"razvili smo tehnologiju tako da možete komunicirati kroz malo tijesta između dva kolačića."
U sistemu za štampanje Cerebras razvijenom u saradnji sa TSMC -om, kompanijom koja proizvodi čip, ivice kolačića se preklapaju tako da su im žice povezane. Rezultat je jedna" veličina pločice" pločica, kvadrat u boji bakra i 21 cm sa svake strane. (Najveći Gpus promjera je nešto manji od 3 cm.) Cerebras je proizveo svoj prvi čip, Wafer-scale Engine 1, 2019. Wse-2, predstavljen ove godine, koristi gušće kolo, sa 2,6 triliona tranzistora upakovanih u 850.000 procesorskih jedinica , ili&jezgra" ;. (Top Gpus ima samo nekoliko hiljada jezgara, dok većina CPU -a ima manje od 10.)
& 2,6 biliona tranzistora je zapanjujuće," rekao je Aart de Geus, predsjednik i su-izvršni direktor Synopsys-a. Synopsys nudi neki softver koji Cerebras i drugi proizvođači čipova koriste za izradu i provjeru dizajna čipova. De Geus kaže da pri projektiranju čipova inženjeri prvo moraju uzeti u obzir dva ključna pitanja:" Odakle podaci dolaze?" Gdje se rukuje?" Kad su čipovi bili jednostavniji, dizajneri su na ova pitanja mogli odgovoriti olovkom na stolu za crtanje; Kada radite sa današnjim složenijim čipovima', unesite kôd koji opisuje arhitekturu koju želite stvoriti, a zatim prijeđite na alate za vizualizaciju i kodiranje." Razmislite o tome kako kuća izgleda s krova," rekao je de Geus." Je li garaža u blizini kuhinje? Ili je blizu spavaće sobe? Želite ga u blizini kuhinje - inače ćete' morati nositi namirnice kroz svaki kutak kuće." Nakon dizajniranja tlocrta, objasnio je,&"možete koristiti jednadžbe za opisivanje onoga što se događa u prostoriji."
Kompleksnost dizajna čipova je zapanjujuća." Ovdje postoji mnogo slojeva," rekao je de Geus, s ukrštenim krugovima i slojevima jedan na drugom, poput velikog nadvožnjaka na autoputu. Za inženjere Cerebrasa, koji rade na skali ploče, složenost je povećana. Sinopsis' softver pomaže u obliku umjetne inteligencije: algoritmi za usklađivanje uzoraka identificiraju uobičajene probleme i predlažu rješenja; Program optimizatora pomera prostoriju na brži i efikasniji raspored. Ako se previše traka pokuša ugurati u zgradu od dva bloka, softver omogućava inženjerima da igraju Roberta Mosesa i pomaknu blok.
Na kraju, kaže Feldman, postoji nekoliko prednosti predimenzioniranih čipova. Kad su jezgre na istom čipu, brže komuniciraju: mozak računara' sada je koncentriran u jednoj lubanji, a ne razbacano po prostoriji. Veći čipovi takođe bolje podnose memoriju. Obično mali čip spreman za obradu datoteke prvo mora dobiti datoteku iz zajedničkog memorijskog čipa koji se nalazi na drugom mjestu na ploči; Samo najčešće korišteni podaci keširani su bliže kući. Opisujući efikasnost čipova na nivou pločica, Feldman je ponudio analogiju: Zamolio me je da zamislim grupu cimera (jezgra) koji žive u studentskom domu (čip) koji su htjeli gledati fudbalsku utakmicu (raditi na računaru). Da bi gledali utakmicu, kaže feldman, cimeri moraju čuvati pivo u frižideru (podaci se čuvaju u memoriji); Cerebras drži hladnjak u svakoj prostoriji tako da cimeri ne moraju' ne moraju riskirati odlazak u zajedničku kuhinju u domu' ili Safeway. Ovo ima dodatnu prednost jer omogućava svakom jezgru da brže obrađuje različite podatke." Tako da mogu imati Bud u svojoj spavaonici," Rekao je Feldman." U svom domu možete imati Schlitza."
Konačno, Cerebre moraju prevladati probleme s prinosom. Inženjeri kompanije' koriste trilogiju' trik: redundantnost. Ali ovdje imaju prednost u odnosu na svoje prethodnike. Trilogy pokušava napraviti opće čipove s mnogo različitih komponenti, pa bi ožičenje oko jedne neuspjele komponente moglo zahtijevati povezivanje s udaljenom zamjenom. Na Cerebrama' čip, sve jezgre su identične. Ako je jedan keks pogrešan, i oni oko njega su jednako dobri.