MIT forskere udvikler nye "photon" chips

For få dage siden udviklede MIT-forskere en ny "photon" -chip, der bruger lys i stedet for elektricitet og bruger relativt lidt strøm i processen. Chippen bruges til at behandle storskala neurale netværk med millioner af gange mere effektivitet end eksisterende computere. Simuleringsresultaterne viser, at den fotoniske chip kører 10 millioner gange mere effektivt end den elektroniske chip. Neurale netværk er maskinindlæringsmodeller, der er almindeligt anvendt til robotterkendelse, behandling af naturlige sprog, udvikling af lægemidler, medicinsk billeddannelse og kørsel af ubemandede køretøjer. Nye optiske neurale netværk, der bruger optiske fænomener til at accelerere beregninger, kan fungere hurtigere og mere effektivt end andre elektroniske modparter. Men som traditionelle neurale netværk og optiske neurale netværk bliver mere komplekse, forbruger de en masse energi. For at løse dette problem har forskere og større teknologibedrifter, herunder Google, IBM og Tesla, udviklet "Artificial Intelligence Accelerators", en specialiseret chip, der forbedrer hastigheden og effektiviteten af træning og testning af neurale netværk.

For elektroniske chips, herunder de fleste kunstige intelligens acceleratorer, er der en teoretisk minimum strømforbrug grænse. For nylig begyndte MIT-forskere at udvikle fotonacceleratorer til optiske neurale netværk. Disse chips er størrelsesordener mere effektive, men de er afhængige af omfangsrige optiske komponenter, der begrænser deres anvendelse i relativt små neurale netværk.

I et papir, der blev offentliggjort i Physical Review X, beskrev MIT-forskere en ny type fotonaccelerator, der bruger mere kompakte optiske og optiske signalbehandlingsteknikker til dramatisk at reducere strømforbrug og dørområde. Dette gør det muligt for chipet at skalere til det neurale netværk, hvilket er størrelsesordener større end den tilsvarende chip.

10 millioner gange lavere end energibegrænsningen for traditionelle elektronacceleratorer

Simuleringstræningen af neuralt netværk på MNIST image klassifikationsdatasættet viser, at acceleratoren teoretisk kan behandle det neurale netværk, hvilket er 10 millioner gange lavere end energibegrænsningen af den traditionelle elektronaccelerator og 1000 gange lavere end energimængden af fotonacceleratoren . Forskere arbejder nu på en prototypechip for at teste resultaterne.

"Folk søger en teknologi, der kan beregne ud over den grundlæggende energi grænse," sagde Ryan Hamerly, en postdoktor ved Electronic Research Laboratory. "Foton acceleratoren er lovende ... men vores motivation er at bygge en (foton accelerator) Udvidet til store neurale netværk."

Praktiske anvendelser af disse teknologier inkluderer nedbringelse af energiforbruget i datacenteret. "Efterspørgslen efter datacentre, der kører store neurale netværk, vokser, og efterhånden som efterspørgslen vokser, bliver det sværere at beregne," siger Alexander Sludds, en medforfatter og kandidatstuderende i elektronikforskningslabbet. Netværkshardware opfylder databehovets behov ... for at løse flaskehalse i energiforbrug og latenstid. "

Medforfatter med Slam og Hamerly: RLE-kandidatstuderende, medforfatter Liane Bernstein; MIT fysik professor Marin Soljacic; MIT lektor i elektroteknik og datalogi Dirk Englund; en RLE-forsker og chef for Quantum Photonics Laboratory.

Stol på en mere kompakt, energieffektiv "fotovoltaisk" løsning

Det neurale netværk behandler dataene gennem en række beregningslag, der indeholder indbyrdes forbundne noder (kaldet "neuroner") for at finde mønstre i dataene. Neuronen modtager input fra sin opstrøms "nabo" og beregner et udgangssignal, der sendes til yderligere nedstrøms neuroner. Hver indgang er også tildelt en "vægt", en værdi baseret på dens relative betydning for alle andre input. Da data spredes "dybtgående" på tværs af lag, lærer netværket mere kompleks information. Endelig genererer outputlaget en forudsigelse baseret på beregningen af hele laget.

Målet med alle kunstige intelligens acceleratorer er at reducere den energi, der kræves til at behandle og flytte data i et bestemt lineært algebraisk trin i et neuralt netværk kaldet "matrix multiplikation." Der er neuroner og vægte kodet i separate rækker og lister, som derefter kombineres for at beregne output.

I en konventionel fotonaccelerator koder den pulserende laser information om hver neuron i et lag og strømmer derefter ind i bølgelederen og gennem strålesplitteren. Det resulterende optiske signal mates ind i et kvadratisk optisk elementgitter kaldet et "Mach-Zehnder Interferometer", som er programmeret til at udføre matrixmultiplikation. Interferometeret koder for hver informationsvægt og bruger signalinterferensteknikken, der behandler det optiske signal og vægtværdier for at beregne udgangen af hver neuron. Men der er et skaleringsproblem: for hver neuron skal der være en bølgeleder, og for hver vægt skal der være et interferometer. Da mængden af vægt er proportional med antallet af neuroner, tager disse interferometre meget plads.

"Du vil snart indse, at antallet af input neuroner aldrig vil overstige 100 eller deromkring, fordi du ikke kan installere så mange komponenter på chippen," sagde Hamerly. "Hvis din foton accelerator ikke kan håndtere mere end 100 lag per lag." Neuroner, det er svært at anvende store neurale netværk på denne struktur. "

Forskernes chips afhænger af en mere kompakt, energieffektiv "fotovoltaisk" ordning, der bruger optiske signaler til at kode dataene, men bruger "balanceret homodyne-detektion" til matrixmultiplikation. Dette er en teknik til generering af et målbart elektrisk signal efter beregning af produktet af amplitude (bølgehøjde) af to optiske signaler.

De optiske puls-kodede information input og output neuroner af hvert neuralt netværk lag - bruges til at træne netværket - strømme gennem en enkelt kanal. Individuelle impulser kodet med hele rækken af vægtinformation i matrix multiplikationstabellen strømmer gennem separate kanaler. Neuron- og vægtdata transmitteres til det optiske signal af homodyne fotodetektorgitteret. Fotodetektoren bruger amplitude af signalet til at beregne outputværdien af hver neuron. Hver detektor indlæser et elektrisk udgangssignal for hver neuron i en modulator, der konverterer signalet tilbage til en lyspuls. Lyset bliver input til det næste lag osv.

Dette design kræver kun en kanal pr input- og output-neuron, og kræver kun så mange homodyne-fotodetektorer som neuronen uden vægttab. Fordi antallet af neuroner altid er meget mindre end vægten, sparer dette meget plads, så chippen kan udvides til et neuralt netværk med mere end en million neuroner per lag.

Find den bedste placering

Med en fotonaccelerator er der uundgåeligt støj i signalet. Jo mere lys, der injiceres i chippen, jo mindre støj og jo højere er nøjagtigheden - men det kan være meget ineffektivt. Jo mindre input lys, jo højere effektivitet, men det vil have en negativ indvirkning på det neurale netværk. Men der er et "bedste punkt", sagde Bernstein, som bruger den mindste optiske effekt, samtidig med at man opretholder nøjagtigheden.

Den optimale position af den kunstige intelligensaccelerator måles ved, hvor mange joules der kræves for at udføre en enkelt operation, der multiplicerer to tal (såsom matrixmultiplikation). I dag måles traditionelle acceleratorer med picojoule eller terajoule. Photon acceleratoren måles ved attojoules og er en million gange mere effektiv. I simuleringen fandt forskerne, at deres fotonakselatorer kan operere på mindre end attojoer. "Før du taber nøjagtighed, kan du sende en vis minimal optisk effekt. De grundlæggende grænser for vores chips er meget lavere end traditionelle acceleratorer ..... og lavere end andre fotonakselatorer," sagde Bernstein.