Naukowcy stworzyli największą na świecie sztuczną sieć neuronową

NVIDIA poinformowała o wynikach współpracy z zespołem naukowców Uniwersytetu Stanforda nad stworzeniem największej na świecie sieci neuronowej, służącej modelowaniu mechanizmu przyswajania wiedzy przez ludzki mózg. Sieć jest sześć i pół razy większa od poprzedniej rekordzistki, którą opracowała firma Google w 2012 roku.

Komputerowe sieci neuronowe są w stanie „nauczyć się” jak modelować zachowanie mózgu — w tym rozpoznawania obiektów, postaci, głosów i dźwięków w taki sam sposób w jaki robią to ludzie.

Jednak tworzenie wielkoskalowych sieci neuronowych jest wyjątkowo wymagające pod względem obliczeniowym. Dla przykładu, firma Google zbudowała swoją sieć neuronową, która nauczyła się rozpoznawać koty w filmach w serwisie YouTube, w oparciu o około 1000 serwerów wykorzystujących procesory centralne (16 000 rdzeni). Sieć zawierała 1,7 miliarda parametrów, będących wirtualnym odzwierciedleniem połączeń między neuronami.

Natomiast zespół ze Stanforda pod kierownictwem Andrew Ng, dyrektora Laboratorium Sztucznej Inteligencji na tym uniwersytecie, utworzył równie obszerną sieć używając zaledwie trzech serwerów wyposażonych w akceleratory graficzne NVIDIA, które przyśpieszają proces przetwarzania wielkoskalowych danych generowanych przez sieć. Za pomocą 16 serwerów akcelerowanych przez procesory graficzne NVIDIA, zespół utworzył sieć neuronową obejmującą aż 11,2 miliarda parametrów, czyli 6,5-krotnie większą od tej zaprezentowanej przez Google w 2012 roku.

Im większa i bardziej wydajna jest sieć neuronowa, tym większa jest jej dokładność w realizacji zadań, takich jak rozpoznawanie obiektów, dzięki czemu komputery mogą lepiej odzwierciedlać ludzkie zachowanie. Pracę dotyczącą badań przeprowadzonych przez naukowców z Uniwersytetu Stanforda opublikowano wczoraj podczas międzynarodowej konferencji ICML.

„Ponieważ akceleratory graficzne cechują się o wiele większą wydajnością obliczeniową niż procesory centralne, użytkownicy otrzymali możliwość tworzenia wielkoskalowych sieci neuronowych stosunkowo niewielkim kosztem”, powiedział Sumit Gupta, dyrektor generalny jednostki biznesowej ds. akceleratorów obliczeniowych Tesla w firmie NVIDIA. „Teraz każdy naukowiec lub firma mogą sięgnąć po techniki uczenia maszyn w celu rozwiązania wielu praktycznych problemów. Wystarczy jedynie kilka serwerów akcelerowanych przez procesory graficzne.”

Akceleratory graficzne sercem systemów uczenia maszynowego

Systemy uczące się to szybko rozwijająca się gałąź pola sztucznej inteligencji, w której naukowcy próbują stworzyć komputery wykonujące czynności, do których nie zostały wyraźnie zaprogramowane. W ostatnim dziesięcioleciu uczenie maszyn umożliwiło stworzenie samodzielnie prowadzących się samochodów, skuteczniejsze wyszukiwarki internetowe oraz przyczyniło się do lepszego poznawania genomu ludzkiego. Wielu naukowców uważa, że jest to najlepsza metoda osiągnięcia sztucznej inteligencji, która dorównywałaby ludzkiej.

Jedną z firm wykorzystujących akceleratory graficzne w tym zakresie jest Nuance, wiodący producent oprogramowania do rozpoznawania mowy i technologii umożliwiających naturalne posługiwanie się językiem. Nuance uczy swoje sieci neuronowe rozpoznawania mowy użytkowników, serwując im terabajty plików dźwiękowych. Wyszkolone modele rozpoznają wzór mowy, dopasowując je do przyswojonych wcześniej wzorów.

„Akceleratory graficzne znacznie przyśpieszają proces szkolenia naszych sieci neuronowych na podstawie dużych ilości danych, dzięki czemu możemy szybko rozwijać nowe algorytmy i techniki szkoleniowe”, powiedział Vlad Sejnoha, dyrektor generalny ds. technologii w firmie Nuance. „Powstałe modele znacznie zwiększają dokładność podstawowych technologii Nuance przeznaczonych dla rynków medycznych, komercyjnych i mobilnych.”

NVIDIA prezentuje swoje technologie w tym tygodniu na międzynarodowej konferencji poświęconej superkomputerom (ISC 2013), odbywającej się w Lipsku w dniach 16-20 czerwca (stoisko numer 220).

Źródło: Gammapr.pl