HTML

IDDQD

Félkomoly játékblog azoknak, akik tudják, mi az IDDQD, és azoknak, akik nem. Kazuárokat is szívesen látunk.

Itt támogathatsz minket

PayPal:

Patreon:

 patreon_fejlec_kicis.png

Utolsó kommentek

Nulláról ver rommá egy tanuló algoritmus több játékban is

2015.01.28. 15:57 Stöki

Kicsit messziről indítom a posztot: emlékeztek még a Black & White-ra? Peter Molyneux akkor még frissen gründolt cégének, a Lionhead Studiosnak volt az első játéka. A készülését elég nagy figyelem övezte a kilencvenes évek végén, hiszen ez volt Molyneux első megint független játéka az EA-s rabiga után. Aztán a nagy ígéreteket csak részben váltotta be, de a fejlesztésről a játék készülésekor nyilvános naplót vezettek, ami elég szórakoztató volt. Abban tűnt fel Demis Hassabis neve, akit amolyan programozó csodagyerekként kezeltek. A lenti képen ő a Molyneux-től balra látható ülő figura (fölötte pedig Steve Jackson, a Jackson-Livingstone-féle lapozgatós kalandkönyvek egyik szerzője, de ezt csak érdekességként jegyzem meg).

lionhead.jpg

Hassabis huszonegykét éves volt akkor, de 17 éves kora óta már Molyneux mellett dolgozott, 1998-ban, 22 éves korára pedig már eljutott oda, hogy elszakadt mesterétől, és saját játékgyártó céget alapított. Az Elixir Studios nem volt sikeres cég (két megjelent játéka közül az Evil Genius egész szórakoztató volt, de az is megbukott), és Hassabis igazából csak a cég becsődölése után találta meg azt a területet, amire mindig is hivatott volt: a kognitív idegtudományokat, illetve a mesterségesintelligencia-programozást. Elkezdett komoly tudományos szaklapokban publikálni, aztán 2011-ben MI-startupot alapított DeepMind néven, amit tavaly januárban a Google hopp, 400 millió dollárért meg is vett (igen, az több mint 110 milliárd forint). Akit bővebben érdekel a dolog, itt van Hassabisszal egy jó kis interjú.

De mindez csak előzmény, amiért blogposztot ér a téma, az az, hogy Hassabis a jelek szerint nem tudott teljesen elszakadni a játékoktól: régi Atari 2600-játékokat használt fel egyik új kutatásához. A kutatási területet úgy hívják, hogy deep reinforcement learning, és ötvöz két gépi tanulási módszert: a megerősítéses tanulást és a DeepMind specialitását, a mélytanulást. A megerősítéses tanulás elve nagy vonalakban annyi, hogy a gép próbálkozik megbirkózni egy feladattal, aztán a kapott eredmény alapján finomítja a további próbálkozásait, és így egyre ügyesebb lesz. Ha például egy videojátékban korán elbukik egy ponton, akkor legközelebb mást csinál; ha továbbjut, akkor meg megjegyzi, hogy mit csinált jól.

brain_circuit_board.jpg

Videojátékoknál maradva, azért nehéz feladat játékokra tanuló algoritmusokat írni, mert sokszor csak jelentős idő elteltével derül ki, hogy a választott stratégia sikeres volt vagy kudarc (pl. az, hogy a Space Invadersben egyre lejjebb jönnek az űrlények, és ha nem ritkítjuk őket módszeresen, akkor végül leérnek az űrhajóhoz, ilyen elem). Itt jön képbe a mélytanulás, aminek lényege az, hogy a különféle típusú adatokat több rétegben, több szinten is feldolgozzák. Képalkotásban vannak ennek nagy eredményei, például egy állatot vizsgálva egy mélytanuló algoritmus felismerheti, hogy az állat gerinces, aztán azt, hogy emlős, aztán azt, hogy macskaféle, aztán azt, hogy pöttyös macskaféle, aztán azt, hogy leopárd. Persze ez egy nagyon-nagyon egyszerű példa, a mélytanulás-kutatásokban óriási adattömegeken dolgoznak sokkal bonyolultabb algoritmusok, rengeteg adatot rendszereznek hasonló módon.

A deep reinforcement learning (megerősítéses mélytanulás) tehát a fentieket ötvözi, és a videojátékok esetében az is nehézséget jelentett, hogy "adat" csak az volt, amit a játékos is lát a képernyőn. Ennek fényében is lenyűgöző, hogy Hassabis csapata készített egy olyan általános architektúrát és tanulási algoritmust, amit több Atari-játékra ráeresztve elérték, hogy az algoritmus végül jobban játszott, mint arra az ember valaha képes lehet.

Hét játékon próbálták ki ugyanazt a rendszert, és előzetesen semmi információt nem adtak az algoritmusnak. A rendszer persze eleinte mindig bénázott, aztán ahogy tanult, egyre ügyesebb lett, végül három játékban (Breakout, Pong, Enduro) felülmúlta az emberi teljesítőképességet, egyben (Beam Rider) pedig közel úgy teljesített, mint egy emberi játékos. Ez azt jelenti, hogy maradt három játék (Q*bert, Seaquest, Space Invaders), amiben az algoritmus nem teljesített fényesen, és az is igaz, hogy az Atari 2600 játékai nem a legbonyolultabbak, de az MI-kutatásban a publikáció így is óriási eredménynek számít (a kulcsszavak: ugyanazt az algoritmust használták, és mindig nulláról kellett tanulnia, előzetes információk nélkül).

Csodálatos korban élünk, hölgyeim és uraim.

59 komment

Címkék: atari pong játék és tudomány demis hassabis deep learning deepmind

A bejegyzés trackback címe:

https://iddqd.blog.hu/api/trackback/id/tr87117845

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Burwor · http://loot.blog.hu 2015.01.28. 16:40:37

Kerestem hozzá videót. Remélem nem lőttem nagyon mellé
www.youtube.com/watch?v=SZ88F82KLX4

Stöki · http://iddqd.blog.hu 2015.01.28. 16:43:30

@Burwor: Nem, köszi, berakom a posztba is.
Q-learningnek nevezték el a technológiát, gondolom azért, mert hosszú volt mindig deep reinforcement learninget mondani.

2015.01.28. 17:05:56

@Stöki: vagy azért, mert a Q*bertet nem sikerült még megverni :)

Sunsetjoy · http://retemu.blog.hu 2015.01.28. 17:25:14

@-Szűcs Gyula-: Jók ezek az arcok, hogy játékok terén is ott voltak, pl. Ian Livingstone dolgozott együtt magyarokkal C64-es játékfejlesztésben.
Nem személyesen, de folyamatos kapcsolatban lehetett velük, hiszen a játék (Eureka!) készítése közben írta meg a szöveges kalandjáték sztoriját időhiány miatt, így folyamatosan kellett beírni a programba a sztorit :)

manson karcsi · goo.gl/FVvVX 2015.01.28. 17:59:22

komisz hassabis lesz a skynet megalkotója, szerintem most húzuk karóba, míg lehet.

Cherrx 2015.01.28. 21:49:18

A Kandón MI szakirányon tanultam, mi is foglalkoztunk neurális hálókkal, játékelmélettel, rezolúcióval, stb. Nem kissebbíteni akarom az eredményt, hanem elgondolkodtam rajta, és valószínűnek találom, hogy azért épp abban a három játékban jeleskedett az MI, mert azok voltak a legkorábban konzekvensek a jutalmazásban. Például a pongban vagy a breakoutban erős az összefüggés a visszaütési esemény (ami korán jön) és a győzelem közt, hasonlóan a Beam Rider shoot-em-up stratégiája sem olyan összetett, mint az Invaders-é (bár ez előbbivel nem játszottam, csak feltételezem), vagyis hamarabb jön a találat és a végső győzelem közti összefüggés.

Palladrin 2015.01.28. 22:16:02

Akkor ez most a SkyNet?

Mészáros Laci 2015.01.29. 06:11:52

@Palladrin:

Amennyiben a világ azonos a Space Invaders-sel :)

Mészáros Laci 2015.01.29. 06:13:17

@Cherrx:

Az MI rendszerekben rejlő fenyegetést én is komolynak érzem, a szűk keresztmetszetük a tanulás: az embernek is húsz év mire nagyjából felnőtt lesz és még tíz, mire érett - egy számítógépes MI rendszer számára miért lenne ez sokkal gyorsabb?

Rainse · http://bugnews.blog.hu 2015.01.29. 07:51:40

Néhány év és jönnek a terminátorok! FUSSATOK BOLONDOK! XDDD

Rémbódess 2015.01.29. 08:28:21

@Mészáros Laci: Miért ne lehetne jóval gyorsabb? Ha nem a fizikai világ (azaz valós idejű események) megfigyelésével és értékelésével tanul, hanem meglévő adathalmazok (pl. enciklopédiák) közötti összefüggések "bemagolásával", akkor a hardver sebessége a mérvadó. Tehát lehet, hogy az érettségi követelményekhez szükséges lexikális tudást pár perc alatt szerzi meg, új nyelvet meg másodpercek alatt megtanul. Akár még úgy is, hogy a hanganyagokat olyan nagy sebességgel hallgatja meg, ami az emberek számára már felfoghatatlan. Egy gép számára nem korlát az emberek évmilliók alatt kialakult "időészlelése". Egyébként szólnak erről scifi regények is, hogy a mesterséges intelligenciák számára az emberekkel történő interakció mennyire unalmas, mert "évezredeket" kell várni, mire választ kapnak egy-egy kérdésükre az emberektől...

paráznabillegető 2015.01.29. 08:51:04

@Rémbódess: és arra mikor jön rá az MI, hogy mi az a manipuláció? lexikálisan az is ott van a neten... na majd akkor lesz izgi.
amúgy én nem érzem veszélyesnek ezt a hisztit az ébredő tudattal, mivel szerintem kurvára messze van az ember a megvalósításától. ezek a mostani eredmények parasztvakítások, extrém korlátozott körülmények között hatékonyak, ugyanakkor nagyszerűek, megkönnyítik majd az életet, ilyesmi.

DS90 2015.01.29. 09:12:32

Amugy Bill Gates is a legutolsó Reddites AMAjában azt mondta hogy nem érti hogy az emberek miért nem félnek/aggódnak jobban a tényleges szabad MI miatt

paráznabillegető 2015.01.29. 09:19:34

@DS90: bill gates hülye. pont azért nem félnek az emberek az MI-ből, amiért nem csinálnak garázsból globális multicéget.
ha ezt megérti, nem kérdez majd ekkora ordas hülyeséget...

larry 2015.01.29. 09:27:31

Most akkor az lesz, hogy jön Schwarzenegger, mindenkit lever Pongban, és vége lesz a világnak.

Mészáros Laci 2015.01.29. 09:35:40

@Rémbódess:

Amit felsoroltál, jobbára lexikális tudás. A mesterséges intelligenciának nem ez a lényege, hanem a sokszintű hierarchiába rendezett asszociatív tárolás és a "legjobb" asszociáció kiválasztása.

Az agy tanulási sebességét nem (csak) az idegsejtek jelterjedési sebessége korlátozza, hanem a "külvilág" is, a cselekvésre nem kap azonnal választ.

Két szoftver egymással amőbázva nagyon gyorsan tud tanulni, de nem számítógépes világhoz csatlakozó tanulásban a világ sebessége is korlátoz.

Cherrx 2015.01.29. 10:00:43

@Mészáros Laci:
Nos, szerintem a hardveres alap már most is megvan, ami egy emberi szintű MI-hez szükséges. Lehet, hogy a szoftver is, csak épp mi még nem tudunk róla. Pár évvel ezelőtt komolyabban foglalkoztam vele, úgy gondolom hogy amit én kigondoltam, az is jó módszer lenne egy ilyen MI létrehozására (most nem részletezem).
A tanulási folyamat erősen párhuzamosítható, ezért nem annyira fontos a "külvilág" válaszideje. Egyszerre kommunikálhat milliónyi csetelő gyerekkel, felnőttel, tudóssal, hazuggal, álszenttel, őszintével, szexistával és gamerrel. A többiekben nem vagyok biztos. :-) De talán még a humor sem jelenthet gondot.

_Epikurosz_ 2015.01.29. 10:03:27

@Cherrx: Hmmm... Próbálná csak ZUN játékaival. :D Azokon gyakorolva szerintem drónt lehet tanítani. Tegnap láttam egy római gyertyával felszereltet, de nem közölték, hogy az irányítás milyen.

Holnapután indul egy calteches AI, ott a kiírás szerint képfeldolgozás is lesz, amit a múltkor hiányoltunk. Python required (könnyű, keress rá, és tanuld meg 1 hét alatt. Nem vicc.).

Bobby Newmark 2015.01.29. 10:04:36

@Mészáros Laci: Viszont az már csak a második lépés, terminátorok nélkül amúgy sem értheti meg teljesen a kinti világot. :) Kellenek az autonóm mobil egységek, amik elsődlegesen a világgal vannak interakcióban.
De arra már ráér a tanulással, addigra kimentek már az atombombák.
:P

Mészáros Laci 2015.01.29. 10:31:47

@Cherrx:

Hardveres alap: kb tízmilliárd számítógép kb százdimenziós adaptív pont-pont hálózatba kapcsolva? Szerintem még nincs ilyen :)

A külvilág válaszideje nem lesz gyorsabb attól, ha a számítógépet párhuzamosítjuk (kilenc nő sem tud egy hónap alatt kihordani egy gyereket).

Mészáros Laci 2015.01.29. 10:58:51

@Bobby Newmark:

Hát az elképesztő, milyrn kritikus renfszereket is internetre kapcsolnak manapság.

Bár a "mil" domainnevű szerver azért ritkul.

_Epikurosz_ 2015.01.29. 11:05:51

@Mészáros Laci: "mil" hehehe... ki volt az a .... mehehehe.... sorry.

@Cherrx: a humorral az a gond, hogy függ a beszédhangsúlytól is, ahogy sok érzelmi alapú üzenet is. Meg a résztvevők személyes humorérzékétől, lásd anyósviccek vagy Charlie Hebdo.

_Epikurosz_ 2015.01.29. 11:07:18

@Rémbódess: Még jó, hogy az "unalmas" nevű érzelmi választ is bele kell programozni ahhoz, hogy azt használni tudja.

Savior 2015.01.29. 11:14:59

@Mészáros Laci: Gyorsabb nem, de az áteresztőképessége megnő. Diszkrét esetben ha pl. egy állapotból van 100 átmeneted más állapotokba, és egyszerre 10 kísérletet tudsz elvégezni, akkor 10x olyan gyorsan leszel képes kiértékelni őket, mintha csak 1 alanyod lenne. Ue. a chatelésnél is: használhat különböző stratégiákat egyszerre kiértékelve többet is.

@Rémbódess: azért azt megnézném, hogy egy nyelvet másodpercek alatt megtanuljon. :) Most eltekintve a párhuzamos korpuszok problémájától is, ahhoz, hogy ilyet tudjon, (ez már tényleg emberi szint,) nem ártana az sem, ha a szimbólumokat össze tudná kapcsolni valós dolgokkal. Az egy dolog, hogy látja leírva ezerszer, hogy "macska", de ha nem tudja, mi az, akkor bizonyos dolgokat sosem fog tudni produkálni.

Legalábbis szerintem; most belegondolva sok információt össze lehet szedni pusztán szöveges alapon... meglátjuk.

Cherrx 2015.01.29. 11:48:25

@Mészáros Laci: "kb tízmilliárd számítógép..." olyan nincs, de nem is kell (szerintem).

A hasonlatod a szülő nőkről ebben az esetben nem illeszkedik a feladathoz. Az MI rendszer eleve, belülről párhuzamos felépítésű, biztos vagyok benne, hogy a posztban említett játszószoftver is tele van párhuzamos folyamatokkal, így ér el kivárható sebességet. Emiatt több csatornán is képes lehet egyszerre tanulni. De ha ezt nem hiszed, elég, ha arra gondolsz, hogy tegyük fel, az MI először megtanul valamit lassan egy embertől (mert szerinted a külvilág válaszideje lassítja csupán). Ezt a pici okosabb MI-t lemásoljuk, kettő lesz belőle. Ezek egyenként tanulnak más-más emberektől (lassan, szerinted), majd gyorsan (!!!) megtanítják rá egymást (itt már nem számít a külvilág reakciósebessége szerinted sem, ugye?). És így tovább, exponenciálisan növekedve a tudásbázis egyre párhuzamosabban, egyre gyorsabban gépi szintre kerül.

Alick 2015.01.29. 12:06:30

Ha szélesítjük a környezeti kontextust, a MI egyre nehezebben birkózik meg a helyzettel.
Egy olyan komplex feladatnál mint a sakkjáték, még nem tart sehol a nulláról való tanulás...

Alick 2015.01.29. 12:07:52

...és akkor még hol vagyunk a hétköznapi világ komplexitásától..

Cherrx 2015.01.29. 12:15:36

@Alick: A nulláról való tanulás az embereknél sem létezik. Egy újszülött csecsemő már iszonyú sokat tud, ezt a tudást az evolúció során évmilliók alatt alakította ki a természet: kell egy alap, amin elindulhat egy ember.
A postban említett nulláról indulás is egy illúzió. Inkább úgy kellene fogalmazni, hogy "közös alapról indulás" minden játék esetében.
Az MI létrehozásában fontos az alapok megteremtése, és az a rendszer, ahogyan ezt bővíti.

Bobby Newmark 2015.01.29. 13:02:07

@Mészáros Laci: Ja, elképzelem, ahogy az első mesterséges intelligencia majd úgy jön létre, hogy ráeresztenek egy kupac adatra egy ilyen önfejlesztő algoritmust, aztán csak néznek, hogy "mi a tökömet csinál ez? már megint milyen bugot hagytunk benne?"
Aztán a gép egyszercsak kiszól, hogy "Hello, Dave".

:P

Mészáros Laci 2015.01.29. 13:04:50

@_Epikurosz_:

Ja, csak annyi, hogy régebben voltak ".mil" levelezőpartnereim (magyarok :)) mostanában gondolom már valamilyen free vebes levelezőrendszert használnak (és csak otthonról).

De azért néha elképeztő hová jutnak be a hackerek. És most nem a stuxnetre gondolok, mert az egy komplett titkosszolgálati akció volt.

---

Mészáros Laci 2015.01.29. 13:05:38

@Cherrx:

...vagyis hatékony alapot kell megteremteni és köré egy hatékony struktúrát. A feladat sajnos nem megoldhatatlan.

_Epikurosz_ 2015.01.29. 14:12:49

@Mészáros Laci: magyarok... na jóvan, nem is lenne ez a Föld nevű bolygó, ha nem mi, magyarok csinálnánk ilyesmit.

@Cherrx: @Mészáros Laci: a közös alapról indulás, hát, kell egy célfüggvény, és annak játék végi értékelése, összpontszám, ötös, egyes... valami visszajelzés a nyavalyásnak, ha már reinforcement learning. Meg kellenek megfigyelhető ojjektumok. Meg választási lehetőség, legalább annyi, mint Kádárnak volt. Meg kell valami játékmenet, amire lehet számítani, és idő- vagy lépésfüggő, mert egy egyszeri játéknak viszonylag egyszerű kiszámítani az optimális stratégiáját, oda megfelel egy Nash-egyensúly, nem kell tanulás.

Ha jól tudom, az a lényeg, hogy hogyan dolgozza fel a játék infóit a gép, és milyen következtetéseket von le belőle. A neurális háló pl. tök jól tudja tárolni az optimalizált adatokat, ahogy nézem, pont a részletes memória helyett használják. A reinforcement meg válogat a neurális adatai közül, és azok alapján dönt. Merthogy a neurális háló alapvetően értéksemleges egyéniség, neki a kimeneti függvény értékei nem okoznak bosszúságot, ő csak megmutatja őket. A RL részlegnek, aki menedzseli a játékot.

Viszont van egy óriási hibája a neurális hálónak: valójában igen nehéz interpretálni, hogy a gép pontosan mit tanult meg egy adott helyzetből, és így nehéz kontrollálni, ha le akarunk zárni előle bizonyos, a játékban meglevő döntési utakat. Itt van benne az etikai csavar, hogy nem tud kommunikálni, emberi módon, hogy ember beleszóljon az ő picike életébe. Ami egy számítógépes játéknál, ami csak Atari-t szimuláló virtulális gépen létezik, még elmegy, de amint egy fizikailag is létező valamit irányít, a kolléga önfejűvé válik. Esetleg nekimegy valaminek, holott ugyebár nem kéne.

Mészáros Laci 2015.01.29. 14:16:58

@_Epikurosz_:

egy játékot könnyű értékelni, mert ott magában a játékban benne van az értékelés. de gondolj a sakkra: végigjátszani és merengeni hogy ez a lépéssorozat nem volt jó... hát az nem annyira megy. az egyes lépések eldöntésénél meg az a nagy tudás, hogy a lépés nyomán kialakuló állás mennyire jó. ez van benne egy Lékó Péter fejében és nincs benne az enyémben. Megtanulni pedig sokáig tart. Még egy gépnek is, hiába kegyek 3 GHz-en, 1024 magon, csillió gigabyte memóriával. Pedig a gépet a sakkprogramok fejlesztésében szerzett több évtizedes tapasztalattal programozták. Lékó Péter biztosan nem elemez egymilliárd állást másodpercenként.

Mészáros Laci 2015.01.29. 14:17:41

@_Epikurosz_:

"Ami egy számítógépes játéknál, ami csak Atari-t szimuláló virtulális gépen létezik, még elmegy, de amint egy fizikailag is létező valamit irányít, a kolléga önfejűvé válik."

Etikát is kell tanítani :)

_Epikurosz_ 2015.01.29. 14:30:30

@Mészáros Laci: vannak hivatalos sakkelemzések lapokban, azokból is lehet tanulni, így tanulnak a nagyok is. Mondjuk egy jósági pontértéket kaphat egy-egy álláshoz tartozó lépési lehetőség, Végülis, ott van a jelzés nélküli lépés, a ??-s, a ?-s, a !-s, a !!-s. Az viszont tény, hogy backpropagation-höz kicsit hosszú, bonyolult, és hullámzó értékű is lehet a játék. Viszont ha teszünk bele közbenső értékelőket, akkor már lehet vele valamit kezdeni.
Etikának jó lenne a Három Törvény, de a helyzetfelismerő képessége bűnrossz a robotoknak. Bár lehet, hogy a japánok már beépítettek valami ilyesmit, nem lennék meglepve, öregeket gondozó robotokat fejlesztenek.

Mészáros Laci 2015.01.29. 14:42:25

@_Epikurosz_:

Kezdetben rossz a helyzetfelismerő képessége az embereknek is, de tanulnak.

Érdekes olvasmány MI szemszögből Mérő könyvei (Észjárások, Mindenki másképp egyforma, Az érzelmek logikája, stb). Utána pedig pszichológiai önyvek (Alice Miller például - A tehetséges gyermek drámája.). Legalábbis egy magamfajtakockafejű mérnök számára.

_Epikurosz_ 2015.01.29. 14:54:29

@Mészáros Laci: az emberek a nyelvet együtt tanulják a helyzetekkel. A gépeknek sokszor nincs meg az összes szenzoruk. Az egyiket úgy tanították meg ruhát hajtogatni, hogy megnézték, hogy is csinálják azt a vakok.

_Epikurosz_ 2015.01.29. 15:03:05

@Mészáros Laci: Jung is érdekes, bár eléggé meta. :)

Mészáros Laci 2015.01.29. 15:09:16

@_Epikurosz_:

Jah, erről jut eszembe. Gyógypedagógusok tapasztalata, akik rengetegfajta sérültséggel születtek. Van *egy* olyan sérültség, amely nagyon durva negatív hatással van a szellemi fejlődésre: a súlyos nagyothallás illetve siketség. Ha a gyerek nem tanul meg beszélni, hiába lát, tapint, szagol: súlyosan értelmi fogyatékos marad. Vannak olyan emberek, akiknél felnőttkorukban diagnosztizáltak elképesztő agysérüléseket, amelyeket a csecsemőkori fejlődés során "kompenzált" az agy, más területek átvették a hiányzó részek feladatát. De ha csecsemőkorban nincs hallása az embernek, akkor rettentően lemarad.

Mészáros Laci 2015.01.29. 15:14:22

@_Epikurosz_:

Jung (nekem) nagyon meta... azért pont Alice Millert hoztam, mert logikus a gondolkodása, még egy mérnök számára is érthető, ok-okozati összefüggéseket mutat be.

Például: hogyan tanul a gyerek? Hibázik és újra próbálkozik, mindaddig, amíg végül sikerül. Eközben (láthatatlanul) nem csak járni, kanállal enni, tornyot építeni tanul meg, hanem egy "pszeudo-tudást" is felszed: a kudarctűrést, azt, hogy legyen kitartó.

A tehetséges gyereknek sok minden sikerül elég hamar. Csak nem tanul meg "tanulni a hibákból." Eljön a kamaszkor, ezzel együtt egy olyan (elvárt) tudásszint, amihez a tehetség már kevés, ahol már erőfeszítésekre lenne szükség. És itt derül ki, hogy ha valami nem megy elsőre, a tehetséges gyerek csalódott lesz. Eközben a kevésbé tehetséges nekifut ötször és megcsinálja.

Na ilyen tanulási mechanizmusokat hogyan fogunk MI-ben implementálni? És hozzávaló türelmes tanárokat?

_Epikurosz_ 2015.01.29. 15:50:30

@Mészáros Laci: Igen, ez a fajta szociális tanulás nagyon sokrétű, és még azt is feltételezik, hogy az emberi gondolkodás nem lehetséges vagy nehezen kivitelezhető szavak nélkül.

A kudarctűrés úgyis benne van a gépben, az soha nem lesz hisztis, nem úgy, mint a programozója. :DDD Inkább a tehetséget hiányolnám a gépből. Nagyon-nagyon-nagyon sokszor kell megpróbálnia pl. egy mozgást, az én szimulált kisvacakom 10000 ismétlésnél kezdett értelmesen próbálkozni, a Boston Dynamics meg kb. 4 éve tanít egy gépet olyan mozdulatsorra, ami egy kutyának max. 2 hónap.

Mészáros Laci 2015.01.29. 16:07:18

@_Epikurosz_:

Van egy csomó "előre beépített" mechanizmus.
A járás és egyensúlyozás pl látszólag tanult dolog.
Pedig van egy agyterület, aminek ez a dedikált feladata (sok más "ősi" funkció mellett - ez a kisagy). De lehet kisagy nélkül élni:
index.hu/tudomany/2014/09/11/nincs_kisagya_egy_24_eves_kinai_nonek/
Tehát egy kisagyi funkciót pótolni tudott más agyterület (ha nehezen is).

No meg, mi van akkor, amikor csontrészegre iszom magam és azon kacagok, hogy hazafelé menet dülöngélve kihasználnom a járda teljes szélességét, miközben nem esek el! Tehát az alkohol csúnyán elrontja a mozgáskoordinációt, de ennek ellenére van valami egyensúlyozó funkció, ami a rettentően rossz mozgáskoordinációt kompenzálva is igyekszik megóvni az arcra eséstől (néha persze nem sikerül).

A TANULÁSRA való erős késztetés illetve képesség is egy ilyen "bedrótozott" dolog lehet.

_Epikurosz_ 2015.01.29. 16:08:07

@Mészáros Laci: Egyébként a Tigrisanya módszerei a fizikailag tehetséges gyereket fölfele húzzák, azaz a tehetségesbe is ugyanúgy beletenni a napi 3 óra zongorázást, mint az ügyetlenbe, csak hát ő tovább jut, mint a többi kis kínai. Ugyanakkor ez megölheti a kreativitást. A korai fejlesztés, az, hogy megtalálja neki a megfelelő közeget, ami egyszerre jó a gyermeki lelkének és a fantasztikus tehetségének, ahogy azt Ben Tao is csinálta, szintén segít. Egyszerűen csak nem szabad unatkozni hagyni, hanem ha egyetemi tanár kell neki, akkor szerezni mellé egyet. A kudarctűrésre pont a professzorok fogják megtanítani, mert nekik is meg kellett azt tanulni. Ugyanakkor azt is, hogy kiszűrjék a sehova nem vivő dolgokat.

_Epikurosz_ 2015.01.29. 16:16:10

@Mészáros Laci: A csontrészegre ivás esetére ott a The Scotsman című klasszikus (18). Az egyensúlyszervünk ugyebár a fülünkben van, folyadékkal működik, tehát effektíve fizikát használunk hozzá, ennek a közvetlensége segíthet.

A tanulási ösztön minden állatban benne kell hogy legyen, amelyik nevelődik. A nyúl a különböző füvek egyensúlyát tanulja az étkezésben, az embergyerek egy kicsit többet. Általánosságban, ha már vigyázni kell az utódra, ajánlatos, hogy az jóban legyen a felnőttel, aki őt neveli. Ebből már talán kis ugrás, hogy akár csak megfigyeléssel, de tanul is valamit, nem csak eszik és alszik. Vadászni is tanítják azt, amelyik arra született, visszavadításnál az ember tanítja amennyire tudja, de ott is van rá ösztön.

Mészáros Laci 2015.01.29. 16:17:13

@_Epikurosz_:

A titok (a tehetséges gyerek esetén) csak annyi, hogy nem a teljesítményt kell elismerni, hanem az erőfeszítést. Nem az a kulcsszó, hogy "ügyes vagy", hanem az, hogy "látom, nagyon sokat dolgoztál ezért" (ha tényleg sokat dolgozott). Persze kamaszkorban ezt már kb ötvenszer nehezebb elkezdeni, mint háromévesen... A kreativitást pedig az őrzi meg, ha hibázás (a tehetséges gyereknél csakúgy, mint az átlagosnál) természetesnek tartjuk és a tanulás lehetőségét mutatjuk meg minden hibában:

Szakirodalom (erről):

www.scientificamerican.com/article/the-secret-to-raising-smart-kids1/

- Nehéz feladat, de épp ez benne a jó.
- Beszélgessünk arról, hogy ki mivel küzdött a legtöbbet a mai napon és mit tanult belőle. Én kezdem.
- A hibák nagyon izgalmasak. Itt egy csodálatos hiba, nézzük, mit tanulhatunk tőle.

Mészáros Laci 2015.01.29. 16:21:08

@_Epikurosz_:

Na ez az: vannak beépített reflexek (tucatnyi csecsemőreflexet ismernek a gyerekorvosok, amelyek kisgyermekkorra általban visszafejlődnek - szopóreflex, fogóreflex, összerezzenési reflex stb), és van egy csomó ÖSZTÖN, amit nem tanulunk, hanem belénk van programozva.

az AI-be ezeket az ösztönöket a programozóknak kell beépíteni, de úgy, hogy felülírhatóak, módosíthatóak legyenek, tehát a tanulási mechanizmussal legalábbis párhuzamos legyen.

A robotika 3 törvényéről meg Asimov írt egy csomó novellát, hogy milyen ellentmondásos helyzetekhez vezet a merev értelmezés. Stanislaw Lem (más szemszögből) is írt novellákat a robot-logika buktatóiról (Trurl és Klapanciusz meséi, asszem Kiberiáda címmel jelent meg)...

***

Most megyek szánkózni a gyerekekkel.

_Epikurosz_ 2015.01.29. 16:28:18

@Mészáros Laci: A tehetséges gyereknél nem csak az erőfeszítés elismerése a fontos, hanem hogy lássa, hova lehet még fejlődni. Valaki úgyis meg fogja neki mondani, hogy a korához képest fantasztikus, ezt nem lehet elkerülni. Annak tudatosítása, hogy van feljebb, segíthet elkerülni a beképzeltséget és az unalmat.

Jó szánkózást! :D

Sztyepan Asztahov 2015.01.29. 18:54:59

Szerintem még évtizedekre, vagy évszázadokra vagyunk a mesterséges intelligenciától. Az MI egy olyan mesterséges entitás, ami rendelkezik intuícióval, akarattal és érzelemmel. Ebből következően öntudatja van.

Amiket a hétköznapokban mesterséges intelligenciának nevezünk, az nem más mint egy szofisztikált algoritmus, utasítássorozat. Tök mindegy, hogy éppen sakkozik, beszélget, vagy képes tanulni az adott MI (napjainkban még elég bénán). Úgy érzem szoftveres úton sohasem juthatunk el az öntudathoz, mert csinálhatunk akármilyen bonyolult tanuló algoritmust, az az adott program mindig csak a saját utasítássorozata alapján fogja végezni a dolgokat, legyen az algoritmus akármilyen összetett és adjon a programnak akármilyen tág keretet is. Utasítássorozattal nem állítható elő sem az akarat sem az intuíció.

Csak hardveres úton juthatunk el az akarthoz, intuícióhoz, öntudathoz. Olyan hardvert kell építeni, ami emberi idegrendszert másolja az egy az egyben. Ugyanis jelenleg az emberi idegrendszer az egyetlen olyan ismert struktúra az univerzumban, ami öntudattal rendelkezik. Mivel ez a kémiai-biológiai struktúra intuíciót, akaratot "állít elő", így arra az azt utánzó elektronikus- fizikai struktúra lenne. Magyarul olyan gépet kell építeni, ami ugyanannyi áramkörrel rendelkezik, mint amennyi kémiai kötés az idegrendszerben van. A mostani 0 és 1 állapot helyett legalább annyi állapotot kell tudni felvenni a rendszernek, amennyi állapotot az egyes idegrost felvesz, stb..
Ettől még baromi messze vagyunk, mert az orvostudomány még nem vezette vissza a személységet impulzusok (elektronegativitási hullámok) rendszerére, még azt se ismerjük pontosan, amit másolni kellene. Másrészt a technológia se adott hozzá. A kvantum gépekről hallani, hogy a 0-1 helyett több állapotot tud felvenni a rendszer, de az még gyerekcipőben van.

Cherrx 2015.01.29. 22:15:39

@Sztyepan Asztahov: szerintem amit írsz, az ugyan általánosan elfogadott nézet (laikus szinten), de nem megalapozott feltevések eredménye.
Valóban, úgy képzelhetjük, hogy az "igazi" MI öntudattal rendelkezik, de ez csak elképzelés, maga az öntudat fogalma nem jól behatárolt, és megléte nem is ellenőrizhető.
Az sincs alátámasztva, hogy öntudatos gép, intuíció (stb) előállítható-e (vagy sem) utasítások végrehajtásával.
Valóban, ha feltételezzük, hogy minden embernek létezik öntudata, akkor az agy tökéletes másolatáról is feltételezhetjük, hogy kialakulhat benne, de ez egyrészt nem biztos, másrészt ha igen, akkor ez nem feltétlenül az egyedüli út.
A kvantummechanikát is szeretik ebbe belekavarni, valójában semmi köze a kvantumállapotoknak (főleg nem a határozatlansági elvnek) az öntudathoz (de ez hosszú sztori).
Viszont nem kell ennyire messzire menni. Elég, ha Turing elvét véve egy olyan gépet alkotunk, amivel való kommunikáció során nem tudjuk kizárni, hogy nincs öntudata, vagyis elég intelligens. Ennyi az MI tényleges definíciója.

Mészáros Laci 2015.01.30. 11:14:52

@Sztyepan Asztahov:

Szerintem (sajnos) nem vagyunk olyan messze.
Olvass Mérő Lászlót, aki a könyveiben (olvasmányosan) szemlézi a külföldi szakirodalmat, tehát a tényleges kutatás minimum 5-10 évvel előbbre tart. Félelmetes néha, szóval Hawking aggodalmát, miszerint az atomháborúnál nagyobb fenyegetés lóg a civilizáció fölött, én komolyan venném. Eljöhet az ideje a modern luddizmusnak.

Holnap Kapitány · http://iloveyouso.blog.hu 2015.01.30. 20:28:13

Nem tudom, csak nekem tűnik úgy, hogy ennek a dolognak sokkal, de sokkal nagyobb a füstje mint a lángja?

Mennyiben van itt másról szó, mint hogy egy tanuló algoritmus fel kell, hogy ismerjen egy másik, meglehetősen primitív gépi algoritmust (Breakout?? ne vicceljünk már!), én annak megfelelően kell alakítania saját lépéseit (melyek aztán természetesen nulla rekacióidővel játszik le, ellentétben egy emberrel). Mert ha igen, akkor ez minden, csak nem erős mesterséges intelligencia. Maximum egy látványos kísérlet.

Javítsatok ki, ha tévedek!

Holnap Kapitány · http://iloveyouso.blog.hu 2015.01.30. 20:30:26

én annak megfelelően = ÉS annak megfelelően

Cherrx 2015.01.31. 10:58:01

@Holnap Kapitány: Látod, ebben pont ez az érdekes: számodra a breakout primitív, de egy számítógép számára ez igen bonyolult feladat. Számos olyan elem található egy játékban, ami egy ember számára készségszinten, automatikusan megy, egy gépnek nehéz felismerni a lényeges elemeket, a célt, a taktikát és stratégiát.

Holnap Kapitány · http://iloveyouso.blog.hu 2015.01.31. 13:00:29

@Cherrx: hát, értem, amit mondsz, de még ilyen értelemben sem tűnik komoly probléma megoldásának az ügy. Fenntartom, hogy ez egy látványos kísérlet, nagyobb tudományos súly nélkül. (Azt sem tudom megítélni, egyáltalán milyen viszonyban van az MI-kutatásokkal.)

Holnap Kapitány · http://iloveyouso.blog.hu 2015.01.31. 18:07:08

Na, megnéztem közelebből ezt a publikációt, a legnagyobb nemzetközi tudományos referencia-adatbázisban, ami a Scopus, és a legkönnyebben elérhetőben, ami a Google Scholar.

A Scopusban (ami a kettő közül a lényegesen komolyabban vehető) nem szerepel, ami körülbelül úgy fordítható le, hogy a nemzetközi tudományos közösség számára ez az eredmény nem létezik.

A Google Scholar már indexeli, amiből kiderül, hogy szakmailag lektorált tudományos folyóiratban nem került publikálásra (pedig ez elég fontos kritériuma lenne a kutatói munkának). Egy konferencia előadásai között található meg, illetve persze a Cornell Egyetem könyvtárában, ahová leadták.

Ebből azt kell, hogy mondjam, hogy tényleg jogos volt az első benyomásom, hogy ez így, ebben a formában látványosnak látványos, de tudományosan nem nagy szám. Teljesen perfiferikus az MI-kutatásokban.

Természetesen a blogra bőven elfér, mert érdekes. És persze egy napon lehet valami komoly is belőle -- ezt senki sem tudhatja. Ha netán az lesz, Stökinek mint újságírónak megszavazhatjuk az Arany Szimat nagydíjat. :)

Keresztény szellemiségű luxuskurva 2015.02.02. 10:27:52

Sztyepan Asztahov:

Honnan tudod, hogy egy gépnek tényleg van öntudata? Megkérdezed tőle?

Sztyepan Asztahov 2015.02.02. 23:37:27

@Keresztény szellemiségű luxuskurva:
A kérdésed jogos: sehogy.

Nagyon sok vita parttalan, mert definiálják a fogalmat amiről vitatkoznak. Én úgy definiálom az MI-t mind olyan mesterséges entitás, aminek érzelmei, szabad akarata, öntudata van. Minden más nekem csak algoritmus, vagy program. Nem mondom, hogy csak ez a jó definíció, vagy mindig célravezető, de majd később elmondom, mi jelentősége van az öntudatnak és következésképp én miért ezt a definíciót szeretem. (pl.: én se javítom ki a havert, amikor elmagyarázza, hogy a starcraft 2 insane MI csal, mert 40%-al több pénzt szed a be kristályokról, nem mondom neki, helyesebb algoritmusról beszélni, mert tudom, hogy nem erről van szó, meg "értsd jól" ugyebár)
Ha úgy határozzuk meg a mesterséges intelligenciát ahogy @cherrx teszi, miszerint a mesterséges intelligencia az a dolog, ami képes elhitetni az emberrel, hogy maga is ember, akkor beismerem, nem járunk messze tőle ilyen értelemben. 10-30 éven belül lesznek algoritmusok, amelyek képesek lesznek úgy tenni, MINTHA éreznének, vagy szabad akaratuk lenne. 30 év múlva senki se fogja megmondani, hogy egy algoritmus vajon a maga bonyolult összetett utasításait követi, vagy szabad akaratából válaszolja nekünk azt, amit. Sőt úgy emlékszem, már van olyan társalgó program ami átment a Turing teszten. Az algoritmus 6 éves gyereknek adta ki magát, így elhitték róla, hogy ember. Viszont nem az a lényeg, hogy nekünk milyennek tűnik, hanem hogy tényleg van-e öntudat.

Majd holnap este folytatom, most fellövöm a pizsót és megyek aludni, hogy holnap jó erővel termeljek GDP-t.

Keresztény szellemiségű luxuskurva 2015.02.03. 15:52:16

Az Eliza nevű primitív chatbot (ahogy ma neveznénk) már 50 éve elhitetett magáról szinte mindent, pedig messze áll az intelligenstől. Szóval a természetes butaság leprogramozása már elég jól megy. :D
süti beállítások módosítása