Tämä on Plain English Papers -yhteenveto tutkimusartikkelista nimeltä <a href=" A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation</a>. Jos pidät tällaisista analyyseistä, liity <a href=" tai seuraa meitä <a href=" <h2>Mahdoton kompromissi</h2> <p>Vuosien ajan kuka tahansa, joka rakensi suositusjärjestelmää, kohtasi todellisen dilemman. Käyttäjäkäyttäytymisen sekvenssit voivat ulottua tuhansiin tai kymmeniin tuhansiin vuorovaikutuksiin. Tämän historian ymmärtäminen vaatii vastaamista petollisen yksinkertaiseen kysymykseen: kaiken käyttäjän aiemman tekemisen perusteella, mitä meidän tulisi suositella seuraavaksi?</p> <p>Vakiomenetelmä käyttää softmax-tarkkaavaisuutta, mekanismia, joka laskee yksityiskohtaiset vertailut nykyisen hetken ja jokaisen menneen vuorovaikutuksen välillä. Matemaattisesti se on elegantti. Se toimii upeasti. Mutta laskennallinen kustannus skaalautuu kvadratiivisesti sekvenssin pituuden mukaan. 10 000 vuorovaikutuksen jälkeen teet noin 100 miljoonaa vertailua vain yhden suosituksen saamiseksi. Skaalaa tämä miljoonien käyttäjien ja tuhansien suositusten kesken sekunnissa, niin infrastruktuurikustannuksesi nousevat liian suuriksi.</p> <p>Joten harjoittajat tekevät kompromisseja. He turvautuvat lineaarisiin tarkkaavaisuusmekanismeihin, jotka vähentävät laskennallista monimutkaisuutta kvadratiivisesta lineaariseksi. Matematiikka on nerokasta, ja nopeuden kasvu on todellista. Ongelma on, että tuo nopeus maksaa hinnan. Nämä mekanismit ylläpitävät käynnissä olevaa "tilaa", joka päivittyy jokaisen uuden vuorovaikutuksen myötä, mutta tällä tilalla on rajallinen kapasiteetti. Se on kuin kirjastonhoitaja, joka voi piirtää vain karkeita kuvioita pienelle lehtiölle sen sijaan, että katsoisi kokonaisia asiakirjoja. Menetät tarkkuuden, joka tarvitaan tiettyjen käyttäytymissekvenssien tunnistamiseen, jotka osoittavat käyttäjän aikomuksen.
Tämä kompromissi on määrittänyt koko alan. Tehokkaat menetelmät uhraavat tarkkuuden. Tarkat menetelmät uhraavat nopeuden. Ja käyttäjät, jotka kärsivät eniten, ovat ne, joilla on erittäin pitkät jaksot, voimakkaat käyttäjät ja raskaat osallistujat, joilla on mielenkiintoisin käyttäytyminen opittavaksi.
HyTRecin taustalla olevat tutkijat seurasivat tätä ja esittivät toisen kysymyksen: Entä jos tämä ei olekaan yksittäinen ongelma, joka vaatii yhden ratkaisun?
Miten käyttäjät oikeasti ajattelevat
Oivallus alkaa yksinkertaisesta havainnosta siitä, miten käyttäjien mieltymykset oikeasti toimivat. Sinulla on kaksi perustavanlaatuisesti erilaista mieltymyssignaalityyppiä, ja ne toimivat täysin eri aikaskaaloilla.
Pitkäaikaiset vakaat mieltymyksesi tulevat syvästä historiasta. Jos olet klikannut teknisiä laitteita 500 kertaa kahden vuoden aikana, se on vahva todiste siitä, että pidät teknologiasta. Tämä mieltymys ei juuri vaihtele viikosta toiseen. Tärkeää on, ettet tarvitse jokaista näistä 500 vuorovaikutuksesta ymmärtääkseen kaavan. Saman asian voisi oppia 50:stä tai jopa karkeasta tilastollisesta yhteenvedosta. Tämän signaalin likimääräinen tarkastelu ei menetä juuri mitään.
Lyhyen aikavälin aikomuspiikit johtuvat viimeaikaisesta käytöksestä. Jos klikkasit kolme talvitakkia viimeisen kahden tunnin aikana, ostat takkeja juuri nyt. Tämä signaali on hauras. On helppo ohittaa, jos keskiarvo on tuhansien muiden kuukausien takaisten vuorovaikutusten kanssa. Mutta se ennustaa uskomattomasti, mitä teet seuraavien viiden minuutin aikana.
Nämä eivät eroa vain asteeltaan, vaan myös lajiltaan. Toinen on stabiili ja kestää approksimaatiota. Toinen on epävakaa ja vaatii tarkkuutta. Silti olemassa olevat menetelmät pyrkivät käsittelemään molempia yhdellä keskittymismekanismilla, optimoiden väistämättä toisen
kustannuksella.Hybridiratkaisu
Tyylikäs liike on lopettaa yhden mekanismin rakentaminen, joka tekee kaiken. Sen sijaan jaa työ niin, että se heijastaa käyttäjien todellista selaamista.
Arkkitehtuuri kulkee kahdella rinnakkaisella reitillä. Ensimmäisessä koko historiallinen jaksosi, vaikka siinä olisi 9 000 vuorovaikutusta viimeisen puolen vuoden ajalta, kulkee lineaarisen huomion haaran kautta. Tämän haaran ei tarvitse olla tarkka. Se rakentaa laajaa ymmärrystä omasta makukategoriastasi. Koska se käyttää lineaarista tarkkaavaisuutta, se valmistuu ajassa verrannollisesti sekvenssin pituuteen, ei sekvenssin pituuden neliöön. Se on nopeaa.
Toisella polulla viimeaikaiset kohtaamisesi, ehkä 1 000 viimeisen kahden viikon ajalta, kulkevat softmax-huomion haaran läpi. Tämä haara voi olla kallis, koska se toimii pienellä datasegmentillä. Se tuottaa tarkkoja esityksiä siitä, mitä voisit tarvita juuri nyt. Teet kallista laskentaa, mutta pienessä ikkunassa.
Jokainen haara tuottaa esityksen siitä, "mitä meidän tulisi suositella." Sitten arkkitehtuuri yhdistää ne älykkäästi. Olet palauttanut softmax-tarkkaavaisuuden samalla kun lineaarisen tarkkaavaisuuden nopeus säilyy, koska jokainen toimii nyt omalla alueellaan.
HyTRec jakaa pitkät käyttäjäkäyttäytymisen sekvenssit kahteen erikoistuneeseen tarkkaavaisuusmekanismiin, jolloin vakaat mieltymykset ja viimeaikaiset aikomuspiikit voidaan käsitellä itsenäisesti.
Tämä ei ole pieni muutos. Laskennallinen monimutkaisuus pysyy lineaarisena sekvenssipituudeltaan, kun taas sekvenssit ovat kymmenen kertaa pidempiä kuin aiemmat menetelmät pystyivät tehokkaasti käsittelemään. Mutta arkkitehtuurissa piilee koukku.
Viimeaikaisten signaalien merkityksen tekeminen
Hybridijärjestelmän haasteena on, että lineaarinen tarkkaavaisuushaara on kokenut tuhansia vuorovaikutuksia. Softmax-haara on nähnyt satoja. Pelkän äänenvoimakkuuden perusteella lineaarisen haaran signaali on kovempi. Mutta suosituksessa tuoreus on tärkeämpää kuin volyymi. Tämän päivän klikkaus kertoo enemmän siitä, mitä joku haluaa, kuin kuuden kuukauden takainen klikkaus.
Jos käsittelet molempia haaroja tasapuolisesti, vanhentuneet tiedot peittävät tuoreen datan alle. Olet ratkaissut laskennallisen ongelman, mutta luonut reagointikyvyn ongelman.
Ratkaisua kutsutaan Temporal-Aware Delta Networkiksi eli TADN:ksi. Mekanismi tekee jotain suoraviivaista: dynaamisesti nostaa tuoreita käyttäytymissignaaleja samalla kun se tukahduttaa historiallista kohinaa.
Kuvittele porttimekanismi, joka kysyy jokaiselta sekvenssin osalta: "Kuinka vanha olet?" Uudet vuorovaikutukset saavat suuremman painoarvon. Vanhat vuorovaikutukset saavat vähemmän painoarvoa. Tämä ei tapahdu kiinteällä aikataululla, vaan se opitaan datasta. Verkko havaitsee kaavoja kuten: "Tällä käyttäjällä käyttäytymismallit muuttuvat muutaman päivän välein, joten yli viikon vanhemmat vuorovaikutukset tulisi painottaa puoleen vahvuuteen."
Ilman TADN:ää hybridijärjestelmä antaisi yhä vanhentuneempia suosituksia, kun käyttäjän mieltymykset muuttuvat. Sen avulla järjestelmä reagoi muutoksiin. Viimeaikaisilla signaaleilla on luonnollisesti enemmän vaikutusta suosituksiin, mutta verkko oppii tarkalleen, kuinka paljon vaikutusta on järkevää kullekin käyttäjälle ja vuorovaikutustyypille.
Todelliset tulokset
Tutkijat testasivat HyTReciä valtavilla aineistoilla, joissa käyttäjäkäyttäytymisen sekvenssit ulottuivat kymmeniin tuhansiin vuorovaikutuksiin per käyttäjä. Tämä ei ole puhdasta akateemista dataa, vaan tuotantotason sotkuista.
Nopeuden osalta tuloksilla on merkitystä. HyTRec ylläpitää lineaarista päättelykompleksisuutta. Kaksinkertaistamalla sekvenssin pituus, päättelyaika kaksinkertaistuu suunnilleen. Se ei nelinkertaistu kuten softmax-huomio. 10 000 pituisissa sekvensseissä tämä ero määrittää, voitko suositella 50 millisekunnissa vai 5 sekunnissa. Alustalla, joka palvelee miljoonia käyttäjiä, tuo ero on raja toteuttamiskelpoisen ja mahdottoman välillä.
...