Ресурсно рационален модел на човешка обработка на рекурсивна езикова структура, част 2

Тези очаквания могат да бъдат измерени чрез времето за четене на носителите на езика, когато се натъкнат на крайния глагол след предходния контекст, или чрез предоставяне на носители на езика на предходния контекст и от тях да бъдат помолени да довършат изречението.

Майчиният език е първият език, с който всеки се докосва и усвоява. Той е не само инструмент за комуникация, но също така влияе върху способността ни за памет. Майчиният език е един от най-важните елементи в човешкото когнитивно и възприятие развитие. То е пряко свързано със способността на хората да учат език, способността за изразяване и способността за мислене.

За много хора родният език е мощен инструмент за памет, тъй като владеенето на родния език е тясно свързано със способността за памет. Майчиният ни език стимулира паметта на хората, защото ние естествено го използваме, за да общуваме с хората около нас и в този процес трябва да разбираме и да реагираме на информацията, съдържаща се в езика. Тези преживявания се натрупват в мозъка ни и подобряват нивата на паметта ни.

Това може да се види, когато децата започнат да учат майчиния си език, защото способността им да усвояват нови езикови знания е неограничена. Ефектът от изучаването на език при възрастни не е толкова очевиден, колкото при децата, тъй като мозъкът вече е преминал през твърде много етапи на развитие.

Освен това майчиният ни език също допринася за емоционалната ни памет. Подобно на нашите вътрешни органи, мозъците ни могат да запечатат спомени дълбоко в нас. Нашият майчин език може да стимулира нашите емоции, да формира първоначална емоционална рамка и след това да установи емблематични емоции и спомени в нашата памет.

Накратко, връзката между майчиния език и паметта е много важна. Ако искате да подобрите паметта си, може да пожелаете да научите повече местни езици и да ги използвате умело, което значително ще подобри паметта ви. В същото време майчиният език е и важно културно наследство. Позволява ни да разберем и изразим по-добре нашите културни характеристики и национален характер. Това е нашето важно богатство и важен начин да наследим нашата културна история. Вижда се, че трябва да подобрим паметта и Cistanche deserticola може значително да подобри паметта, тъй като Cistanche deserticola може също да регулира баланса на невротрансмитерите, като например повишаване на нивата на ацетилхолин и растежни фактори. Тези вещества са много важни за паметта и ученето. В допълнение, месото може също да подобри притока на кръв и да насърчи доставката на кислород, което може да гарантира, че мозъкът получава достатъчно хранителни вещества и енергия, като по този начин подобрява мозъчната жизненост и издръжливост.

Щракнете върху познайте начините за подобряване на мозъчната функция

Използваме и двете, за да проверим нашата теория. Първо, ние показваме, че едно увеличено изпълнение на нашия модел наистина извлича прогнозите, интуитивно описани по-горе. След това, в два експеримента с времето за четене, ние систематично променяме априорната вероятност на истинския контекст спрямо структурно различни варианти. Ние откриваме, че когато предишното предпочита непроверените варианти, хората изпитват повишена трудност при обработката на крайния глагол.

Този контраст е характерно предсказание на предложения от нас обединяващ модел и не следва от съществуващите модели от парадигмите, базирани на очаквания или базирани на паметта.

И накрая, в проучване на производството на три езика (английски, немски и испански), след това показваме аналогичен модел в производството, при който хората са по-склонни да произведат правилния брой глаголи, когато структурно различните варианти имат по-ниска априорна вероятност.

Формализация и внедряване
Ние описваме предложения модел, resource-rational lossy-contextsurprisal, на Фиг. 2. Моделът изчислява вероятност за задържане (28, 29) за всяка дума в минал контекст, определена от 1) идентичността на думата и 2) колко думи имат наблюдавани след наблюдението му.

Цялостното представяне на паметта c тогава се състои от наличните думи и символ за място за тези думи, които не са били запазени.

Чрез правилото на Bayes и познаването на априорната статистика на езика, c поражда posterior P(c|c) над възможните контексти и по този начин предсказуемо разпределение P(w|c) върху следващата дума. Трудността при обработката на дума се определя от нейната степен на непредсказуемост от c, измерена чрез информационно-теоретичното количество изненада,

−log P(w|c)=−logcP(w|c)P(c|c). [1]

Представяме априорната статистика на английски с помощта на GPT-2(30), широкомащабен модел на невронна мрежа, който предоставя един от най-силните съществуващи статистически модели на английски текст.

Вероятностите за задържане са параметризирани с помощта на невронна мрежа, действаща върху независимо от контекста векторно представяне на думата и нейното разстояние. Ние оптимизираме вероятностите за задържане, за да сведем до минимум средната изненада на модела [1] върху широкомащабни текстови данни, предмет на горна граница на средния брой запазени контекстни думи.

Напаснахме модела за целочислени стойности на тази граница от 0 до 20.

Оптимизацията използва текстови данни от английската Wikipedia, несвързани с интересните стимули за вграждане в центъра (вижте Материали и методи).

Оптимизираните вероятности за задържане ясно показват две ключови свойства: Думите са по-склонни да бъдат запазени, когато са скорошни и когато имат по-ниска честота на думата (SI Приложение, Фиг. S2). И двете пристрастия са добре документирани в експериментални изследвания върху човешката езикова памет (31–33).

Прогнози

Използвахме ресурсно-рационална загуба на контекстна изненада, за да извлечем три прогнози за обработката на вложени рекурсивни структури (фиг. 1 B и C). Първо, възстановяването от повече нива на вграждане трябва да е по-трудно (сини срещу зелени линии на фиг. 1C).

Тази проста прогноза е обща за повечето модели на памет при разбиране на изреченията, връщайки се към 60-те години (2, 4, 7, 24). Нашият модел като цяло го предвижда, защото повече нива на вграждане са по-малко вероятни априори, така че недостоверните варианти с по-малко нива са склонни да имат по-висока априорна вероятност.

Второ, възстановяването трябва да е по-лесно, когато семантичните сигнали подсилват правилната структура на зависимост за предходния контекст на вграждане. Тествахме това предсказание, като манипулирахме дали предпоследният глагол е съвместим както с първото, така и с второто съществително като негов субект, както на фиг. 1B, точка 1 (доклад ... раздразнен и доктор ... раздразнен са правдоподобни), или само с второто съществително, както на Фиг. 1B, точка 2 (доклад... излекуван е неправдоподобен, докато доктор... излекуван е правдоподобен).

Когато този глагол е несъвместим с първото съществително като негов субект, той не благоприятства представянето на недостоверния контекст като „докладът на лекаря излекува пациента...“ и по този начин подсилва веричния контекст.

Следователно промяната на глагола "раздразнен" на "излекуван" трябва да намали усилието за обработка на крайния глагол.

Ранната работа върху централното вграждане вече отбеляза, че семантичното съвпадение между съществителни и глаголи прави разбирането по-лесно (25, 26, 34), но, доколкото ни е известно, този ефект не е бил демонстриран при четене дума по дума. Въпреки че такъв ефект може да е съвместим с някои теории, базирани на паметта (7, 35), той не възниква в съществуващите изчислително ясни модели (7).

Трето, възстановяването трябва да е по-лесно, когато съществителните предоставят подкрепящи статистически знаци (фиг. 1B, точка 3). Съществителните се различават силно в априорната вероятност да бъдат последвани от клауза „това“; тази вероятност варира от ≈70% („факт“) до ≈0,7% („доклад“).

Използваме термина „пристрастност към вграждане“, за да обозначим логическата вероятност съществителното да е последвано от „това“. На фигура 1B, точка 3, промяната на съществителното "доклад" на "факт" намалява вероятността за неверните варианти, което отново се предвижда да намали усилието за обработка на крайния глагол.

В условията ДВЕ и ТРИ, третият глагол трябва да бъде предвиден по-точно, когато вграждането на отклонение е по-високо, тъй като увеличава априорната вероятност за истинския контекст (низходящи сини и зелени линии на Фиг. 1C).

Тази прогноза не следва от съществуващите модели, а е пряка последица от нашия модел. В условието ONE очакваме противоположния модел (възходяща червена линия на фиг. 1C), тъй като съществителните, които вграждат клауза с много голяма вероятност, е по-малко вероятно да бъдат последвани веднага от глагол.

Полученият модел на трудност е рязко различен от това, което се предвижда от съществуващите базирани на паметта и очакванията модели (фиг. 1D и SI приложение, раздел S7.1).

Ние илюстрираме тези с помощта на теорията за локалността на зависимостта (DLT) (36), която твърди, че трудността произтича от интегрирането на дълги синтактични зависимости, и теорията на изненадите (9, 10), която твърди, че усилието за обработка е пропорционално на изненадата, получена от напълно верни контекстни представяния.

Ефектът от броя на нивата на вграждане и поведението на ЕДНО условие се предвиждат съответно от съществуващи теории, базирани на паметта и базирани на очакванията.

Въпреки това, нито една група от предишни модели не предвижда ефектите от семантичната съвместимост или отклонението на вграждането в условията на ДВЕ и ТРИ. Вижте SI Приложение, раздел S7 за повече информация относно предишни модели.

Експеримент 1: Ефект на статистическите сигнали

Тествахме ресурсно-рационална изненада със загуба на контекст, като сравнихме изненадата на модела (Уравнение 1) със затрудненията при човешка обработка на крайния глагол, както е отразено във времето за четене.

Конструирахме 32 стимула от формата на Фиг. 1A, всеки в три условия (ЕДНО, ДВЕ и ТРИ) и ги кръстосахме с 58 различни съществителни, вариращи в пристрастието на вграждане (напр. доклад, факт, ...).

Първо извлякохме прогнози за теорията на изненадата и DLT за затруднения на крайния глагол (фиг. 3A); внедрихме теорията на изненадите, използвайки същия статистически модел, използван за предишния в нашия модел (GPT-2). След това изненадващо изчислихме ресурсно рационалния контекст, променяйки средния брой контекстни думи, запазени по време на оптимизирането на вероятностите за задържане, от 0 до 20.

В обхвата на този параметър моделът преминава през три отделни фази (SI Приложение, Фиг. S4): Когато много (17) думи се запазват, поведението е много подобно на теорията за изненадата.

Когато са запазени много малко (4) думи, моделът на изненада е неясно равен в ДВЕ и ТРИ.

Между тях моделът показва качествените прогнози, описани по-горе; ние показваме резултати за среден процент на задържане от 10 думи на Фиг. 3A (вижте SI Приложение, Фиг. S4 за резултати при други проценти на задържане): Изненадата на модела е по-висока при ТРИТЕ условия, отколкото при ДВЕ, увеличава се с вграждане в ЕДНО условие и намалява с вграждане на отклонение в условията на ДВЕ и ТРИ.

Сравнихме тези прогнози с времето за четене от хора, което измерихме с помощта на парадигмата на лабиринта (37–39). В тази парадигма участниците четат изречения дума по дума и избират между правилната следваща дума и разсейваща дума, която съвпада по дължина и честота, но е много лоша в дадения контекст.

Зависимата променлива, представляваща интерес, е времето, необходимо за избор (време за реакция). Парадигмата на лабиринта позволява по-висока времева разделителна способност и чувствителност в сравнение с традиционната парадигма за четене със собствен темп, която страда от лоша локализация поради ефекти на разпространение и от шум поради невнимателни участници, по-специално в уеб базирани експерименти (38, 39).

Съществуват различни методи за създаване на разсейващи думи; ние използваме варианта на А-лабиринта, в който дистракторите се генерират автоматично с помощта на широкомащабни статистически езикови модели (39) (вижте Материали и методи за подробности).

Ние набрахме 100 носители на английски език, като събрахме данни от 10 критични изпитвания за всеки участник, разпръснати с 30 пълнителя (вижте Материали и методи за подробности).

Средният участник е допуснал грешка при 1,9% от думите както при пълнителите, така и при критичните изпитания. Предварително определеният критерий за изключване за участниците (неправилен отговор на По-голямо или равно на 20% от думите) засегна 1,0% от участниците.

Изключихме опити от анализите на времето за четене, когато отговорът на критичната дума беше грешен; това засегна 5,2% от данните (главно в трудните условия ТРИ). Вижте Приложението SI, раздел S3.6 за анализи на грешки и времена за четене, обусловени от грешки.

Ние показваме времето за четене на последния глагол на фиг. 3A. Анализирахме ги след логаритмична трансформация в байесова линейна регресия със смесени ефекти, като въведохме участници, елементи и съществителни имена като произволни ефекти (вижте Материали и методи за подробности).

Резултатите показват ефектите, предвидени от ресурсно-рационалния модел. Първо, времето за четене е по-високо при ТРИ, отколкото при ДВЕ (= 0.18,95% достоверен интервал [CrI] [0.13, 0.25], P( < {{ 8}}) < 0.0{{20}}01, ефект при необработени времена на четене: 217 ms, 95% CrI [144, 297] ms). Второ, имаше взаимодействие между отклонението при вграждане и наличието на клауза „това“ (=−0.09, 95% CrI [−0.15, −0.03],P( > 0) {{25} }.0015).

В съответствие както с нашия модел, така и с изненадващата теория, ефектът от отклонението на вграждането беше положителен в условието ЕДНО (разлика между „факт“ и „доклад“: 297 ms, 95% CrI [34, 566] ms).

Въпреки това, както е предвидено от нашия модел, този ефект се оказа отрицателен в присъствието на клауза "това" (разлика между "факт" и "доклад": -166 ms, 95% CrI [-297, -41] ms). Този ефект е в съответствие с прогнозите на модела и не е в съответствие с DLT или теорията на изненадите.

Взаимодействие между дълбочината на вграждане и отклонението на вграждането може да бъде демонстрирано при обединяване на данни в експерименти (Приложение SI, раздели S2.1 и S6.6). Вижте Приложение SI, раздел S3 за допълнителни анализи.

Ние открихме, че ресурсно-рационалният контекст на загуба изненадващо се подобрява в сравнение с теорията на изненадващите и DLT при прогнозиране на времената за четене не само в централните вграждания, но и в изпитанията на пълнителя (SI Приложение, раздел S9).

Ние също така проучихме прогнозите за единен модел на паметта, където всяка контекстна дума се запазва с еднаква вероятност, приета в предишна работа върху изненадата на контекста със загуба (22). Този модел предвижда ефектите от отклонението на вграждането, но не и ефекта от дълбочината.

Освен това го сравнихме с прозоречен модел, където са налични точно последните K думи; този модел прогнозира ефекта от дълбочината, но не и отрицателния ефект от отклонението на вграждането. Вижте SI Приложение, раздел S2.2 за подробности.

For more information:1950477648nn@gmail.com