Мультисенсорный музей: междисциплинарный взгляд на осязание, звук, запах, память и пространство

Саймон Лейси и Криш Сатьян

На сегодняшний день переход от унисенсорного подхода (подразумевающего обращение только к одному органу чувств – прим. науч. ред.) к мультисенсорному актуален как для нейронаучных исследований, так и для музейной сферы. До недавнего времени посещение музея или галереи было преимущественно унисенсорным визуальным опытом[23 - Candlin F. Museums, modernity, and the class politics of touching objects // Touch in Museums: Policy and Practice in Object Handling / Chatterjee H.J. (Ed.) (2008) Oxford, UK: Berg: 9–20.]: экспонаты находились вне доступа для посетителей (например, за стеклом), сопровождались строгими запретами и официальными указаниями на то, что «можно смотреть, но не трогать!». В последнее время мы наблюдаем случаи смягчения подобных ограничений: например, проект Hands On («Руки на»), реализованный Британским музеем, даже позволяет посетителям брать в руки некоторые предметы из музейной коллекции. Обращения к другим органам чувств все еще редки, хотя Центру викингов Йорвик в городе Йорк, например, удалось прекрасно воссоздать в своей экспозиции запахи и звуки поселения викингов. Однако такие примеры возникают в основном благодаря информационным и образовательным инициативам, а не как результат непосредственной работы нейроученых.

Ранее наши представления об организации мозга заключались в том, что он перерабатывает входящую информацию как отдельные унисенсорные потоки, причем особый приоритет отдается визуальным стимулам. Однако было обнаружено, что многие области мозга, которые ранее считались предназначенными для переработки визуальной информации, на самом деле активируются и при получении тактильных или осязательных импульсов (во время пассивного прикосновения или активного ощупывания). Например, область мозга, которая отвечает за визуальное восприятие, активируется также тактильными ощущениями[24 - Hagen M. C., Franzen O., McGlone F., Essick G., Dancer C., Pardo J. V. (2002) Tactile motion activates the human middle temporal / V5 (MфT/V5) complex // European Journal of Neuroscience, № 16: 957–964. Summers I. R., Francis S. T., Bowtell R. W., McGlone F. P., Clemence M. (2009) A functional magnetic resonance imaging investigation of cortical activation from moving vibrotactile stimuli on the fingertip // Journal of the Acoustical Society of America, № 125: 1033–1039.]; осязание текстур активирует также область, восприимчивую к визуальному восприятию текстур[25 - Stilla R., Sathian K. (2008) Selective visuo-haptic processing of shape and texture // Human Brain Mapping, № 29: 1123–1138; Sathian K., Lacey S., Stilla R., Gibson G. O., Deshpande G., Hu X., Laconte S., Glielmi C. (2011) Dual pathways for haptic and visual perception of spatial and texture information // NeuroImage, № 57: 462–475.], а латеральная затылочная кора (LOC) включается в процесс восприятия объектов во время получения как визуальных, так и тактильных стимулов[26 - Amedi A., Jacobson G., Hendler T., Malach R., Zohary E. (2002) Convergence of visual and tactile shape processing in the human lateral occipital complex // Cerebral Cortex, № 12: 1202–1212; Amedi A., Malach R., Hendler T., Peled S., Zohary E. (2001) Visuo-haptic object-related activation in the ventral visual pathway // Nature Neuroscience, № 4: 324–330; Zhang M., Weisser V. D., Stilla R., Prather S. C., Sathian K. (2004) Multisensory cortical processing of object shape and its relation to mental imagery // Cognitive, Affective, & Behavioral Neuroscience, № 4: 251–259; Stilla R., Sathian K. (2008).]. В результате старые подходы уступают место концепции «метамодального» мозга с мультисенсорной задачно-ориентированной организацией[27 - Pascual-Leone A., Hamilton R. H. (2001) The metamodal organization of the brain // Progress in Brain Research, № 134: 427–445. Lacey S., Tal N., Amedi A., Sathian K. (2009а) A putative model of multisensory object representation // Brain Topography, № 21: 269–274. James T. W., VanDerKlok R. M., Stevenson R. A., James K.H. (2011) Multisensory perception of action in posterior temporal and parietal cortices // Neuropsychologia, № 49: 108–114.]: например, области, связанные с восприятием формы объектов, реагируют на то, какой является задача – зрительной или осязательной. Из этого вытекает идея о том, что активация областей, связанных с визуальной информацией, во время осязания приводит к появлению визуальных образов[28 - Sathian K., Zangaladze A., Hoffman J. M., Grafton S.T. (1997) Feeling with the mind’s eye // NeuroReport, № 8: 3877–3881.]: осязая объект, человек естественным образом представляет, как этот объект может выглядеть. В данной главе мы рассмотрим доказательства роли визуальных образов в тактильном восприятии формы и опишем модель этого процесса. В качестве небольшой справки, мы начнем с описания общих черт зрения и осязания с точки зрения распознавания объектов и построения образов восприятия. После этого перейдем к описанию областей мозга, участвующих в зрительно-осязательном восприятии формы объектов, и рассмотрим, какие выводы о репрезентации в мозге формы объектов можно сделать на основании перечисленных данных.

Сходства между зрением и осязанием в распознавании объектов

Считается, что процесс распознавания объекта зависит от точки его обзора, а разворот объекта в пространстве из его исходной позиции затрудняет последующее распознавание: это относится как к зрению, так и к осязанию[29 - Подробнее см.: Peissig J.J., Tarr M.J. (2007) Visual object recognition: Do we know more now than we did 20 years ago? // Annual Review of Psychology, № 58: 75–96; Lacey S., Sathian K. (2011) Multisensory object representation: insights from studies of vision and touch // Progress in Brain Research, № 191: 165–176.]. В отношении последнего это особенно удивительно, учитывая, что руки могут исследовать объект с разных сторон одновременно, и поэтому нам кажется, что они способны воспринимать информацию об объекте с разных «точек обзора» в один момент времени. Однако по мере того, как объекты становятся более узнаваемыми, изменение их положения становится менее проблематичным: как визуальное, так и тактильное распознавание становится в целом независимым от точки обзора[30 - Peissig J.J., Tarr M.J. 2007. Lawson R. (2009) A comparison of the effects of depth rotation on visual and haptic three-dimensional object recognition // Journal of Experimental Psychology: Human Perception and Performance, № 35: 911–930.]. В отличие от внутримодального распознавания[31 - Использующего информацию в рамках одной сенсорной системы (прим. науч. ред.).], визуально-осязательное кросс-модальное распознавание[32 - В которое вовлечены разные органы чувств (прим. науч. ред.).] не зависит от точки обзора, даже если речь идет о незнакомых нам объектах; при этом неважно, сопровождается ли визуальный опыт тактильным или наоборот[33 - Lacey S., Peters A., Sathian K. (2007а) Cross-modal object representation is viewpoint-independent // PLoS ONE, № 2: 890.]. Кросс-модальное распознавание знакомых нам объектов тоже не зависит от точки обзора, когда тактильный опыт сопровождается визуальным, однако в обратную сторону это не работает[34 - Lawson R., 2009.]. Причина такой асимметрии пока не ясна.

Исходя из этого, мы пришли к выводу, что в основе таких феноменов, как кросс-модальное распознавание и независимость от точки обзора, вероятно, лежит одна и та же репрезентация объекта. Благодаря исследованию перцептивного обучения[35 - Прим. науч. ред.: Обучение перцептивным способностям (способностям восприятия), которое позволяет приобрести изменения реакций на сенсорные стимулы в ходе повторных воздействий этих стимулов. По сути, речь идет о развитии навыков восприятия (осязание, обоняние и т. д.) См. про исследование: Lacey S., Campbell C. and Sathian K. (2007b). Vision and touch: Multiple or multisensory representations of objects? Perception, 36, 1513–21.] было выявлено, что независимость от точки обзора, приобретенная в результате обучения в одной модальности (с помощью развития одних органов чувств), полностью и симметрично переходит в другую. Кросс-модальное изучение объекта (вне зависимости от того, какой опыт в нем является первоначальным – зрительный или осязательный) также позволяет достичь визуальной и тактильной независимости от точки зрения. Таким образом, эта независимость (как при внутримодальном, так и при кросс-модальном познании) основана на единственной мультисенсорной репрезентации объекта, которая напрямую интегрирует в себя отдельные унисенсорные представления о нем, зависящие от точки нашего обзора.

Визуальные образы и осязание

Если зрение и осязание действительно имеют общую систему образов, это значит, что они должны обладать схожими механизмами обработки полученных визуально и тактильно сигналов, и это действительно так. Например, время, затрачиваемое на изучение как визуальных изображений[36 - Kosslyn S.M. (1980) Image and Mind. Cambridge: Harvard University Press; Kosslyn S.M. (1994) Image and Brain: The Resolution of the Imagery Debate. Cambridge: MIT Press.], так и образов, полученных путем осязания[37 - R?der B., R?sler F. (1998) Visual input does not facilitate the scanning of spatial images // Journal of Mental Imagery, № 22: 165–181.], увеличивается вместе с пространственной дистанцией до изучаемого объекта. Также время, необходимое для того, чтобы определить, являются ли два объекта одинаковыми или зеркально отражают друг друга, увеличивается почти линейно вместе с числом необходимых угловых поворотов, кратным мысленным разворотам предмета в пространстве. Это касается как визуального[38 - Shepard R.N., Metzler J. (1971) Mental rotation of three-dimensional objects // Science, № 171: 701–703; Kosslyn S.M. (1980); Kosslyn S.M. (1994).], так и тактильного аспекта[39 - Marmor G.S., Zaback L.A. (1976) Mental rotation by the blind: does mental rotation depend on visual imagery? // Journal of Experimental Psychology: Human Perception & Performance, № 2: 515–521; Carpenter P.A., Eisenberg P. (1978) Mental rotation and the frame of reference in blind and sighted individuals // Perception & Psychophysics, № 23: 117–124; Dellantonio A., Spagnolo F. (1990) Mental rotation of tactual stimuli // Acta Psychologica, № 73: 245–257.]. Такая же взаимосвязь была обнаружена, когда изменялся угол между новым образом осязания и первоначальным образом объекта. Этому отвечала соответствующая активность в левой теменной коре[40 - Prather S.C., Votaw J.R., Sathian K. (2004) Task-specific recruitment of dorsal and ventral visual areas during tactile perception // Neuropsychologia, № 42: 1079–1087.], в области, которая становилась активной также во время мысленного вращения зрительных образов в пространстве[41 - Alivisatos B., Petrides M. (1997) Functional activation of the human brain during mental rotation // Neuropsychologia, № 35: 111–118.]. При этом подобная мозговая активность наблюдалась как у зрячих, так и у рано- или поздноослепших людей[42 - Carpenter P.A. Eisenberg P. (1978); R?der B., R?sler F. (1998).]. Все это позволяет нам предположить, что информация о пространстве и его параметрах передается в образах, получаемых с помощью зрения и осязания, так как обе эти модальности основаны на схожих, если не идентичных, процессах восприятия образов[43 - R?der B., R?sler F. (1998).].

Общие измерения образов в зрительном и тактильном восприятии

Область мысленных образов неоднородна. Недавние исследования показали, что существует два разных вида визуальных образов и, соответственно, два типа людей. Люди, мыслящие объектно, обычно представляют образы, которые сами по себе очень иллюстративны, сфокусированы на фактическом внешнем виде предметов, с акцентом на форму и свойства поверхности, такие как цвет и текстура. В свою очередь мозг людей, мыслящих пространственно, обычно генерирует более схематичные изображения, фокусирующиеся на пространственных отношениях между объектами и их составными частями, а также на пространственных трансформациях[44 - Kozhevnikov M., Hegarty M., Mayer R.E. (2002) Revising the visualiserverbaliser dimension: evidence for two types of visualisers // Cognition & Instruction, № 20: 47–77; Kozhevnikov M., Kosslyn S.M., Shephard J. (2005) Spatial versus object visualisers: A new characterisation of cognitive style // Memory & Cognition, № 33: 710–726; Blajenkova O., Kozhevnikov M., Motes M.A. (2006) Object-spatial imagery: a new self-report imagery questionnaire // Applied Cognitive Psychology, № 20: 239–263.].

Недавно мы провели исследование: сохраняются ли для тактильных и мультисенсорных репрезентаций те же объектные и пространственные измерения, что и для визуальных[45 - Lacey S., Lin J.B., Sathian K (2011) Object and spatial imagery dimensions in visuo-haptic representations // Experimental Brain Research, № 213: 267–273.]. Мы использовали идею о том, что люди с объектным мышлением считывают информацию о свойствах поверхности лучше, чем люди с пространственным мышлением. Для проверки этой гипотезы мы использовали задания, подразумевающие распознавание формы при изменении текстуры, и распознавание текстуры при изменении формы[46 - В задании использовались деревянные блоки, имевшие разные текстуру за счет покрытия наждачной бумагой, бумагой с текстом, набранным шрифтом Брайля, бархатной тканью. Еще один блок оставался гладким (прим. науч. ред.).]. В процессе как зрения, так и осязания, распознавание формы ухудшалось из-за изменений текстуры у тех, кто мыслил объектно, но не у тех, кто мыслил пространственно. В то же время распознавание текстур ухудшалось из-за изменений формы именно у мыслящих пространственно, а не у мыслящих объектно. Аналогичная картина наблюдалась и в условиях кросс-модальности, когда участники получали доступ к мультисенсорному, независимому от точки обзора, образу, опыту, описанному выше[47 - Cм. Lacey S. et al. (2009b).]. Люди, мыслящие объектно, хуже распознавали форму при изменении текстуры, в то время как люди с пространственным мышлением продолжали различать форму, независимо от того, изменилась текстура или нет[48 - Lacey S. et al. (2011).]. Таким образом, раскрытие роли объектных и пространственных образов дает больше преимуществ, чем использование недифференцированного подхода, сфокусированного только на визуальном образе. Это разделение важно, потому что и зрение, и осязание кодируют пространственную информацию об объектах – например, размер, форму и различные характеристики объекта. Такая информация вполне может быть использована в качестве независимого от модальности восприятия пространственного образа[49 - Lacey S., Campbell C. (2006) Mental representation in visual / haptic crossmodal memory: Evidence from interference effects // Quarterly Journal of Experimental Psychology, № 59: 361–376.]. Подтверждение этой гипотезы можно найти в одном недавнем исследовании, показывающем, что оценки пространственных образов, в отличие от объектных, были согласованы друг с другом с высокой точностью именно при кросс-модальном, а не внутримодальном распознавании объектов[50 - Lacey S. et al. (2007a).].

Кортикальные области коры головного мозга, участвующие в обработке формы объектов на основании визуально-тактильной информации

Основная область коры головного мозга, участвующая в распознавании визуально-тактильной информации – это латеральная затылочная кора (ил. 1), известная как область, отвечающая за визуальное восприятие объектов[51 - Malach R., Reppas J.B., Benson R.R., Kwong K.K., Jiang H., Kennedy W.A., Ledden P.J., Brady T.J., Rosen B.R., Tootell R.B. (1995) Object-related activity revealed by functional magnetic resonance imaging in human occipital cortex // Proceedings of the National Academy of Sciences USA, № 92: 8135–8139.]. В то же время часть латеральной затылочной коры различает объекты как во время зрительной активности, так и при осязании[52 - Amedi A., Malach R., Hendler T., Peled S., Zohary E. (2001) Visuohaptic object-related activation in the ventral visual pathway // Nature Neuroscience, № 4: 324–330; Amedi A. et al. (2002).]. Эта область коры головного мозга активна как во время осязательного трехмерного восприятия[53 - Amedi A. et al. (2001); Zhang M. et al. (2004); Stilla R., Sathian K. (2008).], так и во время тактильного двухмерного восприятия формы[54 - Stoesz M., Zhang M., Weisser V.D., Prather S.C., Mao H., Sathian K. (2003) Neural networks active during tactile form perception: Common and differential activity during macrospatial and microspatial tasks // International Journal of Psychophysiology, № 50: 41–49; Prather S.C. et al. (2004).]. Считается, что она отвечает за восприятие геометрических форм в пространстве: она не участвует в распознавании объекта в случае, если человек слышит специфический для данного объекта звук[55 - Amedi A. et al. (2002).], однако начинает реагировать на этот звук после соответствующей тренировки, когда звуковое распознание объекта становится возможным с помощью устройств визуально-слухового сенсорного замещения[56 - Amedi A., Stern W.M., Camprodon J.A., Bermpohl F., Merabet L., Rotman S., Hemond C., Meijer P., Pascual-Leone A. (2007) Shape conveyed by visual-to-auditory sensory substitution activates]. Такие устройства преобразовывают визуальную информацию о форме объектов в звуковой поток или «звуковой ландшафт», звучание которого меняется в зависимости от того, какие объекты попадают в камеру: за длину объектов (горизонтальная ось) отвечает длительность звука и стереопанорамирование, за высоту объектов (вертикальную ось) – тон звука, а яркость объектов передается за счет изменения громкости. В результате длительного обучения люди получают возможность извлекать информацию о форме объектов из данных звуковых ландшафтов, что позволяет распознавать знакомые объекты и даже использовать эту информацию при взаимодействии с незнакомыми объектами. Однако это становится возможно только в случае, если человек (зрячий the lateral occipital complex // Nature Neuroscience, № 10: 687–689. или незрячий) обучен данным правилам (понимает, что означают конкретные звуки), а не просто запомнил произвольные звуковые ассоциации[57 - Amedi A. et al. (2007).]. В целом все это подтверждает, что латеральная затылочная кора занимается обработкой информации именно о форме объекта, вне зависимости от того, в какой сенсорной модальности происходит процесс восприятия объекта. Несколько теменных областей коры также демонстрируют мультисенсорное распознавание формы. К их числу принадлежит задняя часть первичной соматосенсорной коры (ил. 1)[58 - Stilla R., Sathian K. (2008).], которая обычно не относилась к числу мультисенсорных несмотря на то, что нейрофизиологические исследования обезьян позволяют говорить о том, что части первичной соматосенсорной коры отзываются также на визуальную стимуляцию[59 - Zhou Y.-D., Fuster J.M. (1997) Neuronal activity of somatosensory cortex in a cross-modal (visuo-haptic) memory task // Experimental Brain Research, № 116: 551–555; Iwamura Y. (1998) Hierarchical somatosensory processing // Current Opinion in Neurobiology, № 8: 522–528.]. Визуально-тактильное распознавание формы было зафиксировано также в различных частях внутритеменной борозды (ил. 1) в теменной доле, находящейся непосредственно в коре головного мозга, которая играет важную роль в мультисенсорном восприятии[60 - Grefkes C., Weiss P.H., Zilles K., Fink G.R. (2002) Crossmodal processing of object features in human anterior intraparietal cortex: An fMRI study implies equivalencies between humans and monkeys // Neuron, № 35: 173–184; Saito D.N., Okada T., Morita Y., Yonekura Y., Sadato N. (2003) Tactile-visual cross-modal shape matching: A functional MRI study // Cognitive Brain Research, № 17: 14–25; Stilla R., Sathian K. (2008).].

Ил. 1. Схема строения долей левого полушария головного мозга человека, демонстрирующая основные области, упомянутые в тексте.

Ключевой вопрос об осязательной или тактильной активации областей коры головного мозга, которые, как предполагалось, отвечают за зрительное восприятие, состоит в следующем: является ли эта активация побочным явлением всего процесса или же действительно необходима для выполнения разных задач. Можно привести целых два доказательства того, что она действительно необходима.

Во-первых, изучение конкретных ситуаций пациентов с повреждением латеральной затылочной коры показывают, что она необходима как для тактильного, так и для визуального восприятия формы. В случае одного пациента такое повреждение привело как к тактильной, так и к зрительной агнозии (к неспособности распознавать объекты), хотя соматосенсорная кора и общие функции были в порядке[61 - Feinberg T.E., Rothi L.J., Heilman K.M. (1986) Multimodal agnosia after unilateral left hemisphere lesion // Neurology, № 36: 864–867.]. Другой же пациент был не в состоянии изучать новые объекты ни визуально, ни тактильно[62 - James T.W., James K.H., Humphrey G.K., Goodale M.A. (2006) Do visual and tactile object representations share the same neural substrate? // Touch and Blindness: Psychology and Neuroscience / Heller M.A., Ballesteros S. (Eds.) Mahwah: Lawrence Erlbaum Associates: 139–155.].

Во-вторых, в некоторых исследованиях использовалась транскраниальная магнитная стимуляция (ТМС) для временного нарушения работы различных областей мозга, связанных с визуальным восприятием и вовлеченных в выполнение тактильных задач. Например, ТМС теменно-затылочной области во время тактильного распознавания объемного рельефа в виде полос разной ориентации на поверхности предметов[63 - Sathian K. et al. (1997).] мешала выполнению этой задачи[64 - Zangaladze A., Epstein C.M., Grafton S.T., Sathian K. (1999) Involvement of visual cortex in tactile discrimination of orientation // Nature, № 401: 587–590.]. Одно из недавних исследований показало, что ТМС левой части латеральной затылочной коры нарушает процесс категоризации объектов[65 - Mullin C.R., Steeves J.K.E. (2011) TMS to the lateral occipital cortex disrupts object processing but facilitates scene processing // Journal of Cognitive Neuroscience, № 23: 4174–4184.], что демонстрирует невозможность обработки информации об объектах без участия этой области мозга. Точно так же ТМС левой части внутритеменной борозды (IPS) нарушает визуально-тактильное (но не тактильно-визуальное) сопоставление форм предметов с использованием правой руки[66 - Buelte D., Meister I.G., Staedtgen M., Dambeck N., Sparing R., Grefkes C., Boroojerdi B. (2008) The role of the anterior intraparietal sulcus in crossmodal processing of object features in humans: An rTMS study // Brain Research., № 1217: 110–118.], но ТМС ее правой части во время сопоставления форм с использованием левой руки не повлияла на процесс кросс-модального восприятия. Причина этого несоответствия неясна и только подчеркивает, что точные роли соматосенсорной, теменной областей и латеральной затылочной коры в мультисенсорной обработке форм еще предстоит полностью выяснить.

Визуальные образы или мультисенсорная конвергенция?

Весьма вероятно, что активация части коры, связанной со зрением, запущенная благодаря тактильным импульсам, опосредуется визуальными образами[67 - Sathian K. et al. (1997).]. Многие исследования показали, что латеральная затылочная кора активна во время задач визуализации: например, воссоздания мысленных образов знакомых объектов, которые могли быть ранее осязательно изучены незрячими или зрячими людьми[68 - De Volder A.G., Toyama H., Kimura Y., Kiyosawa M., Nakano H., Vanlierde A., Wanet-Defalque M.C., Mishina M., Oda K., Ishiwata K., Senda M. (2001) Auditory triggered mental imagery of shape involves visual association areas in early blind humans // NeuroImage, № 14: 129–139.], или геометрических и материальных свойств объекта, которые сохранились в памяти[69 - Newman S.D., Klatzky R.L., Lederman S.J., Just M.A. (2005) Imagining material versus geometric properties of objects: An fMRI study // Cognitive Brain Research, № 23: 235–246.]. Интересно, что индивидуальные различия в степени яркости визуальных образов становятся предиктором того, насколько активна правая часть латеральной затылочной коры во время тактильного восприятия формы[70 - Zhang M. et al. (2004).]. Некоторые исследователи отказались от использования объяснения понятия визуальных образов по причине того, что мозг незрячих с рождения людей проявляет активность при восприятии формы в тех же областях, что и у зрячих. Поскольку люди, незрячие с рождения, не мыслят визуально, эти образы не могут полноценно ответить и на вопросы о мозговой активности зрячих людей[71 - Pietrini P., Furey M.L., Ricciardi E., Gobbini M.I., WuW.-H.C., Cohen L., Guazzelli M., Haxby J.V. (2004) Beyond sensory images: Object-based representation in the human ventral pathway // Proceedings of the National Academy of Sciences USA, № 101; 5658–5663.]. Однако тот факт, что незрячие люди не могут использовать визуальные образы во время тактильного восприятия формы, определенно не является основанием для исключения этой способности у зрячих, особенно с учетом обширных данных о различиях в нейронной активности зрячих и незрячих людей[72 - Sathian K. (2005) Visual cortical activity during tactile perception in the sighted and the visually deprived // Developmental Psychobiology, № 46: 279–286; Sathian K., Stilla R. (2010) Cross-modal plasticity of tactile perception in blindness // Restorative Neurology and Neuroscience, № 28: 271–281.]. Еще одно возражение заключалось в том, что активность латеральной затылочной коры во время процесса визуального познания составляет лишь около 20 % от активности, наблюдаемой во время тактильного изучения объекта. Следовательно, визуальные образы не так уж и важны во время тактильного восприятия формы[73 - Amedi A. et al. (2001). Reed C.L., Shoham S., Halgren E. (2004) Neural substrates of tactile object recognition: An fMRI study // Human Brain Mapping, № 21: 236–246.]. Однако в этих исследованиях, как правило, не отслеживалась успешность выполнения задачи визуального восприятия, и поэтому низкая активность латеральной затылочной коры во время процесса визуализации могла просто означать, что участники выполняли задачу непоследовательно, либо не сохраняли визуальные образы на протяжении всего процесса изучения объектов.

Альтернативная гипотеза заключается в том, что визуальные и тактильные импульсы сходятся друг с другом в мультисенсорной репрезентации, о чем свидетельствует сходство между зрительным и осязательным процессами обработки информации об образах (см. выше). Под «мультисенсорным» мы подразумеваем такой образ, который может быть закодирован и извлечен обратно множеством сенсорных систем и который сохраняет информацию о модальности входящих импульсов[74 - Sathian K. (2004) Modality, quo vadis?: Comment // Behavioral & Brain Sciences, № 27: 413–414.]. Мультисенсорная гипотеза подтверждается исследованиями об эффективных связях[75 - В исследованиях с применением фМРТ можно обнаружить большое количество статистически значимых связей активности одного отдела мозга с другим, но на основании наличия корреляции невозможно установить причину этой связи. Особую ценность представляют поиски эффективных связей, которые отражают взаимное влияние отделов мозга друг на друга, и стоящие за ними нейрональные связи. Такие исследования требуют специального дизайна. О некоторых из них авторы статьи рассказывают дальше (прим. науч. ред.).] этих модальностей. Такой результат был получен на основе данных функциональной магнитно-резонансной томографии (фМРТ), указывающих на существование восходящих (возникающих в первичных сенсорных областях мозга) проекций от первичной соматосенсорной коры к латеральной затылочной коре[76 - Peltier S., Stilla R., Mariola E., LaConte S., Hu X., Sathian K. (2007) Activity and effective connectivity of parietal and occipital cortical regions during haptic shape perception // Neuropsychologia, № 45: 476–483; Deshpande G., Hu X., Stilla R., Sathian K. (2008) Effective connectivity during haptic perception: A study using Granger causality analysis of functional magnetic resonance imaging data // NeuroImage, № 40: 1807–1814.], а также электрофизиологических данных, показывающих быстрое распространение активности также от первичной соматосенсорной к латеральной затылочной коре во время тактильного распознавания формы[77 - Lucan J.N., Foxe J.J., Gomez-Ramirez M., Sathian K., Molholm S. (2010) Tactile shape discrimination recruits human lateral occipital complex during early perceptual processing // Human Brain Mapping, № 31: 1813–1821.]. Однако исследователи[78 - Peltier S. et al. (2007); Deshpande G. et al. (2008).] также нашли доказательства существования проекций обратной направленности (возникающих в областях, участвующих в более высоких когнитивных функциях, таких как создание мысленных образов). Это указывает на то, что репрезентации форм объектов в латеральной затылочной коре могут быть доступны как восходящим, так и нисходящим проекциям.

Предварительная модель создания визуального образа в процессе тактильного восприятия и репрезентации формы

Важной целью мультисенсорных исследований является моделирование процессов, лежащих в основе визуально-тактильного представления объектов. Для этого мы исследовали кортикальные сети, участвующие в процессе создания визуального образа и тактильном восприятии как знакомых, так и незнакомых объектов[79 - Deshpande G., Hu X., Lacey S., Stilla R., Sathian K. (2010) Object familiarity modulates effective connectivity during haptic shape perception // NeuroImage, № 49: 1991–2000; Lacey S., Flueckiger P., Stilla R., Lava M., Sathian K. (2010) Object familiarity modulates the relationship between visual object imagery and haptic shape perception // NeuroImage, № 49: 1977–1990.]. В результате мы можем очертить предварительную модель участия визуальных образов в тактильном восприятии формы на основании исследований, о которых шла речь ранее.

В одном эксперименте по созданию визуальных образов[80 - Lacey S. et al. (2010).] от участников требовалось слушать пары слов и решать, какую форму имеют объекты, обозначенные этими словами, – похожую или разную (например, «змея – веревка» и «ложка – вилка» соответственно). Таким образом, в отличие от более ранних исследований, участники выполняли задания, требующие создания визуальных образов, успешность выполнения которых можно было отследить. В качестве дополнительного задания по тактильному распознаванию предметов участникам было предложено определить аналогичным образом, с помощью ощупывания правой рукой, – одинаковые или разные формы имеют незнакомые им ранее объекты. Каждая из этих задач сопровождалась соответствующей контрольной задачей[81 - См. подробнее: Lacey S. et al. (2010).]. Нас особенно интересовали области мозга, которые были активны как при визуальном, так и при тактильном распознавании формы, и то, была ли связь между уровнем активности в этих пересекающихся зонах при выполнении двух задач. Таких зон было всего четыре, и только одна из них показала значимую положительную корреляцию уровней активности при выполнении первой и второй задач. Таким образом, эти результаты привели нас к довольно слабым доказательствам гипотезы о доминирующей роли визуальных образов, так как, вероятно, они объясняют появление лишь кратковременных образов общей формы незнакомых объектов. Однако, в то время как задача тактильного распознавания производилась с незнакомыми объектами, задача распознавания визуальных образов, очевидно, подразумевала извлечение образов знакомых объектов (как «змея – веревка») из долговременной памяти. Мы предположили, что это несоответствие, связанное со степенью ознакомленности с предметами, могло стать причиной наших наблюдений, и решили провести второй эксперимент, в котором задачи визуального и тактильного распознавания остались точно такими же, как и раньше, за исключением того, что в задаче тактильного распознавания набор распознаваемых объектов был заменен на ранее знакомые. Следовательно, теперь в обеих задачах использовались знакомые предметы. В результате мы выделили обширную сеть пересекающихся областей коры, в которых уровень активности обеих частей латеральной затылочной коры, а также теменной и префронтальной областей, показал значимую положительную корреляцию при выполнении двух задач. Необходимо также отметить, что задача создания визуальных образов и восприятия знакомых тактильных форм, вероятно, задействовала объектные, а не пространственные визуальные образы (об их различиях шла речь ранее). Таким образом, объединив оба эксперимента, мы продемонстрировали, что хотя визуальные образы и тактильное восприятие знакомых объектов взаимосвязаны, для незнакомых объектов такая связь не наблюдается.

Обнаружив аргументы, подтверждающие гипотезу о доминирующей роли визуальных образов, мы хотели дать ей более прочную основу, исследуя взаимосвязь кортикальных сетей, участвующих в формировании визуальных образов и осязательном восприятии формы[82 - Deshpande G. et al. (2008).]. Кроме того, изучение связи между областями коры головного мозга поможет разграничить гипотезы о доминировании визуальных образов и о мультисенсорной конвергенции. Ранее мы предполагали, что зрение и осязание имеют общую репрезентацию формы объектов, доступную для восходящих и нисходящих проекций[83 - Lacey S., Campbell C., Sathian K. (2007b) Vision and touch: Multiple or multisensory representations of objects? // Perception, № 36: 1513–1521.]. Визуальные образы активируют нисходящие пути из префронтальных и задних теменных областей в зрительную кору[84 - Mechelli A., Price C.J., Friston K.J., Ishai A. (2004) Where bottom-up meets top-down: neuronal interactions during perception and imagery // Cerebral Cortex, № 14: 1256–1265.]. Поэтому, если бы активность латеральной затылочной коры находилась под влиянием визуальных образов, следовало бы ожидать обнаружение нисходящих проекций в латеральную затылочную кору во время процесса как визуального, так и тактильного восприятия. В противном случае активность латеральной затылочной коры может отражать конвергенцию визуальных и тактильных импульсов в мультисенсорной репрезентации, и в этом случае мы могли бы быть уверены в том, что проекции в латеральную затылочную кору из соматосенсорной имеют восходящий характер. Существование и тех, и других путей было предположено в ходе более ранних исследований эффективной связности головного мозга[85 - Peltier S. et al. (2007); Deshpande G. et al. (2008).], однако в них были использованы только незнакомые объекты и не была проанализирована связность при выполнении конкретных задач. Как во время визуального, так и во время тактильного восприятия знакомой формы, латеральная затылочная кора в основном управлялась префронтальными областями, то есть нисходящим образом; более того, активности этих двух сетей сильно коррелировали между собой. Однако во время тактильного восприятия незнакомой формы возник совершенно другой паттерн, в котором восходящие пути из соматосенсорной коры преобладали над импульсами латеральной затылочной коры. Вместе с этим тактильная система распознавания незнакомых форм была не связана ни с распознаванием визуальных образов, ни с распознаванием тактильно знакомых объектов.

На основе этих результатов и литературы, рассмотренной нами ранее, мы разработали концептуальную модель визуально-тактильной репрезентации объекта, которая объединяет гипотезу о роли визуальных образов и мультисенсорные подходы[86 - Lacey S. et al. (2009a).]. Данная модель предполагает, что латеральная затылочная кора содержит образ, не зависящий от модальности канала восприятия (зрительный, либо осязательный), и эта репрезентация доступна как при восходящей, так и при нисходящей проекции в зависимости от степени знакомства с объектом (или от других особенностей выполняемой задачи). Для знакомых объектов общая форма может быть определена гораздо легче благодаря отличительным чертам, которых вполне достаточно для получения целостного визуального изображения. Поэтому модель позволяет учесть роль нисходящих проекций из теменных и префронтальных областей за счет того, что тактильное восприятие знакомой формы апеллирует к визуальным образам объектного типа, полученным из этих областей. В свою очередь образ незнакомого нам объекта изначально отсутствует в нашем сознании, поэтому его общая форма может быть обработана полностью только при условии его досконального исследования. Таким образом, тактильное восприятие незнакомых форм происходит скорее восходящим путем от соматосенсорной коры к латеральной затылочной коре. Поскольку теменная кора внутри и вокруг внутритеменной борозды участвует в зрительно-тактильном восприятии формы и пространства[87 - Stilla R. Sathian K. (2008); Sathian K. et al. (1997).], наша модель также иллюстрирует, что для того, чтобы вычислить общую форму объектов, эти теменные области должны быть вовлечены в анализ относительного пространственного расположения частей объекта и задействовать более широкое использование пространственного мышления.

В ходе дальнейшей проверки нашей модели мы сравнили визуальные пространственные представления с тактильным восприятием знакомых и незнакомых форм[88 - Lacey S., Stilla R., Porath M., Tipler C., Sathian K. (2012). Spatial imagery in haptic shape perception // Abstract, Society for Neuroscience, New Orleans, October 13–17.]. Это исследование показало, что существуют теменные области, участвующие одновременно и в создании пространственных образов, и в тактильном распознавании форм. Некоторые из этих областей продемонстрировали корреляцию степени активации во время, во-первых, создания пространственных образов, а, во-вторых, тактильного восприятия формы. Мы предполагаем, что на самом деле пространственные образы, по-видимому, участвуют в тактильном восприятии формы объекта независимо от того, насколько знакомым он является, а также, возможно, насколько связаны с формированием общей репрезетации формы объекта из его составных частей[89 - Lacey S. et al. (2012).].

Выводы

В данной статье мы рассмотрели некоторые доказательства того, что области коры головного мозга, ответственные за визуальное восприятие, участвуют также и в тактильном восприятии объектов. Сделав фокус на описании латеральной затылочной коры, области распознавания визуальных объектов, мы определили ее роль в процессе тактильного восприятия формы и описали в общих чертах модель процесса распознавания объектов. Эта модель подразумевает участие объектного и пространственного мышления, причем их роль зависит от того, насколько хорошо объект нам знаком. Анализ процессов активности и взаимодействия между структурами коры головного мозга позволяет предположить, что объектное мышление связано прежде всего со знакомыми объектами, в то время как пространственное мышление может быть связано как со знакомыми, так и незнакомыми предметами и формами. В дальнейшем еще предстоит изучить отдельные разногласия, возникающие внутри этой модели, а также то, как она соотносится с более ранними концептуальными моделями визуального восприятия.

Эти выводы говорят о необходимости расширять и развивать программы, которые позволяют посетителям прикасаться руками к объектам. Конечно, речь идет об использовании детализированных копий или моделей предметов, или же артефактов, обладающих минимальной археологической и исторической ценностью. Подобная практика не должна ограничиваться только историческими объектами – для художественных выставок можно использовать скульптурные копии или тактильную графику[90 - Heller M.A. (2006) Picture perception and spatial cognition in visually impaired people // Touch and Blindness: Psychology and Neuroscience / Heller M.А., Ballesteros S. (Eds.) Mahwah: Lawrence Erlbaum Associates.]. Это позволит лучше донести информацию до посетителей, сделать их опыт посещения музея более запоминающимся, поможет им понять содержание экспозиции. Более того, подобная практика позволяет сделать экспозицию доступной для незрячих или слабовидящих людей, которые прежде не могли взаимодействовать с объектами, кроме как с помощью текстов, напечатанных шрифтом Брайля или же с помощью специальных аудиогидов. Самое важное преимущество использования мультисенсорного подхода – это возможность более глубокого погружения посетителей в исторический контекст. Недавно были обнаружены останки Ричарда III, утерянные после его смерти в бою в 1485 году. На найденных останках видны множественные раны, нанесенные холодным оружием[91 - University of Leicester announces discovery of King Richard III (https://www2.le.ac.uk/offices/press/press-releases/2013/february/ university-of-leicester-announces-discovery-of-king-richard-iii).]. Представьте, какой захватывающей была бы возможность потрогать это оружие, почувствовать тяжесть средневекового меча и как никогда раньше представить себе последние мгновения жизни короля.

Благодарности

Исследование авторов было поддержано Национальным глазным институтом Национального института здоровья (США), Национальным научным фондом (США) и Управлением по делам ветеранов (США).

Телесный опыт в музее: как получить знание из «первых рук», а не с «первого взгляда»

Франческа Баччи и Франческо Павани

От запрещенного до неуместного: в поисках правильного прикосновения

В музеях всего мира – даже там, где нет такого прописанного правила, – нам дают понять, что трогать экспонаты запрещено. Организации тратят немало денег на то, чтобы навязать это правило видимыми и невидимыми способами: с помощью простой веревки, датчиков, которые начинают пищать, если кто-то слишком близко подходит к экспонату, перепада высот на полу или стекла, под которое прячут экспонат. Причина проста: за вычетом перевозок, чаще всего произведения искусства подвергаются порче из-за того, что люди нарушают запрет на прикосновение, – а восстанавливать повреждения подобного рода очень дорого. Из инструкции Музея Гетти легко можно понять, что посетители обычно пытаются делать с экспонатами: «ЗАПРЕЩАЕТСЯ трогать картины: пальцами или ногтями можно испортить слой лака или краски. ЗАПРЕЩАЕТСЯ трогать рамы: пальцами можно повредить непрочную позолоту и очень старое дерево. ЗАПРЕЩАЕТСЯ трогать мебель и скульптуры: после прикосновений на дереве и на камне остаются пятна, а в металл въедаются отпечатки пальцев. ЗАПРЕЩАЕТСЯ выдвигать ящики, поднимать крышки, садиться на стулья, кресла и столы. Если вы используете коляску для передвижения, следите, чтобы подножка не задевала стены и мебель»[92 - The Book of Touch / Classen С. (Ed.) (2005) Oxford and New York: Berg: 274.].

Все эти правила четко указывают на потребность, глубоко укорененную в человеческой природе, – потребность ощупывать предмет, чтобы получить о нем информацию. Первые музеи XVII–XVIII веков, возникшие на базе частных коллекций, удовлетворяли эту потребность, призывая посетителей трогать экспонаты. По словам социолога Констанс Классен, «экскурсия по музею, проводимая куратором, походила на осмотр дома, какой мог бы предложить хозяин. Посетителям музея, как вежливым гостям, полагалось проявлять интерес и воодушевление, задавая вопросы и трогая демонстрируемые предметы»[93 - The Book of Touch / Classen С. (Ed.)]. Переход к современным бесконтактным музеям произошел по нескольким причинам: контролировать поток бескультурных посетителей стало невозможно; приемы экспонирования улучшились, а электрический свет отменил необходимость брать предметы в руки, чтобы как следует их разглядеть; зрение начало играть особую роль в культурном дискурсе XIX века (см., к примеру, работы Чарльза Дарвина, Макса Нордау и Зигмунда Фрейда).

Получается, прикосновение исчезло из музейного опыта? Если под прикосновением подразумевается контакт определенной части тела (руки) с объектом, то ответ на этот вопрос должен быть утвердительным. Однако осязание – это гораздо больше, чем только прикосновение руками.

Во-первых, телесные ощущения, которые посетитель может испытывать в музее, бывают не только тактильными. В школе нас учат, что существует пять чувств; однако, немного понаблюдав за собой, легко заметить, что наше тело – источник гораздо более богатых ощущений, которые отнюдь не ограничиваются тактильным восприятием. В то время как вы читаете этот текст, ваше тело находится в определенном положении. Сидите ли вы в кресле положив ногу на ногу или лежите на диване, вы прекрасно знаете, как расположено ваше туловище, ваша голова, ваши конечности, пальцы и ступни. Вы все это знаете, хотя ваши глаза заняты чтением и большая часть вашего тела, скорее всего, находится вне вашего поля зрения. Чувство, которое сообщает эту информацию мозгу, называется проприоцепция и возникает благодаря особым рецепторам, находящимся в мышцах и сухожилиях. Благодаря проприоцепции мы осознаем, насколько согнуты наши суставы, находятся ли части нашего тела в движении или покое и – до определенной степени – как наше тело расположено в пространстве[94 - Longo M.R., Kammers M.P.M., Gomi H., Tsakiris M., Haggard P. (2009) Contraction of body representation induced by proprioceptive conflict // Current Biology, № 19: R727–R728.]. В то же время, проприоцепция не отвечает за такую информацию, как расположение нашего тела относительно земного притяжения (вертикальное, горизонтальное или под наклоном). Для этого мы используем другие ощущения, называемые вестибулярными: они связаны со специальными рецепторами, расположенными во внутреннем ухе, рядом с органом восприятия звуков. Кроме того, в восприятии нами собственного тела участвуют различные висцеральные ощущения, от ритмического сокращения грудной клетки во время дыхания до сердцебиения, от пищеварения до неспецифических болей. Все эти элементы восприятия, связанные с физиологией нашего организма и с вегетативной нервной системой, известны как интероцептивные ощущения и отличаются от тактильных ощущений, проприоцепции и вестибулярных импульсов[95 - Craig A.D. (2002) How do you feel? Interoception: The sense of the physiological condition of the body // Nat. Rev. Neuroscience, № 3(8): 655–666.]. Когда мы ходим по музею, все эти ощущения сообщают нам некую информацию, хотя руки могут и не принимать в этом участия.

Вторая причина, по которой осязание на самом деле остается частью музейного опыта, менее очевидна и обусловлена особенностями нашего восприятия, которое мультисенсорно по своей природе. Запрет на прикосновения не мешает посетителям задействовать сразу несколько органов чувств при осмотре музея. Даже когда мы вынуждены держаться поодаль от картины или скульптуры, – то есть вроде бы имеем возможность воспринимать объект только визуально – наш мозг выстраивает модель рассматриваемого объекта, не ограниченную лишь одной модальностью. Это происходит потому, что человек воспринимает мир комплексно, связывая воедино информацию, поступающую от разных чувственных стимулов, с движениями тела. Наш мозг постоянно обрабатывает сенсорную и двигательную информацию, формируя из нее картину окружающей действительности. Как утверждает интегративная теория оптимального мультисенсорного восприятия, при создании этой картины вклад каждого сообщения оценивается в соответствии с его надежностью[96 - Ernst M.O., Banks M.S. (2002) Humans integrate visual and haptic information in a statistically optimal fashion // Nature, № 415: 429–433. Alais D., Burr D. (2004) The ventriloquist effect results from near-optimal bimodal integration // Curr. Biol, № 14: 257–262.]. Таким образом, мы можем воссоздать прикосновение с помощью зрения или слуха, а наше тело предчувствует тактильные ощущения, когда мы оказываемся рядом с объектом, который хотим потрогать. Мы можем испытывать вестибулярные ощущения или чувствовать сенсорно-моторные импульсы просто глядя на подвижные произведения искусства (или даже на произведения, которые изображают движение). Кроме того, как уже было сказано выше, в музее мы постоянно испытываем и другие телесные ощущения.

Если расширить понятие прикосновения, включив в него телесные ощущения и мультисенсорное восприятие, можно выдвинуть две гипотезы.

Во-первых, хотя музей ограничивает тактильное восприятие, это не отменяет других способов телесного взаимодействия с искусством.

Во-вторых, если бы нам разрешили трогать объекты, не факт, что восприятие стало бы более точным. В этой главе мы рассмотрим оба этих предположения, а также обсудим, что в таком контексте представляет собой музейный опыт незрячих людей.

Проприоцепция и интероцепция в восприятии искусства

Одно из свойств искусства, наделяющее его ценностью в наших глазах, – способность вызывать сопереживание. Рассматривая фигуративное искусство, мы часто идентифицируем себя с главным персонажем картины или скульптуры и размышляем, каково было бы оказаться на его месте, в то же время или в такой же ситуации. Это эффективный способ опосредованно испытать то же, что испытывают другие человеческие существа, безопасный и безболезненный способ исследовать, словами Ротко, «трагедию, экстаз и отчаяние». Мы испытываем эту эмпатию всем телом, когда исследуем глазами экспонат. Реакция на произведение искусства имеет не только интеллектуальную, но и физическую составляющую. В тех случаях, когда визуальное восприятие невозможно, решением может стать предложить посетителю принять такую же позу, как у фигур на картине или у скульптуры, и сопроводить это рассказом об изображенном. Когда человек знает и чувствует, что его тело расположено ровно так же, как и у изображенных персонажей, дистанция между ним и произведением искусства сокращается. Тело посетителей, как сказал бы философ Морис Мерло-Понти, оказывается в пространстве и времени самого искусства.

Проприоцепция (то есть восприятие положения тела в пространстве) находится в центре проекта Эрвина Вурма – серии так называемых одноминутных скульптур, которая началась в 1980-х и пополняется новыми работами по сей день. Автор предлагает случайным прохожим позировать в течение одной минуты с каким-нибудь бытовым предметом. Эти живые скульптуры, в их неподвижности и объемной массивности, являются аналогами более традиционных скульптурных форм. Этот проект не только критически работает с темой постоянства и материальности скульптуры, но и дает людям возможность на себе ощутить позы скульптур. Таким образом, идентификация с работой переводится из интеллектуальной плоскости в плоскость ощущений.

Подобное можно сказать и о перформансе Энтони Гормли «Один и другой», который был показан в 2009 году. В рамках перформанса обычные люди по очереди проводили час на пустующем постаменте в северо-западном углу Трафальгарской площади. Всего в акции приняло участие две тысячи четыреста человек, ставших живыми скульптурами и коллективным портретом современной Великобритании. В этом случае мы наблюдаем аналогичную ситуацию: воплощение экспоната в собственном теле может открыть новые грани рефлексии, что в свою очередь способно глубоко повлиять на наше восприятие искусства. Мы становимся не просто зрителями, а полноценно переживающими субъектами, наделенными собственными представлениями об искусстве – не только на высоком когнитивном уровне, но и на более базовом, чувственном уровне, который оказывается очень богатым по своей природе.

К не-тактильным телесным ощущениям апеллирует также искусство, основанное на биологической обратной связи (biofeedback). За последнее десятилетие датчики, регистрирующие физиологические сигналы, сильно усовершенствовались: сейчас они дешево стоят, могут использоваться многократно и не нарушают кожный покров. В спортивном оборудовании простая металлическая рукоятка используется для измерения пульса, нагрудная лента – для измерения частоты дыхания, а несколько многоразовых электродов – для измерения электрической активности кожи (то есть ее электрической проводимости, зависящей от потоотделения). В этих показателях проявляются интероцептивные ощущения. Изначально они привлекли внимание художников потому, что демонстрируют физиологическое и психологическое возбуждение. Примером такой работы может служить инсталляция Шона Монтгомери «Эмерджентность», выполненная в смешанной технике. По словам художника,

«…когда зритель прикасается к инсталляции, по его телу проходят электрические импульсы, порожденные ударами его пульса, которые инсталляция распознает и оцифровывает. „Эмерджентность“ синхронизирует свою электронную пульсацию с сердцебиением зрителя и запускает мигающий свет и звуковое сопровождение, которое отражает интимное взаимодействие человека и устройства»[97 - Montgomery S.M. Emergence (http://produceconsumerobot.com/emergence/).].

Подобное искусство ориентируется на человеческое тело; оно предназначено для тела и безусловно может заинтересовать публику с различными особенностями чувственного восприятия.

Одна из последних теорий в области когнитивной нейронауки утверждает, что произведения искусства, обращающиеся к биологической обратной связи, сложнее, чем кажется на первый взгляд: они не только отражают субъективные состояния возбуждения. Анил Сет и другие исследователи из Университета Суссекса[98 - Seth A.K., Suzuki K., Critchley H.D. (2011) An interoceptive predictive coding model of conscious presence // Front Psychol, № 2: 395.] предположили, что интероцепция может способствовать восприятию действительности и ощущению себя в мире (имеется в виду ощущение «присутствия», которое в наше время используется также для оценки правдоподобия виртуальной реальности). Ученые предложили модель описания под названием «интероцептивное предсказательное кодирование». В рамках этой модели выдвигается такая гипотеза: реалистичное ощущение присутствия возникает благодаря способности мозга предсказывать интероцептивные сигналы организма. А вот патологическая неспособность точно предсказать интероцептивные сигналы может быть причиной психиатрических нарушений, связанных с ощущением присутствия, – деперсонализации (потери субъективного ощущения реальности Я) и дереализации (потери субъективного ощущения реальности мира). Согласно этой гипотезе, искусство, апеллирующее к интероцепции, может спровоцировать особенно сильные ощущения, формируя то, как посетитель воспринимает реальность. Важно отметить, что такой вид искусства не обязательно должен быть визуальным: учащенное сердцебиение и изменение электрической активности кожи может быть передано с помощью звуков (медицинские приспособления биологической обратной связи обычно устроены именно так).