多模態：意義、感官、互動與智能系統的跨領域研究

全書導讀

「多模態」（Multimodality）描述多種意義資源、感官通道或資料型態如何在特定情境中共同運作。這本書不把它當成單一學科的專有名詞，而是從三個主要層次建立跨領域地圖：

符號與溝通層次：文字、圖像、色彩、音樂、手勢、視線、姿勢與空間如何被社會組織，形成文本、互動與身份。
感官與身體層次：視覺、聽覺、觸覺等感官如何整合，身體如何與物件、環境和他人共同完成活動。
計算與資料層次：文字、影像、音訊、影片、醫療影像或結構化資料如何被模型對齊與融合，以及其可靠性限制。

三層之間可以相互啟發，但不能混為一談。社會符號學的「模式」是社會化的表意資源；感知科學的「模態」常指感官通道；AI 和醫療研究的「模態」通常指資料型態或成像方法。閱讀任何跨領域研究時，第一個問題應是：作者所說的模態究竟是什麼？

全書主張

多模態並不等於媒材越多越好。關鍵在於不同模式如何分工、互補、重複、衝突或改變彼此的意義。模式的使用受到社會慣例與權力關係影響；互動意義是在身體、物件和回應的序列中形成；多感官整合受任務與時序制約；教學與可近用設計需要讓不同人有不同方式取得資訊和表達；多模態 AI 則必須面對資料偏差、缺失模態、幻覺及跨文化代表不足等問題。

建議閱讀路徑

入門：建立共同語言

先讀「多模態研究首先研究意義資源如何整合而非只數算媒介」，再讀「媒介是承載方式而模式是有社會慣例的表意資源」及「多模態一詞橫跨符號互動感官與計算資料三個層次」。接著閱讀社會符號學、視覺語法與多元識讀的概念地圖。

第二步：觀察互動中的身體與物件

閱讀 Norris 的方法論、會話分析與 Mondada 的研究，再以手勢、視線、空間和節奏作為觀察單位。可將「每日多模態觀察日誌」作為練習。

第三步：連結感官、教育與可近用性

從多感官整合與時間知覺研究開始，接著閱讀多元識讀、課堂參與、AAC 和 W3C 的替代資訊原則。注意「多模式」不等於「更好學」，設計是否符合使用者和任務才是重點。

第四步：理解地方知識與研究倫理

閱讀南非、印度、香港、新加坡／馬來西亞與拉丁美洲案例，觀察多模態如何參與文化身份、語言景觀、教學和敘事權。再讀多模態人類學與感官民族誌，思考共同製作、資料治理及數位落差。

第五步：比較計算領域的多模態

最後閱讀資料融合、少樣本適應與視覺語言模型研究。把「跨模態對齊」與「人類式理解」分開，並以反例、缺失模態、專業領域和非英語資料測試模型。

概念地圖（MOC）

延伸思考與實作（IDEA）

概念詞條（TERM）

永久筆記（NOTE）

文獻與案例筆記（DATA）

使用說明與研究限制

文獻筆記以可追溯的學術出版品、專業機構與標準文件為主；每張卡片附原始來源連結。摘要為本書編者的整理，不是原文逐字翻譯。
地區案例涵蓋歐洲與北美的理論脈絡，以及南非、印度、香港、新加坡、馬來西亞和拉丁美洲的實證研究。此清單是代表性取樣，不代表全球多模態研究的完整分布。
本書未虛構個人訪談或田野心得。涉及訪談的部分以研究方法與可執行的田野設計建議呈現；實際訪談仍應取得同意並由參與者共同詮釋。
多模態、multisensory、multimedia、multimodal AI 和 medical imaging 的概念邊界並不相同；跨域引用時應明確標記研究層次。
文獻筆記的出版資料與網頁可用性可能更新；正式引用前，請以 DOI、出版社或期刊頁面核對最新版書目資料。

本書的核心問題

當不同模式一起出現時，究竟是誰在選擇它們？它們各自讓什麼變得可見、可聽、可感或可計算？又有哪些經驗與群體被排除？從這些問題出發，多模態研究便不只是分析「用了哪些媒介」，而是研究人們如何在具體世界中共同製作意義、安排參與，並分配知識與權力。

Flyism

探索

Multimodality