Un problema irrisolto è certamente quello dell’interazione fra i diversi linguaggi: (testo, voce, immagini) e dell’eventuale surplus di carattere informativo, cognitivo e didattico, apportato da questa integrazione. A questo proposito è fondamentale riferirsi al problema del rapporto fra i linguaggi visivi, e generalmente le rappresentazioni iconiche (quelle che spesso vengono chiamate rappresentazioni mentali) e il linguaggio (sia verbale che scritto).

Questo è uno dei grandi temi della filosofia e della psicologia cognitiva: da almeno vent’anni si assiste al dibattito circa l’effettiva possibilità di conferire alle rappresentazioni mentali, generalmente ai linguaggi iconici (visivi), una autonomia, concettuale e cognitiva, rispetto al linguaggio verbale (proposizionale). In particolare, all’interno della psicologia cognitiva vi è un confronto molto acceso tra i cosiddetti proposizionalisti e i pittorialisti. I primi negano la completa autonomia del formato rappresentazioni iconiche - linguaggio visivo rispetto al formato proposizione, essendo convinti che il pensiero operi soprattutto sulla base di una struttura sintattica proposizionale, che ricalca quindi le modalità di fruizione, uso e produzione del linguaggio verbale e del linguaggio scritto. All’interno di questo tipo di linguaggio, dunque, i segni sono convenzionali, cioè il loro rapporto con ciò che viene da essi denotato è di tipo arbitrario (l’arbitrarietà del segno è una delle principali conquiste dell’idea di linguaggio proposizionale) e non invece costruito sulla base di analogie, di somiglianze, come appunto si ipotizza all’interno del riferimento delle rappresentazioni mentali. Questo impone innanzitutto che sotto il profilo cognitivo sono fondamentali solo le modalità di produzione e comprensione del linguaggio proposizionale mentre tutte le altre sono forme derivate, e in secondo luogo che la modalità fondamentale di approccio, qualunque sia il formato di presentazione, è la lettura. In quest’ottica anche la percezione visiva sarebbe in qualche modo una forma di lettura ove sono cruciali le modalità di interpretazione del testo e quindi di quel che viene percepito. Tutto ciò nega qualunque differenza significativa tra i processi primari, quelli di percezione mirata e diretta e quelli secondari, cioè quelli di concettualizzazione, in cui entrano con una importanza determinante i processi di categorizzazione e di costruzione di categorie concettuali. La risposta dei pittorialisti è invece che se assumiamo questa idea, in sostanza finiamo in una circolarità di tipo linguistico perché diciamo sostanzialmente che la percezione non è autonoma ma dipende dalla interpretazione, l’interpretazione è a sua volta guidata dal linguaggio e allora è difficile capire quale sia la base e il fondamento della relazione che sussiste tra le parole e il mondo.

In questa diatriba è particolarmente importante il tentativo di sintesi che viene cercato e in qualche modo operato da Roland Barthes in una serie di testi in cui sostanzialmente si mette a confronto il processo della lettura e il processo della visione per dire che in realtà non è vero che sussista questo iato così netto fra i due processi, nel senso che innanzitutto non è vero che il processo di lettura avvenga sequenzialmente ma attraverso appunto la costruzione di serie di sensi, che si rinforzano progressivamente a differenza del processo di visione che invece è basato su un’attività di preventiva identificazione di un qualcosa che poi viene ulteriormente arricchito e corredato di significati. Secondo Barthes anche la lettura procede per quelli che vengono chiamati "inneschi di senso", cioè quando abbiamo a che fare con un testo particolarmente difficile spesso la lettura procede senza trovare un aggancio, senza riuscire in qualche modo a far presa sul significato del testo, fino a quando non arriviamo a riconoscere qualcosa di familiare al quale appunto ci aggrappiamo, e che funziona come "innesco di senso", a partire dal quale ricostruiamo anche ripercorrendo all’indietro il testo fino a quel momento percorso, ricostruiamo i significati e riusciamo a conferire senso a produzioni e frasi che fino a quel momento non eravamo riusciti in nessun modo a interpretare e agganciare. Anche qui abbiamo una identificazione di un qualcosa che ci è familiare, a partire dalla quale poi siamo in grado di ricostruire. Anche la lettura in realtà che procede non in modo lineare e sequenziale ma per cesure, per ricostruzioni successive, per arricchimenti successivi, sulla base di alcuni elementi che vengono identificati. E a partire da questo Barthes propone una teoria generale delle enunciazioni, in cui possano rientrare sia i processi di percezione e di uso delle rappresentazioni mentali, sia invece i processi di lettura quindi di fruizione, sia in termini di comprensione che di produzione, del linguaggio verbale o scritto.