Ентропията е понятие, което идва от гръцка дума, която може да бъде преведена като „връщане“ или „трансформация“ (използвана в преносен смисъл).

През деветнадесети век Клаузиус въвежда концепцията в областта на физиката, за да се позове на мярка на разстройството, което може да се види в молекулите на газ. От този момент нататък тази концепция ще се използва с различни значения в множество науки, като физика, химия, компютърни науки, математика и лингвистика .

Някои дефиниции са:

Ентропията може да бъде термодинамичната физическа величина, която ни позволява да измерим неизползваемата част от енергията, съдържаща се в една система . Това означава, че тази част от енергията не може да се използва за производство на работа.

Ентропията също се разбира като мярка за разстройството на една система . В този смисъл тя е свързана със степен на хомогенност.

Ентропията на образуване на химическо съединение се установява чрез измерване на това, което отговаря на всеки от съставните му елементи. Колкото по-голяма е ентропията на формирането, толкова по-благоприятна ще бъде нейната формация.

В теорията на информацията, ентропията е мярката на несигурността, която съществува преди набор от съобщения (от които само един ще бъде получен). Това е мярка от информацията, която е необходима за намаляване или елиминиране на несигурността.

Друг начин за разбиране на ентропията е средното количество информация, съдържаща се в предаваните символи . Думите като "the" или " that " са най-често срещаните символи в текста, но въпреки това те са тези, които допринасят по-малко информация. Съобщението ще има съответна информация и максимална ентропия, когато всички символи са еднакво вероятни.

Ентропия в областта на лингвистиката

Начинът, по който информацията се организира и разпространява в дискурс, е една от най-важните и податливи теми на изследванията за лингвистиката. И благодарение на ентропията може да се направи по-задълбочен анализ на комуникацията.

В случай на писмена комуникация проблемът е прост за анализ (основните единици, буквите са добре дефинирани); Ако искате да разберете внимателно съобщението, можете да го декодирате точно и да разберете както буквалния, така и фигуративния . Но в устния език нещата се променят, което създава някои усложнения.

Не е лесно да се определи в устния дискурс основните елементи на кода ; думите звучат различно според това кой ги казва и по подобен начин те могат да имат различни значения. Следователно не е достатъчно да ги класифицираме във вокални и съгласни фонеми, защото това не би ни позволило да разберем как е организирана информацията, защото например, ако вокалните фонеми са потиснати, не е възможно да се разбере съобщението.

Според проучване, проведено в Университета на Уисконсин-Мадисън, един добър начин за изолиране и разбиране на устния код е чрез спектралното разлагане на звуковите сигнали. Благодарение на тази техника, ние се опитваме да разберем как кохлеята филтрира и анализира какво пристига. Кохлеята е част от ушите ни, която има функцията да преобразува звуците в електрически сигнали и да ги изпраща директно в мозъка.

За да се осъществи този експеримент, беше използвана единица за измерване, известна като "спектрална ентропия на кохлеарна скала" (CSE), която позволява да се установят връзки между сигнал и този, който го предхожда ; решавайки какви възможности да предскаже сигнал, започващ от предишния.

Резултатите върнаха, че колкото по-близки са два сигнала, толкова по-лесно е да се предвиди второто ; Това означава, че информацията, която вземаме от втората, е почти нулева. По същия начин, колкото повече се различават един от друг, толкова по-голяма е информацията, предоставена от втория сигнал, така че ако бъде елиминирана, това ще доведе до значителни последствия за разбирането на дискурса.