Окончателно ръководство за това как работи Mining Mining - eduCBA

Въведение в текста

Text Mining - в днешния контекст текстът е най-често срещаното средство, чрез което се обменя информация. Но разбирането на смисъла от текста изобщо не е лесна работа. Нуждаем се от добро средство за бизнес разузнаване, което ще помогне да разберем информацията по лесен начин.

Какво е Text Mining

Text Mining е известен още като Text Analytics. Това е процесът на разбиране на информация от набор от текстове. Text Mining е създаден, за да помогне на бизнеса да намери ценни знания от текстово съдържание. Това съдържание може да бъде под формата на документ документ, имейл или публикации в социалните медии.

Text Mining е използването на автоматизирани методи за разбиране на знанията, налични в текстовите документи.

Text Mining може да се използва и за да разбере компютъра от структурирани или неструктурирани данни. Качествените данни или неструктурирани данни са данни, които не могат да бъдат измерени като числа. Тези данни обикновено съдържат информация като цвят, текстура и текст. Количествените данни или структурираните данни са данни, които могат да бъдат измерени лесно.

Извличането на текст е интердисциплинарно поле, което включва извличане на информация, извличане на данни, машинно обучение, статистика и други. Text Mining е малко по-различно поле от извличането на данни.

Предимства на Text Mining

Има много предимства на използването на Text Mining. Те са изброени по-долу

• Спестява време и ресурси и се представя по-ефективно от човешкия мозък.
• Той помага да се проследяват мненията във времето
• Text Mining помага да се обобщят документите
• Анализът на текста помага да се извлекат понятия от текст и да се представят по по-прост начин
• Текстът, който се индексира с помощта на извличане на текст, може да се използва в прогнозната анализа
• Можете да включите всеки речник, за да използвате терминологията във вашата област на интерес

Използване на Text Mining

• Имената на различни образувания и връзки между текста могат лесно да се намерят с помощта на различни техники.
• Той помага за извличане на модели от голямо количество неструктурирани данни
• Систематичен преглед на литературата - Това може да изисква задълбочено проучване на текст, да открие ключови теми и да подчертае повтарящите се термини или текст и популярните теми за определен период от време.
• Тестване на хипотезата - чрез извличане на текст може да се тества определена хипотеза, за да се види дали документът потвърждава или отрича хипотезата. Най-вече установеното убеждение се тества първо върху документа.

Забележка:
Разработете ефективно решения за бизнес проблеми. Научете се да дефинирате, анализирате и документирате бизнес изискванията. Разследвайте бизнес дейностите, за да ги направите по-ефективни.

Значение на текстовия майнинг

• Text Mining е по-добро и интелигентно вземане на решения
• Той помага за решаване на проблеми с откриването на знания в различни области на бизнеса
• Чрез извличането на текст можете лесно да визуализирате данните по много начини като html таблици, диаграми, графики и други
• Той е чудесно средство за производителност. Той дава по-добри резултати по-бързо от всеки друг инструмент.
• Инструментът за извличане на текст се използва както от големи и малки организации, които са организации, ориентирани към знанието.

Приложения на Text Mining

• Анализиране на отговорите на отвореното приключване

Въпросите за отворено приключване ще помогнат на респондентите да дадат своето мнение или мнение без ограничения. Това ще помогне да разберете повече за мнението на клиентите, отколкото да разчитате на структурирани въпросници. Извличането на текст може да се използва за анализ на такава информация под формата на текст.

• Автоматична обработка на съобщения, имейли

Text Mining също се използва главно за класифициране на текста. Text Mining може да се използва за филтриране на ненужната поща с помощта на определени думи или фрази. Такива писма автоматично ще изхвърлят такива съобщения, за да спам. Такава автоматична система за класифициране и филтриране на избрани писма и изпращане на съответния отдел се извършва с помощта на Text Mining система. Text Mining също ще изпрати сигнал до потребителя на електронната поща, за да премахне имейлите с такива обидни думи или съдържание.

• Анализ на гаранционни или застрахователни претенции

В повечето бизнес организации информацията се събира главно под формата на текст. Например в болница интервютата на пациентите могат да бъдат разказани накратко в текстова форма, а докладите също са под формата на текст. Тези бележки вече са събрани по електронен път, за да могат лесно да се прехвърлят в алгоритми за обработка на текст. След това тези записи могат да бъдат използвани за диагностициране на реалната ситуация.

• Проучване на конкуренти чрез обхождане на техните уеб сайтове

Друга важна област на приложение на Text Mining е обработката на съдържанието на уеб страниците в определен домейн. По този начин системата за извличане на текст автоматично ще намери списък с термини, който се използва в сайта. По този начин можете да разберете най-важните термини, използвани в уебсайта. По този начин човек може да знае възможностите за конкурентите, които могат да ви помогнат да постигнете ефективно бизнес.

Останалите приложения на Text Mining включват следното

• Бизнес разузнаване
• E Откриване
• Биоинформатика
• Управление на записи
• Националната сигурност или разузнаването работи
• Мониторинг на социалните медии

Техники, използвани в Mining Mining

Има пет основни технологии, използвани в Text Mining система. Те са разгледани подробно по-долу

1. Извличане на информация

Това се използва за анализ на неструктурирания текст чрез намиране на важните думи и намиране на връзките между тях. В тази техника се използва процесът на съвпадение на шаблони, за да се установи реда в текста. Той помага за трансформирането на неструктурирания текст в структурирана форма. Техниката за извличане на информация включва модули за обработка на езици. Това се използва най-вече там, където има голямо количество данни. Процесът на извличане на информация е обяснен на снимката по-долу.

2. Категоризация

Техника за категоризиране класифицира текстовия документ под една или повече категория. Въз основа на входните изходни примери се прави класификацията. Процесът на категоризация включва предварителна обработка, индексиране, намаляване на размерите и класификация. Текстът може да бъде категоризиран с помощта на техники като наивен байесов класификатор, дърво на решенията, най-близкият съседен класификатор и поддържащи машини.

3. Групирането

Методът на клъстериране се използва за групиране на текстови документи, които имат подобно съдържание. Той има дялове, наречени клъстери и всеки дял ще има редица документи с подобно съдържание. Клъстерирането гарантира, че нито един документ няма да бъде пропуснат от търсенето и той извлича всички документи, които имат подобно съдържание. K-средството е често използваната техника за клъстериране. Тази техника също сравнява всеки клъстер и намира колко добре документът е свързан помежду си. Компаниите използват тази техника за създаване на база данни с хиляди подобни документи.

4. Визуализацията

Техниката за визуализация се използва за опростяване на процеса на намиране на подходяща информация. Тази техника използва текстови знамена за представяне на документи или група документи и използва цветове, за да посочи компактността. Техниката за визуализация помага да се показва текстовата информация по по-привлекателен начин. Снимката по-долу ще представлява техниката на визуализация

5. Обобщаване

Техниката на обобщаване ще помогне да се намали дължината на документа и да се обобщят накратко детайлите на документите. Това прави работата на документа да чете за потребителите и да разбира съдържанието от пръв поглед. Обобщаването замества целия набор от документи. Той обобщава лесно и бързо голям текстов документ. Хората отнемат повече време за четене и след това обобщение на документа, но тази техника го прави много бърз. Той помага да се подчертаят основните точки в документа. Процесът на обобщаване е представен на снимката по-долу.

Методи и модели, използвани в текстовия майнинг

Въз основа на извличането на информация Text Mining има четири основни метода

1. Метод, основан на срокове (TBM)

Терминът в документ означава дума, която има семантично значение. При този метод целият набор от документи се анализира въз основа на термина. Един основен недостатък на този метод е проблемът със синонимията и полисемията. Синонимията е мястото, където множество думи имат едно и също значение. Полисемията е мястото, където една дума има повече значения.

2. Метод на базата на фрази (PBM)

При този метод документът се анализира въз основа на фразите, които са по-малко очевидни за повече значения и по-дискриминационни. Недостатъците на този метод включва

• Те имат по-ниски статистически свойства спрямо термините
• Те имат ниска честота на срещане
• Те имат голям брой шумни фрази

3. Метод, основан на концепцията (CBM)

При този метод документът се анализира въз основа на изречение и ниво на документа. В този метод има три основни компонента. Първият компонент изследва смисловата част на изреченията. Вторият компонент създава концептуален онтологичен график за обяснение на структурите. Третият компонент извлича основни концепции, базирани на първите два компонента. Този метод може да направи разлика между важните и маловажните думи.

4. Метод на модел на таксономия (PTM)

При този метод документът се анализира въз основа на моделите. Моделите в документа могат да бъдат открити с помощта на техники за извличане на данни като извличане на правила за асоцииране, последователно извличане на шаблони, често извличане на набор от елементи и затворено извличане на шаблони. Този метод използва два процеса - разгръщане на образец и развиващ се модел. Доказано е, че този метод е по-добър от всички останали модели или методи.

Как работи Mining Mining

Сега трябваше да разберете, че извличането на текст позволява да разберете текста по-добре, отколкото всичко друго. Text Mining система прави обмен на думи от неструктурирани данни в числови стойности. Извличането на текст помага да се идентифицират модели и връзки, които съществуват в голямо количество текст. Извличането на текст често използва изчислителни алгоритми за четене и анализ на текстова информация. Без извличане на текст ще бъде трудно да разберете текста лесно и бързо. Текстът може да се извлича по по-систематичен и изчерпателен начин и информацията за бизнеса може да се улавя автоматично. Стъпките в процеса на извличане на текст са изброени по-долу.

• Стъпка 1: Извличане на информация

Това е първата стъпка в процеса на извличане на данни. Тази стъпка включва помощта на търсачка, за да открие колекцията от текст, известен също като корпус от текстове, които може да се нуждаят от преобразуване. Тези текстове също трябва да бъдат събрани в определен формат, който ще бъде полезен за разбирането на потребителите. Обикновено XML е стандартът за извличане на текст

• Стъпка 2: Обработка на естествен език

Тази стъпка позволява на системата да извърши граматичен анализ на изречение, за да прочете текста. Той също така анализира текста в структури.

• Стъпка 3: Извличане на информация

Това е вторият етап, където за да се идентифицира смисъла на определена надценка на текста се прави. На този етап в базата данни за текста се добавят метаданни. Тя включва също добавяне на имена или местоположения към текста. Тази стъпка позволява на търсачката да получи информацията и да установи връзките между текстовете, използвайки техните метаданни.

• Стъпка 4: Извличане на данни

Последният етап е извличането на данни с помощта на различни инструменти. Тази стъпка открива приликите между информацията, която има същото значение, което иначе ще бъде трудно да се намери. Text Mining е инструмент, който засилва процеса на изследване и помага за тестване на заявките.

Text Mining включва следния списък от елементи

• Категоризация на текста
• Клъстеринг на текст
• Извличане на концепция / цялост
• Гранулирани таксономии
• Анализ на чувството
• Обобщение на документа
• Моделиране на отношенията между субектите

Предизвикателства на текстовия майнинг

Основното предизвикателство пред Text Mining системата е естественият език. Естественият език е изправен пред проблема за неяснотата. Неясността означава един термин с няколко значения, като една фраза се интерпретира по различни начини и в резултат се получават различни значения.

Друго ограничение е, че докато се използва система за извличане на информация, тя включва семантичен анализ. Поради това пълният текст не се представя, само ограничена част от текста се представя на потребителите. Но в наши дни има нужда от повече разбиране на текста.

Text Mining също има ограничение със законодателството за авторско право. Има много ограничения при извличането на текст на документ. Повечето пъти включва правата на притежателите на авторски права. Повечето от текстовете няма да бъдат открити като отворен код и в такива случаи се изискват разрешения от съответните автори, издатели и други свързани лица.

Още едно ограничение е, че извличането на текст не генерира нови факти и не е краен процес.

заключение

Извличането на текст или текстовата анализа е процъфтяваща технология, но въпреки това резултатите и дълбочината на анализа варират от бизнес до бизнес. Организацията може да използва извличане на текст, за да получи знания за специфичните за съдържанието стойности.