Wprowadzenie

W ramach sztucznej inteligencji analiza tekstu jest podzbiorem przetwarzania języka naturalnego (NLP), który umożliwia maszynom wyodrębnianie znaczenia, struktury i szczegółowych informacji z tekstu bez struktury. Organizacje używają analizy tekstu do przekształcania opinii klientów, biletów pomocy technicznej, kontraktów i wpisów w mediach społecznościowych w analizę umożliwiającą podejmowanie działań.

Techniki przetwarzania i analizowania tekstu ewoluowały w ciągu wielu lat, od prostych obliczeń statystycznych opartych na częstotliwości terminów do modeli językowych opartych na wektorach, które hermetyzują znaczenie semantyczne. Oto niektóre typowe przypadki użycia analizy tekstu:

• Wyodrębnianie terminów kluczowych: identyfikowanie ważnych słów i fraz w tekście w celu ułatwienia określenia tematów i tematów, które omawia.
• Wykrywanie jednostek: identyfikowanie nazwanych jednostek wymienionych w tekście; na przykład miejsca, osoby, daty i organizacje.
• Klasyfikacja tekstu: kategoryzowanie dokumentów tekstowych na podstawie ich zawartości. Na przykład filtrowanie wiadomości e-mail jako spamu lub nie spamu.
• Analiza tonacji: określona forma klasyfikacji tekstu, która przewiduje tonację tekstu — na przykład kategoryzowanie wpisów w mediach społecznościowych jako pozytywnych, neutralnych lub negatywnych.
• Podsumowanie tekstu: zmniejszenie ilości tekstu przy zachowaniu ważnych punktów. Na przykład generowanie krótkiego podsumowania jednego akapitu z wielostronicowego dokumentu.

Analiza tekstu jest trudna, ponieważ język jest złożony, a komputery trudno je zrozumieć. Ostatecznie wszystkie techniki analizy tekstu są oparte na wymogu wyodrębniania znaczenia z tekstu w języku naturalnym.