К вопросу о токенизации текста
Описание инструментов обработки естественных языков, необходимых для токенизации текста. Исследование NLTK (Natural languagetoolkit) и регулярных выражений; возможности этих инструментов. Обоснование проблемы гибкости инструментов токенизации текста.
| Рубрика | Иностранные языки и языкознание |
| Вид | статья |
| Язык | русский |
| Дата добавления | 08.05.2018 |
| Размер файла | 23,2 K |
Соглашение об использовании материалов сайта
Просим использовать работы, опубликованные на сайте, исключительно в личных целях. Публикация материалов на других сайтах запрещена.
Данная работа (и все другие) доступна для скачивания совершенно бесплатно. Мысленно можете поблагодарить ее автора и коллектив сайта.
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Подобные документы
Структура текста, морфологический уровень. Исследование текста с лингвистической точки зрения. Прямонаправленная и непрямонаправленная связность текста. Важность морфологического уровня текста в понимании структуры текста и для понимания интенции автора.
реферат [30,4 K], добавлен 05.01.2013Теоретические основы изучения текста. Разграничение текста и дискурса. Понятие текста и подходы к его анализу. Употребление терминов texte и discours во французском языке. Сравнительно-сопоставительное исследование текста астрологического прогноза.
дипломная работа [204,5 K], добавлен 03.07.2009История отечественного терминоведения. Выявление лексических и семантических особенностей специального текста для применения этих знаний в практике моделирования семантики специального текста. Требования к терминам, их анализ. Понятие фоновой лексики.
курсовая работа [106,3 K], добавлен 14.11.2009Понятие текста в концепциях лингвистов и психолингвистов, его основные характеристики, свойства и функции. Подходы к его описанию. Природа и процесс порождения текста. Механизмы и особенности его восприятия на примере анализа художественного произведения.
курсовая работа [47,8 K], добавлен 15.01.2014Современные подходы интерпретации анализа художественно-прозаического текста с учетом его специфики, базовых категорий и понятий. Рассмотрение художественного текста как единства содержания и формы. Практический анализ текста "A Wicked Woman" Дж. Лондона.
курсовая работа [48,5 K], добавлен 16.02.2011Возможности единиц языка. Передача содержания текста и его смысла. Владение основными речеведческими понятиями, умение определять стиль текста, тип речи, средства связи предложений в тексте. Тенденции слияния обучения языку и речи в единое целое.
творческая работа [248,3 K], добавлен 19.08.2013Использование фразеологизмов в речи. Идиоматика художественного текста как общелингвистическая проблема. Анализ идиоматики фразеологических сращений английского текста. Проблемы интерпретации художественного текста в рамках определенной лингвокультуры.
дипломная работа [154,4 K], добавлен 06.06.2015Использование переводческих трансформаций при переводе английского исторического текста. Лингвистические проблемы перевода. Стилистический разбор текста. Особенности лексического, семантического и синтаксического устройства художественного текста.
курсовая работа [57,4 K], добавлен 18.05.2016Проблемы и разновидности перевода юридического текста. Особенности профессии переводчика. Лингвокультурные факторы перевода юридического текста с учетом особенностей языковой культуры и механизмов социального кодирования русского и английского языков.
реферат [22,4 K], добавлен 22.11.2010Художественный текст как особый вид текста в переводческой практике, его структура и коммуникативная сущность. Особенности восприятия художественного текста. Примечания автора как вспомогательное средство в восприятии перевода произведения, его приёмы.
дипломная работа [63,9 K], добавлен 08.08.2012
