В этой статье мы рассмотрим некоторые приемы для парсинга и токенизации строк в Python.
Никто не может отрицать важность анализа текста и синтаксического анализа строк. Он применяется практически во всех направлениях разработки программного обеспечения, от парсинга URL-адресов до обработки естественного языка. Мы не будем описывать все возможные его применения — это выходит далеко за рамки одной статьи. Но о некоторых базовых методах работы со строками и токенами в Python мы расскажем.
Эти маленькие скрипты следует рассматривать как строительные блоки для приложений для анализа текста и предварительной обработки данных. Знание основ очень важно для дальнейшего развития.
А теперь давайте перейдем к нашему списку!
1. Translate и Replace
Первый случай — заменить или удалить некоторые символы или подстроки из текста. В Python есть встроенные функции в модуле string, которые выполняют эти задачи.
Метод translate() использует таблицу (которая строится при помощи функции maketrans) для удаления или изменения определенных символов:
test_string = 'The quick brown fox jumps over the lazy dog'
translation_map = str.maketrans('eo', ' ')
test_string.translate( translation_map )
Out[1]: 'Th quick br wn f x jumps v r th lazy d g'
Метод replace() работает так, как следует из его названия — изменяя подстроку на нужную:
test_string = 'The quick brown fox jumps over the lazy dog' test_string.replace( 'fox', 'squirell') Out[2]: 'The quick brown squirell jumps over the lazy dog'
2. Очистка строки
Теперь мы можем применить информацию из предыдущего пункта для очистки строки. Это один из наиболее востребованных процессов в проектах data science при очистке данных. Отличный пример — это необработанный текст с пробельными символами и переносами строк. Вот простой скрипт для очистки такой строки:
test_string_with_garbage = 'The quick brown fox\njumps\tover the\tlazy dog\r\n'
character_map = {
ord('\n') : ' ',
ord('\t') : ' ',
ord('\r') : None
}
test_string_with_garbage.translate(character_map)
Out[3]: 'The quick brown fox jumps over the lazy dog '
3. Разбиение строки
Для анализа текста требуются различные метрики, такие как количество слов, количество символов, средняя длина предложения. Чтобы вычислить эти значения, нам нужно подготовить текст — очистить и разделить. К счастью для нас, в Python есть несколько встроенных функций для разделения текста:
- Разбиение по пробелу (по умолчанию):
test_string.split() Out[1]: ['The', 'quick', 'brown', 'fox', 'jumps', 'over', 'the', 'lazy', 'dog']
- Разбиение на определенное количество токенов:
test_string.split(' ', 2)
Out[2]: ['The', 'quick', 'brown fox jumps over the lazy dog']
- Разбиение на определенное количество токенов в обратном направлении:
test_string.rsplit(' ', 2)
Out[3]: ['The quick brown fox jumps over the', 'lazy', 'dog']
- Разбиение по произвольному символу:
test_string.split('e')
Out[4]: ['Th', ' quick brown fox jumps ov', 'r the lazy dog']
- Разбиение строки по нужному токену с токенами до и после него:
test_string.partition('fox')
Out[5]: ('The quick brown ', 'fox', ' jumps over the lazy dog')
4. Strip и zfill
Еще одна важная функция — это возможность удалять из строки лишние начальные и конечные символы. Для этого у нас есть семейство функций strip():
- Удалить пробелы по умолчанию.
- Удалить пробелы слева или справа.
- Удалить произвольные символы.
test_string_with_spaces = ' The quick brown fox jumps over the lazy dog '
test_string_with_spaces.strip()
Out[1]: 'The quick brown fox jumps over the lazy dog'
test_string_with_spaces.lstrip()
Out[2]: 'The quick brown fox jumps over the lazy dog '
test_string_with_spaces.rstrip()
Out[3]: ' The quick brown fox jumps over the lazy dog'
test_string.rstrip('g')
Out[4]: 'The quick brown fox jumps over the lazy do'
Кроме того, есть полезная функция для дополнения чисел ведущими нулями:
'29'.zfill(10) Out[1]: '0000000029' 'xA1'.zfill(4) Out[2]: '0xA1'
5. Деконструкция и реконструкция
Для генерации текста необходимо построить предложения и фразы из словаря слов. Этот процесс обратный разделению строки. Python позволяет нам использовать встроенный строковый метод join() для объединения слов обратно в предложение:
test_array = test_string.split() # ['The', 'quick', 'brown', 'fox', 'jumps', 'over', 'the', 'lazy', 'dog'] ''.join(test_array) Out[1]: 'Thequickbrownfoxjumpsoverthelazydog' ' '.join(test_array) Out[2]: 'The quick brown fox jumps over the lazy dog'
6. Удаление знаков препинания
Это еще один случай очистки текста. Модуль string в Python имеет множество встроенных констант с отдельными наборами символов. string.punctuation — один из них, поэтому мы будем использовать его для очистки строки.
test_punctuation = " This &is [an] example? {of} string. with.? punctuation!!!! "
import string
test_punctuation.translate(str.maketrans('', '', string.punctuation))
Out[1]: 'This is an example of string with punctuation'
7. Работа с регистрами
Форматирование текста — это боль каждого data scientist’а. Слова и предложения в разных форматах создают много проблем при очистке данных. Однако и для этих задач в Python есть нужные функции:
test_string.lower() Out[1]: 'the quick brown fox jumps over the lazy dog' test_string.upper() Out[2]: 'THE QUICK BROWN FOX JUMPS OVER THE LAZY DOG' test_string.title() Out[3]: 'The Quick Brown Fox Jumps Over The Lazy Dog' test_string.title().swapcase() Out[4]: 'tHE qUICK bROWN fOX jUMPS oVER tHE lAZY dOG' test_string.title().swapcase().capitalize() Out[5]: 'The quick brown fox jumps over the lazy dog'
8. Мир регулярных выражений
Иногда непросто очистить текст с помощью определенных символов или фраз. Вместо этого нам необходимо использовать некоторые шаблоны. И здесь нам на помощь приходят регулярные выражения и соответствующий модуль Python.
Мы не будем обсуждать всю мощь регулярных выражений, а сосредоточимся на их применении — например, на разделении и замене данных. Да, эти задачи были описаны выше, но вот более мощная альтернатива.
Разделение по шаблону:
import re
test_punctuation = " This &is [an] example? {of} string. with.? punctuation!!!! "
re.split('\W+', test_punctuation)
Out[1]: ['This', 'is', 'an', 'example', 'of', 'string', 'with', 'punctuation', '']
Замена по шаблону:
import re
test_with_numbers = "This is 1 string with 10 words for 9 digits 2 example"
re.sub('\d', '*', test_with_numbers)
Out[1]: 'This is * string with ** words for * digits * example'
9. Токенизация строки
Пришло время собрать все трюки, которые мы узнали ранее, и применить их для настоящей токенизации. Однако мы не будем повторять весь код. Вот пример довольно классной альтернативы с использованием pandas. В нашем примере мы должны очистить строку от лишних символов, привести к одному регистру и разбить ее на токены.
import pandas as pd
test_punctuation = " This &is [an] example? {of} string. with.? punctuation!!!! "
data = pd.DataFrame([test_punctuation])
data.iloc[0].str.lower().str.replace('\W+', ' ').str.strip().str.split()
Out[1]: [this, is, an, example, of, string, with, punctuation]
Name: 0, dtype: object
10. Поиск подстроки
Перед выполнением любой задачи по очистке мы должны определить, действительно ли она нужна. В большинстве случаев вопрос сводится к поиску какого-либо символа или фразы в тексте. Python предоставляет множество функций для наших целей.
- Заканчивается ли строка указанной подстрокой:
test_string.endswith('dog')
Out[1]: True
- Начинается ли строка с указанной подстроки:
test_string.startswith('dog')
Out[2]: False
- Содержит ли строка указанную подстроку:
'fox' in test_string Out[3]: True
- Получение индекса подстроки:
test_string.find('fox')
Out[4]: 16
Конечно, любую задачу можно решить множеством способов, особенно если мы говорим о Python. Однако мы думаем, что наше видение синтаксического анализа строк будет для вас полезным.
