python re —— 自然语言处理与正则表达式

xiaoxiao2021-02-28  100

*:0 或 多个?:任意一个[list]:a[xyz]b,a 与 b 之间必须也只能有一个字符,但只能是 x/y/z,也即:axb, ayb, azb[!list]:匹配除 list 中的任意单一字符,a[!0-9]b,a与b 之间必须也只能有一个字符,但不能是阿拉伯数字,axb,aab,a-b[c1-c2]:[0-9]/[a-z],a[0-9]b,必须也只能有一个字符,a0b,a1b,a9b;{string1, string2, …}:a[abc, xyz, 123]b,a 与 b 之间只能是 abc 或 xyz 或 123 这三个字符串之一;

1. 常用 tricks

匹配任意字符:使用 [\s\S]* \s:空白字符\S:非空白符;.*:无法匹配换行符(\n); \w 匹配数字、字母、下划线,[a-zA-Z0-9_](中括号表示或的关系)\w+与[\w]+:没有区别,匹配连续的字符(数字、字母、下划线)[\w+]:匹配数字、字母、下划线以及+(加号)

2. 正则表达式用于自然语言处理

提取字符串中所有的单词:

def words(txt, lower_case=True): return re.findall(r'\w+', txt.lower())

词频统计:

from collections import Counter words_counter = Counter(words(open('xx.txt').read())) def P(word, N=sum(words_counter.values())): return words_counter[word] / N
转载请注明原文地址: https://www.6miu.com/read-26476.html

最新回复(0)