自然言語処理 :: ウェブ上のテキストへのアクセス（まとめ）

>>> from __future__ import division
>>> import nltk, re, pprint
>>> from urllib import urlopen
>>> url="http://www.hogehoge.jp/"

>>> html = urlopen(url).read()

>>> raw = nltk.clean_html(html)

>>> raw = raw[756:2002]

>>> tokens = nltk.word_tokenize(raw)

>>> tokens = tokens[123:555]

>>> text = nltk.Text(tokens)

>>> voc = sorted(set([w.lower() for w in text]))