OSS
MeCab、CaboCha。
API
Yahoo!
形態素解析
形態素解析とは。
Nグラム
Nグラムとは。
自然言語処理での解析
- 形態素解析
- 構文解析
- 意味解析
- 文脈解析
自然言語処理の応用
- 情報検索
- テキストマイニング
- 機械翻訳
- スペルチェック
自然言語処理で必要になってくるかも知れない数学
- 代数学
- 離散数学
- グラフ理論
- 確率統計
- 情報理論
- 組み合わせ最適化
- モンテカルロ木探索
レコメンド
ユーザーの興味をひきそうなアイテムやユーザーを推薦(レコメンド)。
- コンテンツベース
- 協調フィルタリング
コンテンツベース
「アイテム」が持つ情報から類似する。「アイテム」を探す。
協調フィルタリング
「情報」と「ユーザーの行動」の関係から類似度を計算。
- 「ユーザー」を推薦
- 「アイテム」を推薦
Webサイト/文献
用語
- 正規化
- データクレンジング
- 名寄せ
WordNet
WordNetは英語の概念辞書(意味辞書)である。WordNetでは英単語がsynsetと呼ばれる同義語 のグループに分類され、簡単な定義や、他の同義語のグループとの関係が記述されている。 WordNetの目的は直感的 に使うことのできる辞書とシソーラスが組み合わされた成果物を作ること、および自動的文書解析や人工知能のアプ リケーションの実現を支援することにある。(ウィキペディア)
名詞
上位語(hypernym): すべてのXがYの種類の一であるならYはXの上位語である。
下位語(hyponym): すべてのYがXの種類の一であるならYはXの下位語である。
同族語(coordinate term): XとYの上位語が同じなら、YはXの同族語である。
holonym: XがYの一部であるなら、YはXのholonymである。
meronym: YがXの一部であるなら、YはXのmeronymである。
動詞
上位語(hypernym): Xという行動がYの種類の一であるなら動詞Yは動詞Xの上位語である。 (「移動(movement)」は「旅行(travel)」の上位語)
troponym: もしYという行動がXを行う際の様態であるなら動詞Yは動詞Xのtroponymである。(「片言で話す(lisp)」は「話す(talk)」のtroponym)
entailment: Xしている場合必然的にYしているなら動詞Yは動詞Xにentail(ひきおこすこと)されている。 (X:「いびきをかく(snoring)」はY:眠る(sleeping)」ことによって引きおこされる。)
同族語(coordinate terms): XとYの上位語が同じなら、YはXの同族語である。
PHP
Perl
CPANモジュール
- Algorithm::NaiveBayes
- Number::Phone::JP
- Text::Darts
そのほか
- アンカーテキスト化
- SitemapをGoogleに