統計的機械翻訳のはじめの１歩のIBM model1を試してみました。 本当は論文読んで自分で実装できれば良かったんですが、数式が難しく、ましてやコードにするのは今のところ無理ですんで、検索しまくってサンプルを見つけましたy-uti.hatenablog.jp 上記のpyth…

以下を参考にwikipediaの見出しをmecabのユーザー辞書に登録してみます。 aidiary.hatenablog.comwikipediaからの見出しをdownloadします。 wcで数えると見出しは1594901個ありました。159万です、多いね。上記記事で紹介されているpythonコードを実行を使わ…