>  > 【3本セット】 カラタスシャンプー ヒートケア null CALATAS HEAT CARE クリスマス プレゼント ギフト 引越し祝い
ナノXフットローラー【ブラック】
日本語Wikipediaで学習したdoc2vecモデル
2019-01-22

日本語Wikipediaを対象にdoc2vec学習させたモデルを作成したので、学習済みモデルとして公開します。

【3本セット】 カラタスシャンプー ヒートケア EDP/SP null CALATAS HEAT CARE クリスマス プレゼント 1000ml《ヘアトリートメント》 ギフト 引越し祝い

doc2vecは2014年にQuoc LeとTomas Mikolovによって発表された文章の埋め込みの手法です。今更doc2vecかという感じではありますが、日本語のdoc2vecの学習済みモデルは探した限り容易に利用できるものがなかったこともあり、せっかくなので作成したモデルを配布します。

word2vecのような単語の分散表現においては学習済みモデルとして配布されたものを利用することが多いですが セ・シ・ボン 90粒 1~1.5ヶ月分 セロトニン GABA リラクゼーションサプリメント ストレスは万病の元です。セロトニン不足にはセシボン ラフマ葉エキス ギャバ サプリメント Cest si bon 送料無料、文章の埋め込みに関しては対象とするドキュメント集合やそのドメインに特化した学習モデルを作成することが多い印象です。なので、学習済みモデルファイルの配布自体にそれほど意味があるわけではなさそうですが、既存手法との比較に利用したり、

【3本セット】 カラタスシャンプー ヒートケア null CALATAS HEAT CARE クリスマス プレゼント ギフト 引越し祝い

【送料無料】 245/35R20 20インチ WEDS ウェッズ マーベリック 710S 8J 8.00-20 SAFFIRO サフィーロ SF5000(限定) サマータイヤ ホイール4本セット, 【送料無料】 175/65R15 15インチ ENKEI エンケイ allシリーズ オールワン 6J 6.00-15 FALKEN ファルケン ジークス ZE914F サマータイヤ ホイール4本セット フジコーポレーション, 柿本改 マフラー KRnoble Ellisse ケイアールノーブル・エリッセ クリスタル ステップワゴン 2.4 4WD 〈DBA-RG4〉 型式:K24A 年式:05/5~09/10 【H51373A】, 【★送料無料キャンペーン中】 【D2 レーシングスポーツ】GT (TYPE II) 07~UP 5 X 110スポーツキャリパー(ダストブーツ無) 8 POT Sport Caliper 330X32 フローティング, clazzio シートカバー クラッツィオエアータイプ 日産 セレナ 型式 C25/NC25 CC25/CNC25 年式 H17/5-H19/5 定員 8人 グレード 20RS/20RX 20S/20G ライダー/ライダーS/ライダーα2/ハイウェイスター(アーバンセレクション)/HDDナビエディション ※純正本革シート車不可 【送料無料】 165/40R16 16インチ PREMIX プレミックス サッシカイア(ブロンズクリア) 5J 5.00-16 YOKOHAMA ヨコハマ DNA Sドライブ サマータイヤ ホイール4本セット, 【カーツ】LSD 2WAY NISSAN スカイライン SKYLINE 【V35】 【VQ35DE】 2ドア [03.01-07.08] 6MT POSITION[REAR] STD DIFF[VISCOUS] TYPE[SOLID] PLATE QTY[24] PLATE SIZE[L], 17インチ サマータイヤ セット【適応車種:ヴォクシー ハイブリッド(80系 3ナンバー)】WEDS レオニス グレイラ ベータ ブラックメタルコート/ミラーカット 7.0Jx17NANOエナジー 3プラス 205/50R17, 【USA在庫あり】 コブラ COBRA シーシーバー 09年 ブルバード VZ1500 M90 ミニ 080448 JP, 【イベント開催中!】 ACTIVE アクティブ その他ハンドルパーツ スロットルキット TYPE-2 インナー巻取径:Φ40 ホルダーカラー: Tゴールド ワイヤー素材:金具メッキ グロム エルカルシウム顆粒 400g 2本セット 送料無料【smtb-KD】

【3本セット】 カラタスシャンプー ヒートケア null CALATAS HEAT CARE クリスマス プレゼント ギフト 引越し祝い:常盤薬品工業ビューパワー プラセンタ コラーゲンドリンク 50ML×50本 訳あり6%OFF(売切れ御免) 酵素で熟成した 黒にんにく は栄養素が10倍。ポリフェノールは緑茶の15倍以上! 青森県産/福地ホワイト/大粒を使用しています『酵素熟成 黒にんにく 大粒6球入り×2箱』数量限定

【3本セット】 カラタスシャンプー ヒートケア null CALATAS HEAT CARE クリスマス プレゼント ギフト 引越し祝い.【送料無料】黒コウジ黒酢 720ml×4本 【3種セット5%オフ】 メシマコブ水 500ml & ノニーノジュース大 1000ml & ガジュツ紫うこん粒 100g ‥ 【送料無料】【メシマコブ水】【ノニジュース】【紫ウコン粒】

【送料無料】KI-NU-BA-RA(キヌバラ)クリーム【RCP】【ホワイトデー】ローズウォーター,ダマスクローズ,nomubara,NO-MU-BA-RA(ノムバラ)基礎化粧品,自然派化粧品,のむばら,ご褒美,プチ贅沢 グレープフルーツ 精油 1000ml

、とりあえず何かしらの手法で単語列から文章ベクトルにしたいといった場合には便利かと思います。まあ何も無いよりかはマシかなという雰囲気です。今回の作成の経緯として、別の手法を実装する際にdoc2vecが内部で使われていたということで副次的に必要になったからだったのですが ■■【送料無料】<3個セット>アリミノ スプリナージュ シェイクオイル 50ml×3 /ARIMINO、ふと利用したいときに気軽に利用できるというのは結構良いのではないかと思います。


モデル

ここでは2つの学習アルゴリズムでdoc2vecを学習しました。dbow300dはdistributed bag of words (PV-DBOW)を、dmpv300dはdistributed memory (PV-DM)を用いています。なお、モデルファイルはサイズが大きいため カネボウDEWスペリアローション コンセントレート(しっとり) <本体・150mL>、Googleドライブに配置してあります。下記リンク先からダウンロードしてください。

モデルの学習パラメータ

param dbow300d dmpv300d
dm 0 1
vector_size 300 300
window 15 10
alpha 0.025 0.05
min_count 5 2
sample 1e-5 0
epochs 20 20
dbow_words 1 0

dbow300dのパラメータは 、An Empirical Evaluation of doc2vec with Practical Insights into Document Embedding GenerationにおけるEnglish Wikipeiaの学習時のパラメータを利用しました。dmpv300dのパラメータは、Gensim Doc2Vec Tutorial on the IMDB Sentiment Datasetの設定を参考にしました。

実験設定

学習元のコーパスには、2019/01/14時点でのWikipediaの 【訳アリ商品・箱潰れ100円引】KOSE/コーセー雪肌精 エクセレントキット 【医薬部外品】(IBER)<中身は新品同様>CirrusSearchのダンプデータを用いました。形態素解析にはMeCabを使用し、辞書には 【正規品・送料無料】マック プレッププライムケアブレンドエッセンシャルオイル(14ml)+スキンケアセットNEologdを用いています。また、doc2vecの計算にはgensimを使用しました。利用したパッケージや辞書のバージョンは以下の通りです。

もしモデルが読み込めない場合には、各種ライブラリを最新のバージョンにするなど試してください。


ソースコード

学習時のソースコードは ★送料無料★ハリウッド 薬用聖林S<医薬部外品>(200ml)、以下のリポジトリにあります。

使い方

ギフト カラタスシャンプー 引越し祝い null プレゼント 【3本セット】 ヒートケア CARE HEAT CALATAS ヒートケア クリスマス プレゼント

from gensim.models.doc2vec import Doc2Vec
model = Doc2Vec.load("jawiki.doc2vec.dbow300d.model")

類似するドキュメントを表示する

In []: model.docvecs.most_similar("アリストテレス")
Out[]:
[('オルガノン', 0.5950535535812378),
 ('善のイデア', 0.5811843872070312),
 ('スペウシッポス', 0.5756123065948486),
 ('プラトン', 0.5733123421669006),
 ('ジークムント・フロイト', 0.5668295621871948),
 ('カルキディウス', 0.5634585618972778),
 ('アンモニオス・サッカス', 0.5591270923614502),
 ('メリッソス、クセノパネス、ゴルギアスについて', 0.5568180084228516),
 ('ピレボス', 0.5543898940086365),
 ('睡眠と覚醒について', 0.5480767488479614)]

未知の入力文に対する埋め込み表現を得る

model.infer_vector()には分かち書き済みの単語リストを入力する必要があります。そのため 【定形外 送料無料】アディクション UVプロテクター ファンデーション 全15色 -ADDICTION- 【定形外対象商品】、ここではMeCabを用いたtokenize()を定義しています。

import MeCab
def tokenize(text):
 wakati = MeCab.Tagger("-O wakati")
 wakati.parse("")
 return wakati.parse(text).strip().split()
In []: text = """バーレーンの首都マナマ(マナーマとも)で現在開催されている
ユネスコ(国際連合教育科学文化機関)の第42回世界遺産委員会は日本の推薦していた
「長崎と天草地方の潜伏キリシタン関連遺産」 (長崎県、熊本県)を30日、
世界遺産に登録することを決定した。文化庁が同日発表した。
日本国内の文化財の世界遺産登録は昨年に登録された福岡県の
「『神宿る島』宗像・沖ノ島と関連遺産群」に次いで18件目。
2013年の「富士山-信仰の対象と芸術の源泉」の文化遺産登録から6年連続となった。"""
In []: model.infer_vector(tokenize(text))
Out[]:
array([-4.52421233e-02, -4.60310102e-01, -7.35630572e-01, 1.16688378e-01,
 1.12721687e-02, 1.63637593e-01, 1.46670029e-01, 6.90088957e-04,
 -1.66465431e-01, -4.73131120e-01, 3.96440744e-01, -3.61171484e-01,
 [...]
 2.84847170e-01, -3.92884701e-01, -2.23438710e-01, 1.59409940e-01],
 dtype=float32) 

(出典:潜伏キリシタン関連遺産、世界遺産登録 - ウィキニュース

任意の入力文に対して類似するドキュメントを表示する

In []: model.docvecs.most_similar([model.infer_vector(tokenize(text))])
Out[]:
[('イタリアの世界遺産', 0.599028468132019),
 ('海の道むなかた館', 0.5562682151794434),
 ('タジキスタンの世界遺産', 0.5554744005203247),
 ('ウクライナの世界遺産', 0.5542891621589661),
 ('バーレーンの世界遺産', 0.552284836769104),
 ('世界遺産センター (曖昧さ回避)', 0.540568470954895),
 ('アラブ首長国連邦の世界遺産', 0.5372575521469116),
 ('アイスランドの世界遺産', 0.5366297960281372),
 ('マレーシアの世界遺産', 0.5362405776977539),
 ('ラトビアの世界遺産', 0.5351229906082153)]

類似する単語を表示する

なお、doc2vecでもword2vecと同様に、任意の単語に対して類似する単語を表示することもできますが、

【3本セット】 カラタスシャンプー ヒートケア null CALATAS HEAT CARE クリスマス プレゼント ギフト 引越し祝い

、単語間の類似度を知りたいだけならword2vecの学習済みモデルである日本語 Wikipedia エンティティベクトルを使った方が良いでしょう。

In []: model.wv.most_similar("一揆", topn=3)
Out[]:
[('百姓一揆', 0.717296302318573),
 ('国人衆', 0.7110892534255981),
 ('国人一揆', 0.7016592025756836)]

ライセンス

CC-BY-SA: 【お年玉コフレ・正規品・送料無料】COSMEお年玉グロスコフレSET&エレガンスクルーズ シェルバーム<02> 医療用ウイッグ フルウィッグ華やぐカールが恋の予感・ウィッグ(明るめの栗毛)「Lサイズ(頭周り57~58cm) ブラシ付き」【ウィッグ】 医療用 ウィッグ 医療用 ウィッグ 医療用 ウィッグ 【正規品・送料無料】イヴサンローラン ブランクチュール セラム(医薬部外品)(30mL)+PスパークルクラッシュセットCreative Commons Attribution-ShareAlike License


参考

{yahoojp}jpprem01-zenjp40-wl-zd-51908