自然言語処理の餅屋

• 関連ページ：Word2Vec, GloVe
• 2020-10-29 | 自然言語処理2　単語の類似性

• 関連ページ：Sentence-BERT, Doc2Vec, Universal Sentence Encoder, Word Rotator's Distance
• 2023-04-24 | OpenAI の Embeddings API はイケてるのか、定量的に調べてみる
• 2022-12-21 | 自然言語処理モデル(BERT)で文の意味上の類似度を計算
• 2022-12-21 | 「コサイン類似度」で文書がどれだけ似ているかを調べてみた
• 2022-06-28 | MeCabを利用して２つの文章の類似度を計る（の理屈）
• 2021-11-29 | PHPを使って形態素解析と文章の類似度を出してみる
• 2021-06-29 | (動画) 3 Vector-based Methods for Similarity Search (TF-IDF, BM25, SBERT)
• 2021-04-11 | PythonのMeCabで形態素解析！Tf-idfとCos類似度で文書の類似度を算出してみよう！
• 2021-01-23 | Pythonで文章の類似度を計算する方法〜TF-IDFとcos類似度〜
• 2021-01-16 | (動画) 【自然言語処理入門】形態素解析をしてTf-idfとCos類似度で文書類似度を測る

機械翻訳の自動評価（翻訳結果と参照文の比較）は結局のところ文の類似度を算出しているのと同じことなので、本ページに記載します。

• 2022-10-15 | NLTK BLEUのSmoothing Functionはどれくらいスムージングしているのか
• 2022-08-05 | 多言語自然言語処理研究の基礎を支える、評価尺度BLEU
• 2021-06-25 | (動画) 【自然言語処理】BLEU - 定義は？どういう意味？何で利用されてるの？【機械翻訳の評価指標】#105 #VRアカデミア
• 2020-12-30 | BERTScoreで文章を類似度順に並べる
• 2020-07-14 | BERTScoreで文章の類似性を測定してみた
• 2020-01-12 | テキスト生成の自動評価指標について

• 2022-07-13 | 編集距離(Levenshtein Distance)の計算方法・計算量を考える
• 2021-06-29 | (動画) 3 Traditional Methods for Similarity Search (Jaccard, w-shingling, Levenshtein)
• 2021-02-01 | 9 Distance Measures in Data Science
• 2018-09-11 | 編集距離（レーベンシュタイン距離）を理解し、実装する
• 2018-05-10 | 【技術解説】似ている文字列がわかる！レーベンシュタイン距離とジャロ・ウィンクラー距離の計算方法とは
• 2017-02-15 | 乱択アルゴリズムと自然言語処理:Locality Sensitive Hashing を用いた高速な名詞クラスタリング

• 分散表現 – 昨今の類似性は分散表現上で行うことが多い