自然言語処理の餅屋

言語資源は、自然言語処理を実現するために必要なデータ、モデル、ツールなどの総称です。

• 2022-06-16 | awesome-japanese-nlp-resources – 日本語言語資源の網羅的なリスト
• 言語資源カタログ （言語資源協会）
• 情報学研究データリポジトリ（IDR） （国立情報学研究所）
• 日本の言語資源・ツールのカタログ （言語情報処理ポータル）
• 自然言語処理のためのリソース （黒橋・村脇研究室）
• LDC Catalog (LDC)
• ELRA Catalogue of Language Resources (ELRA)
• 2020-10-05 | 600 NLP Datasets and Glory
• 2020-08-31 | 【25個掲載】英語の自然言語処理に使えるデータセットまとめ
• 2020-08-08 | Best Public Datasets for Machine Learning and Data Science

• 日本語 WordNet
  • 2022-07-15 | Pythonで自然言語処理ツールWordnetの辞書を使ってみる
• 分類語彙表増補改訂版データベース

• コーパス

• Japanese-Nouns – 日本語の名詞320万種類を集めたJSONファイル

課題特有のデータセットは各ページに記載しています。

• 固有表現
• 感情分析
• 肯否分析

• データ拡張

• 2023-07-07 | LLM 向け日本語データセットの整備メモ
• 2021-10-11 | データ中心主義に懸念？ 米国で提唱された「AIの基盤」が波紋を呼んでいる
• 2020-09-09 | Yahoo!知恵袋情報取得ソフト Ver.1.0.6 （Windows製品対応） - Windows
• 2020-06-26 | 音声合成/認識を用いたText Data Augmentationの可能性①
• 2020-06-25 | AIの「日本語教師」は主婦やおばあちゃん
• 2020-03-04 | 【保存版】オープンデータ・データセット100選 -膨大なデータを活用しよう！
• 2019-10-04 | AI業界の不都合な真実 ラベル付け作業の底辺競争 フェアトレードは実現するか