自然言語処理の餅屋

言語モデル

言語モデルとは

言語表現に対する確率分布のこと。任意の言語表現を入力すると、その表現がその言語でどの程度自然か、あるいはよく見かけるかを確率の形で出力する。最近ではBERTやGPT-3などの大規模で多用途な言語モデルに対して基盤モデルと呼ぶこともあるが、この用語はまだ普及しているとまでは言えない。

作る

開発環境

2023-06-21 | 大規模自然言語モデル(LLM)をお試し利用できるツールを作ってみた
2023-03-31 | LLM 基盤モデルアトラス　～大規模言語モデルと個人開発者～
2023-03-18 | OpenAI 言語モデルごとのエンコーディング一覧
2023-02-27 | LLM（大規模言語モデル）のmodulesを見るにはstr(model.moludes)

可視化

2022-02-04 | (動画) 【NLP Hacks vol.1】eccoによる言語モデルの可視化

軽量化

2022-05-13 | (スライド) TextPruner による大規模言語モデルの軽量化 / Large language model pruning using TextPruner

記事

2023-07-06 | 数値で整理する大規模言語モデル(LLM) のメモ
2023-06-23 | 大規模言語モデル (LLM) の進化: GPT 以降の最新動向
2023-06-14 | 大規模AIモデルの時代は終わった
2023-06-21 | 大規模言語モデルの概要
2023-06-08 | 大規模言語モデルの中身を覗いてみよう / look inside Large Language Models
2023-06-06 | 【一撃でわかる】大規模言語モデル(LLM)入門！基礎からわかりやすく徹底解説。
2023-04-21 | ChatGPTの要素技術である大規模言語モデルとは?
2022-12-19 | 大規模言語モデルと外部リソースとを融合させたアプリケーションを作ろう－langchainのご紹介－
2022-07-28 | 世界で開発が進む大規模言語モデルとは（後編）～日本語に特化した汎用的な大規模言語モデルの紹介～
2022-07-20 | 日本語に特化した大規模言語モデルがもたらすAIサービスの進化
2022-07-05 | 大規模言語モデルの創発能力
2022-05-12 | AI言語モデルは今--精度の進化、倫理、管理のあり方
2022-05-10 | 平均的な人間の能力を超えた―、常識や知識を獲得した大規模言語モデルが開く新ビジネス領域
2021-12-15 | DeepMind、言語モデルの大規模化は引き続き効果的と判断
2021-11-25 | 【自然言語処理】言語モデル
2021-11-22 | Top Language Models Released In 2021
2021-04-09 | (スライド) BERT後の自然言語処理についてのサーベイ
2021-03-02 | 自然言語処理が簡単にできるhugging faceで日本語の言語モデルを作成
2020-12-21 | 言語モデルでEOSを予測すると汎化性能悪化するらしい
2020-11-25 | LINE、NAVERと共同で、世界初、日本語に特化した超巨大言語モデルを開発　新規開発不要で、対話や翻訳などさまざまな日本語AIの生成を可能に
2020-10-29 | 2018 年から 2019 年にかけて人間超えした自然言語処理モデル
2020-10-11 | 言語モデルの性能が、実装により異なる件を解決する
2020-09-28 | 【初心者向け】自然言語処理界隈を盛り上げるアルゴリズム・モデルまとめ - BERT, transformer-xl, XLNet, RoBERTa, ALBERT, T5, ERNIE, Reformer
2020-08-19 | Googleが「知らない言語」も翻訳処理ができてしまう言語モデル「LaBSE」を発表
2020-08-18 | RNNからTransformerまでの歴史を辿る～DNNを使ったNLPを浅く広く勉強～
2020-08-01 | 言語モデルは倫理を学習できるか？ - Axion
2020-04-15 | (動画) L11 Language Models -- guest instructor: Alec Radford (OpenAI) --- Deep Unsupervised Learning SP20 - A quick history of language models - OpenAI
2020-03-13 | 「ELECTRA」新たな自然言語処理モデルが示したMLMの問題点とは！？
2020-01-09 | うわっ…私の言語モデル、古すぎ…？

(感想・要望・情報提供)　

自然言語処理の餅屋

ユーザ用ツール

サイト用ツール

サイドバー

言語モデル

言語モデルとは

言語モデル(個別ページ)

まとめ・比較

データセット

AIカニバリズム問題

作る

開発環境

可視化

軽量化

記事

ページ用ツール