Tokenizer（トークナイザー）はテキストをトークンに分割しIDに変換するNLPの前処理コンポーネントです。LLMの動作に必須で、BPE・WordPiece・SentencePieceの3手法が主流。仕組み・実装例・モデル別の違い・トークン課金との関係を解説します。

Embedding（エンベディング）とは、テキストや画像などのデータを意味を保ったまま固定長のベクトルに変換する技術です。読み方・仕組み・代表モデルの違い・Pythonでの実装例・RAGでの使い方まで、初心者にもわかるように徹底解説します。