LLM(大規模言語モデル)の仕組みとは?自分ごと体験で覚えるITパスポート対策
🎬 こんなシーン、想像してみて
社内ChatGPT利用担当の自分。「長い文章貼ったら回答途切れた→『コンテキスト窓の上限』」と判明。コンテキスト窓って何?トレーニング量?
❓ 2問問題:あなたならどっち?
次の状況に当てはまるのは?
- ✅ コンテキスト窓(Context Window)とはLLMが一度に処理できるトークン数の上限であり、超えると以前の情報が切り捨てられる
- ❌ コンテキスト窓はLLMのトレーニングに使ったデータ量の上限を指す→ トレーニング量と推論時の処理範囲は別。「一度の処理範囲」がコンテキスト窓
✅ 正解:コンテキスト窓(Context Window)とはLLMが一度に処理できるトークン数の上限であり、超えると以前の情報が切り捨てられる
📘 LLM(大規模言語モデル)の仕組みとは何か
トークン=分割単位、プロンプト=入力指示、コンテキスト窓=一度に処理できる範囲LLM(Large Language Model)はテキストをトークン(単語・サブワード単位)に分割して処理する。コンテキスト窓はモデルが一度に「見える」トークン数の上限。GPT-4は128K、Claude 3は200Kなど。上限を超えると古い情報が参照できなくなる。
🎯 試験のキモ
試験では「LLM=大量テキストで学習した言語生成AI」「コンテキスト窓=一回の処理範囲」として問われる。トークン数が増えるほど長文対応可能だが処理コスト・速度トレードオフがある。 **覚え方** 🎯 LLM=**トークン分割で言語処理/コンテキスト窓=一度に見える範囲**。GPT-4=128K、Claude=200K。
⚠️ 間違いやすいポイント
混同点:「コンテキスト窓=モデルの学習データ量」と誤解しがち。コンテキスト窓はトレーニング量ではなく「一回の推論で参照できるトークン数の上限」であり、上限超過で古い情報が切り捨てられる。トークンは文字数と一致しない(日本語1字≒2〜3トークン)点も混同注意。試験では「コンテキスト窓=処理範囲の上限、トレーニング量とは別」が問われる。
🧠 覚え方
LLM=**トークン分割で言語処理/コンテキスト窓=一度に見える範囲**。GPT-4=128K、Claude=200K。
📚 ITパスポートの試験対策・勉強方法
LLM(大規模言語モデル)の仕組みはITパスポートのIT全般分野で頻出(mid)。ITパスポート 過去問・勉強方法・独学・何時間に取り組むなら、自分ごとシナリオで一度体験してから問題を解くのが定着の鍵。何度も繰り返して覚え方フレーズを口に出すと記憶に残りやすい。
知識をクイズで確認しよう!
🏆 用語4択チャレンジ →