何が起きたか
Sebastian Raschka氏がLLMの位置埋め込みを解説。GPT-2の絶対ベクトル、原初のTransformerの固定サイン・コサイン符号化、MiniMax-M3などのRoPEを網羅した。
なぜ重要か
因果マスクがあっても明示的な位置信号が必要な理由を示し、最近のオープンウェイトモデルがその情報をどこでどう注入するかの違いを読者が追えるようにしている。
こういう要約が、毎朝あなたのメールに届きます。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Microsoftは11月17日から20日までサンフランシスコでIgniteを開催し、CEOのSatya Nadella氏が基調講演を行う
11月12日、Googleは日常的なコーディングと多段階のエージェントタスク向けにGemini 4 Hydrogenを発表し、GeminiアプリとGoogle検索での展開を開始した
Daehwa Kim氏がACMシンポジウムでOATsを発表
Nvidiaが火曜に決算、FRBが水曜に10月議事録を公表、Anthropicは水曜にIPO価格を決定し、木曜にナスダックで「ANT」として取引開始予定
藤井氏がMuseの「Space」上でアプリを構築
IssueとAIタスクの2段構成で進める
