English

年度	2026年度	開講部局	先進理工系科学研究科博士課程前期先進理工系科学専攻情報科学プログラム
講義コード	WSN23901	科目区分	専門的教育科目
授業科目名	Multimodal Learning
授業科目名 （フリガナ）	マルチモーダルラーニング
英文授業科目名	Multimodal Learning
担当教員名	YU YI
担当教員名 (フリガナ)	ユ　イ
開講キャンパス	東広島	開設期	1年次生   後期   ４ターム
曜日・時限・講義室	(4T) 月5-8
授業の方法	講義・演習	授業の方法 【詳細情報】	オンライン（オンデマンド型）
			授業の方法は「オンデマンド型を主とし，必要に応じて Teamsによる双方向型も用いる」です．現在の計画では，第一回目からオンデマンド型で行う予定です。講義中心で，パワーポイントを資料元として用いて，moodleによる課題あるいはテストを毎回行ってもらいます．
単位	2.0	週時間	4	使用言語	E : 英語
学習の段階	5 : 大学院基礎的レベル
学問分野（分野）	25 : 理工学
学問分野（分科）	02 : 情報科学
対象学生
授業のキーワード
教職専門科目		教科専門科目
プログラムの中での この授業科目の位置づけ （学部生対象科目のみ）
到達度評価 の評価項目 （学部生対象科目のみ）
授業の目標・概要等	本授業では、マルチモーダル学習（Multimodal Learning）の理論的基盤から最先端の大規模モデルに至るまでを体系的に学ぶ。画像・オーディオ・テキストなど異なるモダリティ間に存在する意味的ギャップや分布差をいかに克服し、統合的な表現学習および生成モデルを構築するかを中心課題とする。前半では、マルチモーダル表現学習、クロスモーダル整合、注意機構、相関と因果の関係などの基礎理論を扱い、異種データ間の構造的理解を深める。後半では、Transformer や Foundation Model を基盤とする大規模モデル、自己回帰型生成モデル、拡散モデル、生成モデルのアラインメントおよび信頼性評価、さらにマルチモーダル大規模言語モデル（MLLM）について議論する。本授業は、理論講義と演習・論文討論・実装課題を組み合わせた形式で実施し、マルチモーダルAI分野における研究遂行能力の養成を目指す。
授業計画	第1回 マルチモーダル学習の概要 第2回 モダリティとデータ表現 第3回 マルチモーダル表現学習 第4回 クロスモーダル整合とコントラスト学習 第5回 マルチモーダル学習における注意機構 第6回 マルチモーダル学習における相関 第7回 マルチモーダル学習における因果性 第8回 マルチモーダル学習における目的関数 第9回 マルチモーダルTransformer 第10回 マルチモーダル基盤モデル 第11回 自己回帰型マルチモーダル生成モデル 第12回 拡散モデルおよびフロー型マルチモーダルモデル 第13回 マルチモーダル生成モデルのアラインメント 第14回 評価手法・ベンチマーク・倫理 第15回 マルチモーダル大規模言語モデル 各回の授業では、小テストまたはプロジェクトレポートの提出を行います。
教科書・参考書等	教科書は使用しない．
授業で使用する メディア・機器等	テキスト, 音声教材, 映像資料, Microsoft Teams, moodle
	【詳細情報】	オンデマンド形式のビデオ教材を利用して行う．
授業で取り入れる 学習手法	ディスカッション, 小テスト／ クイズ形式, PBL（Problem-based Learning）／ TBL（Team-based Learning）, 授業後レポート
予習・復習への アドバイス	予習は不要ですが、授業中の内容で分からない事項や興味を持った事項は自分でも調べてみて下さい。もちろん、質問も積極的にして下さい。
履修上の注意 受講条件等
成績評価の基準等	毎回の課題，小テストによる評価40％ 期末テストまたはレポートによる評価60％の予定
実務経験
実務経験の概要と それに基づく授業内容
メッセージ
その他
すべての授業科目において，授業改善アンケートを実施していますので，回答に協力してください。 回答に対しては教員からコメントを入力しており，今後の改善につなげていきます。