Apple、UI生成を「投票」から「添削」へ。わずかなデータでGPT-5を圧倒するUI生成の裏側

黒い背景に、青から紫のグラデーションがかかった波状の細いラインが重なり合う抽象的なデザイン。中央には白抜きの太いフォントで「Machine Learning Research at Apple」というテキストが配置されている

✅この記事では、Appleの最新研究「デザイナーの添削でUI生成AIを育てる」話を、難しい部分はかみ砕きつつ、ポイントだけ外さずにまとめます。大事なのは“モデルの賢さ”よりも、フィードバックの出し方でした。

要点まとめ：UI生成は「投票」より「赤入れ」が強い
詳細解説：何が「従来RLHF」と違うの？
- どんなモデルを鍛えたの？
注目したいポイント：なぜ「量より質」が刺さったのか
Redditの反応：デザイナーの“添削”は教育に近い
ひとこと：この研究、Apple Intelligenceの“教育係”に近い
まとめ：少量でもプロの添削は学習の芯になる

どうも、となりです。

生成AIで「それっぽい画面」は作れても、“ちゃんと使いやすいUI”にするのは別問題なんですよね。配置の気持ち悪さ、余白の違和感、ボタンの優先順位。ここって、言葉で説明しようとすると急に難しくなります。

今回のAppleの研究は、その難しさを真正面から扱っています。しかも方向性が面白くて、AIに「良い？悪い？」と投票させるのではなく、プロが普段やっている“添削”そのものを学習の材料にしてしまいました。

要点まとめ：UI生成は「投票」より「赤入れ」が強い

今回の話を一言でいうと、UIの良し悪しは“人気投票”だとブレるけど、具体的に直してもらうと合意しやすい、という発見です。つまり、学習させるなら「どっちが好き？」より「ここをこう直して」が効率的、ということですね。ふむふむ

Appleの研究チームが、論文「Improving User Interface Generation Models from Designer Feedback」を公開
従来型のRLHF（人間による評価学習。人の好みや評価を使ってAIを調整する手法）では、デザイナーの仕事の流れと噛み合いにくい
プロのデザイナーがコメント／スケッチ／直接編集でUIを添削し、その差分を学習データ化
参加デザイナーは21人（経験2〜30年以上）、アノテーション（データへのタグ付け作業）は1,460件
スケッチの少量データ（例：181件）でも、UIのデザイン構造理解やレイアウトの正確性といった特定の評価軸においてはGPT-5を上回ったと報告

詳細解説：何が「従来RLHF」と違うの？

まず前提として、これまで多かったRLHF（人間による評価学習）は「AとB、どっちが良い？」みたいな二択のランキングや、★評価のようなスコア付けで学習させるやり方です。

ただ、UIデザインって正解が1つじゃありません。見た目の好みだけじゃなく、業務アプリなのか、一般向けなのか、入力が多いのか、確認が多いのかで“良さ”が変わります。ここが、二択評価だとブレやすい理由です。

そこでAppleがやったのが、デザイナーが普段の仕事でやっている「添削」の再現です。具体的には、モデルが作ったUIに対して、プロが次の3つで直します。

コメント：ここは揃える、余白を増やす、見出しの階層を変える、など言語で指示
スケッチ：言葉にしづらいレイアウト意図を“線で”伝える
直接編集：実際にUIを触って、コンポーネントや配置を直す

UI生成AIの学習手順を示す図。左から、コード生成モデルがプロンプトから元のUIを生成し、デザイナーがコメント・スケッチ・直接編集で改善案を作成。改善前後のペアを好みデータに変換し、報酬モデルを作って最終的にモデルを微調整する流れが並んでいる — デザイナーの“添削”（コメント／スケッチ／修正）を学習信号に変換し、報酬モデル（良いUIを判断するための「AI専用の採点基準」）を介してUI生成モデルを微調整する全体像

そして重要なのが、直す前／直した後がセットで残ることです。これが学習にとってはめちゃくちゃ強い。なぜなら「良いUIとは何か」を抽象的に議論するのではなく、「このケースではこう直す」が蓄積されるからです。

この研究では、デザイナーの添削を「報酬モデル（reward model）」に変換して、UI生成モデルを鍛える流れが説明されています。見た目としてはRLHFっぽいんですが、学習の信号が“投票”ではなく“添削の差分”になっているのがポイントです。

なお、このように「プロの添削」を学習させる手法には、特定のデザイナーの癖や、iOSのような特定プラットフォームの作法に寄りやすくなる可能性もあります。そのため、汎用UIではなく「どの文脈に最適化されたAIか」を意識して読む必要があります。

デザイナーのフィードバック収集に使われた4種類のUI。左から、2つの画面を比較して良い方を選ぶランキング画面、文章で改善点を書くコメント画面、画面上の領域を囲って注釈を付けるスケッチ画面、UI部品を直接編集できる修正画面が並んでいる — デザイナーからの評価・コメント・スケッチ・直接修正を集めるために用意された4つのインターフェース。二択評価よりも、具体的な添削ほど学習に有効な信号になることを示している

どんなモデルを鍛えたの？

UI生成の土台（ベースモデル）としては、Qwen2.5-Coder系が使われ、同じ枠組みをより新しいQwen系にも広げて検証した、とされています。モデルの名前そのものよりも、「小さめモデルでも伸びるのか？」を確かめたところが実務っぽいです。

この流れは、開発ツール側の進化とも相性が良い話で、たとえばXcode周辺でも“エージェント的に手直しする”流れが話題になっています（Xcode 26.3のAgentic Coding）。なお、これらの機能はAppleシリコン搭載Macを前提とした挙動や設計が含まれるため、Intel Macでは同等に体験できない場合があります。UI生成も、最初の一発で完璧を狙うより、修正ループを速く回したほうが現実的なんですよね。

注目したいポイント：なぜ「量より質」が刺さったのか

今回いちばん分かりやすい発見は、「データを増やせば勝てる」とは限らない、というところです。たとえば、スケッチのアノテーション（データへのタグ付け作業）は大量ではないのに、特定の評価ではGPT-5を上回ったと報告されています。

ここで誤解しやすいのが、「じゃあ巨大モデルは不要なの？」という話です。これは少し違うと思っていて、ポイントは学習の“的”が合っているかなんです。

二択評価：何が良いかの理由が残りにくい（好みの差も混ざる）
添削データ：どこをどう直すかが残る（理由が行動として刻まれる）

UIは“言語だけで説明しにくい正しさ”が多いので、スケッチや直接編集が強いのは納得感があります。たとえば、Appleの研究では視覚モデル（VLM：画像認識と対話を組み合わせたモデル）を含む取り組みも進んでいて、UIを画像として扱う流れがどんどん太くなっています（AppleのVLM研究（FastVLM））。

もうひとつ大きいのが「合意しやすさ」です。二択ランキングだと、研究チーム側がデザイナーの選択に同意できた割合が49.2%とされ、かなり割れています。一方で、スケッチは63.6%、直接編集は76.1%と上がる。つまり、“どっちが好き？”より“どう直す？”のほうが話が噛み合うわけです。

これ、AIの話でありつつ、チーム開発のあるあるにも近いんですよね。「このUI、良いと思う？」は割れるけど、「このボタンを右上に寄せて、主導線はこっちに寄せたい」は合意しやすい。AI学習でも同じ構図が起きている感じがします。