Projectsへ戻る

LLM Bias in Algorithm Evolution

ShinkaEvolve と OpenEvolve で、LLM が保守的な局所最適化に寄る条件を調べています。

Overview

ShinkaEvolve と OpenEvolve で、LLM がヒューリスティックアルゴリズムを変える過程を調べています。LLM が小さな編集を繰り返すと探索が近い解の周辺に留まりやすくなる理由を検証しています。

実験結果と各フレームワークの評価ループを見比べ、LLM がどこで保守的になるのかを追っています。評価の作り方を変えたときに、LLM の探索がどう変わるかも調べています。実験はまだ続いています。

What I Built

  • 保守的な編集

    ヒューリスティックアルゴリズムを進化させる場面で、LLM が小さく安全な変更を選ぶ条件を見ています。

  • 局所最適化

    LLM が小さな編集を繰り返すと探索が近い解の周辺に留まりやすくなる理由を検証しています。

  • フレームワークでの実験

    ShinkaEvolve と OpenEvolve を使い、アルゴリズム生成の反復を観察しています。

  • 仮説の検証

    偏りが進化のループのどこに入るかを追い、軽減策を試す実験を組んでいます。

Problems

  • LLM がアルゴリズムへの大きな変更を避けやすいこと。
  • LLM が小さな編集を繰り返すと、探索が局所最適化のパターンに留まりやすいこと。
  • 評価のループに偏りがあると、LLM が探索を続けにくくなること。

Results

  • 初期実験から、繰り返し現れる傾向を拾っています。
  • LLM が反復探索で保守的に振る舞う理由について、作業仮説を置いています。
  • 軽減策を確かめる実験を続けています。