AI・DX

AIエージェントは勝手に賢くならない

開発ログと評価を、次の改善に使える会社の資産へ変える。ステップシリーズの開発で考える、AIエージェントの育て方。

公開日: 著者: 代表取締役・システムアーキテクト

この記事の目次

01AIは、使うだけでは賢くならない

AIエージェントを業務に置くと、最初の数日は大きな変化が見えます。資料を読ませれば要約し、指示を出せば下書きを作り、連携先を増やせば処理範囲も広がる。ここで「このまま使い続ければ、会社の仕事を覚えていく」と期待したくなります。

しかし、AIは利用回数だけで会社固有の判断を獲得するわけではありません。必要なのは、実行結果を記録し、失敗の原因を抽象化し、次の業務へ再利用できる形にすることです。

AIエージェントを育てるとは、AIに反省させることではない。業務の成功条件を、次の実行に使える仕組みとして残すことだ。

02改善の中心は、モデル選びではなく開発ループ

モデルを選び、プロンプトを書き、業務に接続する。そこまでは入口です。企業の差が出るのは、実行後に何を残し、どの変更を採用し、どう検証するかを設計したときです。

FIG. 01 / LEARNING LOOP
使った経験を、次の精度へ。

実行の記録から改善をつくり、検証した変更だけを次の実行へ戻す。

  • 入力・実行ログ
  • 評価結果
  • 更新する知識
入力資料・業務の依頼
  1. 01
    実行する

    資料を読み、業務を進める

  2. 02
    記録する

    出力・手順・失敗を残す

  3. 03
    評価する

    業務の合格条件と照らす

  4. 04
    改善する

    候補を比較し、小さく変更

変更を検証する

別のデータで確かめる

修正に使っていない入力で、変更前後の品質を比較する。

改善が不十分なら、変更を見直す ↗

改善を確認 → 採用

良い案を、次の標準へ

採用した変更を会社の知識として残し、次の実行に使う。

手順スキル評価基準

入力資料 → AIが実行 → 実行ログを保存 → 評価 → 改善案 → 小さく変更 → 別データで検証 → 良い案だけを標準化

テスト、ログ、レビュー、リリース履歴、ロールバック。AIエージェントにも、動かした結果を見て変更を管理する環境が必要です。

03改善が止まるのは、AIが怠けているからではない

失敗するたびにプロンプトへ注意書きを足し、後処理へ例外を追加する。この修正は短期的には効きます。しかし続けるほど、設計の周辺だけが厚くなり、処理順や責任分界といった前提を疑えなくなります。

抽出と検算を分ける、計算はコードに任せる、例外は人へ戻す。こうした前提の変更は、現在の指示と履歴を見ながら反省するだけでは出にくい。AIが同じ案の近くを回り続けない仕組みが必要です。

04ハーネスを、AIエージェントの開発環境にする

ハーネスはAIを囲い込む箱ではありません。入力を与え、実行し、評価し、変更を比較するための開発環境です。改善案を作るデータと、採否を決める検証データを分けることで、小さな成功を全体の性能と誤認しにくくなります。

改善ループに必要な4つの部品

  • ✓実行: 入力・出力・使用スキルを保存する
  • ✓評価: 正確性・完全性・適切性を分けて判定する
  • ✓変更: プロンプト・スキル・コードの差分を追跡する
  • ✓採否: 改善した案だけを次の標準へ入れる

05実行ログを、個別対応ではなく知識へ変える

ログを残すだけでは倉庫が増えるだけです。複数の失敗から共通の手順を取り出したとき、初めて会社の知識になります。

失敗A

単位を読み違えた

本文と表見出しの単位を確認する

失敗B

表の単位を見落とした

指定単位へ換算して出力する

成功C

手順どおりに処理できた

別形式の入力でも再現するか検証する

保存するのは顧客名や金額だけではありません。どの判断で迷い、誰がどこを修正し、どの条件で採用されたかを残す。個別データを別の入力にも使える業務知へ変換することが資産化です。

07最後に残る仕事は、業務上の正しさを定義すること

AIに改善案を出させることはできます。しかし、その案を採用してよいかは、業務を知る人間が決めなければなりません。

正確性

事実、数値、分類、判断が社内ルールと一致しているか

完全性

必要な情報や確認項目が抜けていないか

適切性

顧客、担当者、期限などの文脈に合っているか

「それっぽい文章」や「一度動いたこと」は合格条件ではありません。確認なしで進められる出力、人の承認が必要な出力、拒否すべき出力を定義し、改善前後を同じ基準で比較します。

08ステップシリーズでは、業務の流れそのものを改善する

リクステップのステップシリーズでは、申請、確認、差し戻し、承認、記録、通知、分析を、単発の画面機能ではなく一つの業務の通り道として捉えています。

FIG. 02 / APPLICATION
業務の中で、どう動く?

AI・ルール・人の判断をつなぎ、記録を次の案件に活かす。

  • 入力・実行ログ
  • 評価結果
  • 更新する知識
申請書類を受け付ける
  1. 01
    AIが読み取る

    書類を分類し、不足項目を抽出

  2. 02
    ルールで照合

    必須条件を機械的にチェック

  3. 03
    人が判断する

    例外を確認し、承認・差し戻し

  4. 04
    判断を残す

    修正理由と処理結果を記録

変更を検証する

次の案件でも通用するか

記録から見直した手順と評価基準を、別の案件で検証する。

改善が不十分なら、変更を見直す ↗

改善を確認 → 採用

良い案を、次の標準へ

承認した変更を業務の知識として残し、次の申請に使う。

手順スキル評価基準

申請を受ける ├─ AI: 書類を分類・不足項目を抽出 ├─ ルール: 必須条件を照合 ├─ 人: 例外と判断が必要な案件を承認 ├─ 記録: 修正理由・判断・結果を保存 └─ 改善: 次回のスキルと評価へ反映

最初から万能なAI部下を作るのではありません。どこで情報が不足するのか、誰の判断が必要なのか、どの記録が次の案件に役立つのかを明らかにし、AIに任せる境界を置く。その設計が、速度と安全性を両立させます。

09AI時代の競争優位は、改善を続けられる会社に残る

AIモデルは更新され、ツールの価格も変わります。「どのモデルを使ったか」だけでは、長期の差別化になりにくい。

会社の業務フロー、判断基準、実行ログ、評価データ、改善履歴は、現場で積み上げなければ作れません。正しく運用されるほど次の改善の材料が増える。そこに、AI導入とは異なる価値があります。

AIを導入することがゴールではない。

AIと人間の改善ループを、会社の業務基盤として持つことがゴールだ。

ステップシリーズで目指しているのも、機能を増やすことだけではありません。使われた記録を次の判断に活かし、判断を仕組みに戻し、仕組みをまた現場で改善する。その循環を壊さずに育てることです。

10よくある質問

AIエージェントは使い続けるだけで自動的に賢くなりますか?+

自動的にモデルの重みが更新されるとは限りません。実行ログを保存し、失敗の共通点を手順やスキルへ反映し、独立した評価データで改善を確認する仕組みがあって初めて、使うほど業務に適応しやすくなります。

自己改善ループを始めるときに必要なものは何ですか?+

最初から大規模な機械学習基盤を作る必要はありません。代表的な入力、望ましい出力、失敗例、業務上の合格条件を少数でも定義し、実行ログと評価結果を残せる状態から始めるのが現実的です。

なぜAIに改善案をすべて任せてはいけないのですか?+

AIは現在の設計や過去の指示に引っ張られ、プロンプトの追記や例外処理の追加に偏ることがあります。処理順、責任分界、コード化する範囲まで含めた設計判断は、人間が業務の成功条件をもとに行う必要があります。

柴 悠介

株式会社リクステップ代表取締役・システムアーキテクト。業務システムやWebアプリケーション、AIエージェントの設計・開発を専門とする。業務フローの整理からシステム設計、実装、運用改善まで一貫して取り組み、開発現場と経営の両面から、企業に知識と仕組みが蓄積するシステムづくりを進めている。

事業の課題から、一緒に考えます。

リクステップに相談する