React + Spring Bootの自作家計簿アプリに、Gemini APIでレシート自動入力機能を実装してみた

// ReceiptScanItem.java (明細)
public class ReceiptScanItem {
    private String category;    // カテゴリ名
    private Integer amount;     // 金額
    private String description; // 店舗名や品名
    // getter/setter/constructor 省略
}

// ReceiptScanResult.java (全体の解析結果)
public class ReceiptScanResult {
    private String date; // YYYY-MM-DD
    private List<ReceiptScanItem> items;
    private Integer totalAmount;
    // getter/setter/constructor 省略
}

@RestController
@RequestMapping("/api/receipt")
public class ReceiptScannerController {

  @Value("${gemini.api.key}")
  private String geminiApiKey;

  @Autowired
  private CategoryDefRepository categoryRepository;

  @Autowired
  private ObjectMapper objectMapper;

  private final HttpClient httpClient = HttpClient.newHttpClient();

  @PostMapping("/scan")
  public ResponseEntity<?> scanReceipt(@RequestParam("file") MultipartFile file) {
    String apiKey = geminiApiKey;
    if (apiKey == null || apiKey.trim().isEmpty()) {
      apiKey = System.getenv("GEMINI_API_KEY");
    }

    try {
      // カテゴリ一覧を取得してプロンプトに動的に埋め込む
      List<String> categories = categoryRepository.findAll().stream()
          .map(CategoryDef::getName)
          .toList();
      String categoryListStr = String.join(", ", categories);

      // プロンプトの構築
      String prompt = "あなたは優秀な家計簿アシスタントです。アップロードされたレシート画像を解析し、以下のカテゴリリストに当てはまる支出項目を抽出してください。\n" +
              "カテゴリリスト: [" + categoryListStr + "]\n\n" +
              "【レシート解析および計算の汎用ルール】\n" +
              "1. 最終支払合計金額の特定 (これを totalAmount とする)\n" +
              "2. 各商品の最終税込・割引後価格の算出 (金額の総和が totalAmount と1円単位で完全に一致するように調整すること)\n\n" +
              "以下のJSONフォーマットのみで返答してください。\n" +
              "{\n" +
              "  \"date\": \"YYYY-MM-DD\",\n" +
              "  \"items\": [\n" +
              "    { \"category\": \"カテゴリ名\", \"amount\": 100, \"description\": \"品名\" }\n" +
              "  ],\n" +
              "  \"totalAmount\": 100\n" +
              "}";

      // 画像を Base64 エンコード
      String base64Image = Base64.getEncoder().encodeToString(file.getBytes());
      String contentType = file.getContentType() != null ? file.getContentType() : "image/jpeg";

      // リクエストボディの組み立て
      Map<String, Object> inlineData = Map.of("mimeType", contentType, "data", base64Image);
      Map<String, Object> textPart = Map.of("text", prompt);
      Map<String, Object> imagePart = Map.of("inlineData", inlineData);
      Map<String, Object> partContainer = Map.of("parts", List.of(textPart, imagePart));
      Map<String, Object> generationConfig = Map.of("responseMimeType", "application/json");

      Map<String, Object> requestBodyMap = Map.of(
          "contents", List.of(partContainer),
          "generationConfig", generationConfig
      );
      String requestBodyJson = objectMapper.writeValueAsString(requestBodyMap);

      // API 呼び出し
      String url = "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-flash:generateContent?key=" + apiKey;
      HttpRequest request = HttpRequest.newBuilder()
          .uri(URI.create(url))
          .header("Content-Type", "application/json")
          .POST(HttpRequest.BodyPublishers.ofString(requestBodyJson))
          .build();

      HttpResponse<String> response = httpClient.send(request, HttpResponse.BodyHandlers.ofString());

      // JSONレスポンスのパース
      JsonNode root = objectMapper.readTree(response.body());
      String responseText = root.path("candidates").path(0).path("content").path("parts").path(0).path("text").asText();
      ReceiptScanResult result = objectMapper.readValue(responseText, ReceiptScanResult.class);

      return ResponseEntity.ok(result);
    } catch (Exception e) {
      return ResponseEntity.internalServerError().body(Map.of("message", e.getMessage()));
    }
  }
}

const handleRegister = async () => {
  if (formItems.length === 0) return;
  setIsSaving(true);
  try {
    // カテゴリごとに金額を集計し、商品名をカンマ区切りで結合する
    const grouped: { [category: string]: { amount: number; descList: string[] } } = {};
    
    for (const item of formItems) {
      const cat = item.category || "未分類";
      if (!grouped[cat]) {
        grouped[cat] = { amount: 0, descList: [] };
      }
      grouped[cat].amount += Number(item.amount || 0);
      if (item.description && item.description.trim()) {
        grouped[cat].descList.push(item.description.trim());
      }
    }

    // 集計した結果を登録用の取引リストに変換
    const newTxList = Object.keys(grouped).map((cat) => {
      const group = grouped[cat];
      const uniqueDescs = Array.from(new Set(group.descList));
      const combinedDesc = uniqueDescs.join(", ");
      
      return {
        date: scanDate || defaultDate,
        amount: group.amount,
        category: cat,
        description: combinedDesc || "レシート一括登録",
        paidBy,
        isSettlementTarget,
      };
    });

    // 一括登録
    await onAddTransactions(newTxList);
    onSuccess(`${newTxList.length}件の支出をカテゴリ毎にまとめて登録しました！`);
    onClose();
    // クリーンアップ処理
    setSelectedFile(null);
    setPreviewUrl(null);
    setScanResult(null);
  } catch (err) {
    onError("家計簿への登録に失敗しました");
  } finally {
    setIsSaving(false);
  }
};