원문: Testing AI-Generated Code: Lint the Pattern, Test the Decision
코딩 에이전트는 테스트 작성을 좋아합니다. 새 핸들러나 폼, 콤보박스를 만들어 달라고 하면, 요청하지도 않은 테스트 파일까지 함께 만들어 옵니다. 에이전트가 문서화된 패턴에 따라 코드 대부분을 작성하는 대규모 코드베이스라면, 테스트 문제는 저절로 해결될 것 같습니다.
하지만 그렇지 않습니다. 테스트가 체계적으로 정리되어 있지 않기 때문입니다. 에이전트가 작성한 테스트마다 마지막으로 본 테스트 파일에서 복사해 조금씩 고친 목(mock) 설정이 따로 들어갑니다. 세션을 확인했는지, 오류를 변환했는지, 번역 키가 예상한 문자열인지처럼 린터가 잡아야 할 사항을 검증하는 테스트도 많습니다. 대부분은 패턴을 따르기만 하는 파일을 테스트하므로, 구현을 되풀이할 뿐 버그를 찾아내지 못합니다.
저는 프리랜서 팀 리드 소프트웨어 엔지니어로 일하며 팀이 이런 테스트를 정리하도록 도왔습니다. 목표는 코드베이스 전체를 빠짐없이 테스트하는 것이 아니었습니다. 코드 구조에 맞는 커버리지가 목표였습니다. 린터는 모든 파일이 정해진 패턴을 따르게 하고, 파일 유형마다 공통 하네스를 하나씩 마련해 테스트 작성 비용을 낮추며, 패턴을 넘어서는 동작이 있는 파일에만 테스트를 추가합니다. 이 글은 단위 테스트와 통합 테스트를 다룹니다. 엔드투엔드 테스트는 별개의 주제이므로 여기서는 다루지 않습니다.
테스트 파일 하나를 놓고 보면 다음과 같이 달라집니다.
정리한 테스트는 크기가 크게 줄고, 남은 모든 줄은 파일이 내리는 판단을 검증합니다. 나머지가 사라진 것은 아닙니다. 파일 하나가 아니라 모든 파일을 검사하는 곳으로 옮겨 갔습니다.
대부분의 파일은 패턴을 따릅니다#
에이전트 중심의 코드베이스는 패턴을 바탕으로 돌아갑니다. 파일 유형마다 형태를 규정하는 패턴 문서가 있고, 사람과 에이전트 모두 이를 따릅니다. 예를 들어 쓰기 핸들러는 어느 파일에서나 형태가 같습니다.
├─ await requireSession()
│
└─ try {
├─ const client = createServiceClient(Projects)
└─ await client.archiveProject({ id })
} catch (error) {
return toFailure(error)
}
return toSuccess("project.archived")저는 이런 형태를 골격(skeleton)이라고 부릅니다. 대부분의 핸들러는 골격이 전부입니다. 세션을 확인하고, 백엔드 메서드를 하나 호출하고, 오류를 변환하고, 결과를 반환합니다. 폼, 콤보박스, 테이블 열, 엔드포인트도 마찬가지입니다. 유형마다 골격이 있고, 해당 유형의 파일 대부분은 그 골격을 벗어나지 않습니다.
골격만으로 이루어진 파일의 테스트는 구현을 한 줄씩 되풀이합니다. 코드가 바뀌면 깨지지만, 잘못될 만한 판단이 파일 안에 없으므로 버그를 잡지는 못합니다. 하지만 골격 자체도 깨질 수 있고, 에이전트는 특유의 방식으로 골격을 깨뜨립니다. 에이전트가 패턴 전체를 잊는 일은 드뭅니다. 대신 한 줄을 빠뜨립니다. “로그인한 페이지에서만 호출되는” 핸들러에서 세션 확인을 빼거나, 리팩터링하다가 백엔드 호출을 try 바깥으로 옮기는 식입니다. 테스트는 자신이 검사하는 파일 하나에서만 이런 문제를 발견합니다.
그래서 파일마다 테스트를 만드는 대신, 모든 파일 유형에 같은 세 단계를 적용했습니다.
- 골격을 린트로 검사하기패턴 문서에 명시된 불변 조건을 스크립트로 강제합니다.검사 범위: 에이전트가 아직 작성하지 않은 파일까지 포함한 해당 유형의 모든 파일
- 공통 하네스 하나 만들기해당 유형의 파일이 코드 바깥에서 의존하는 대상을 흉내 내는 환경을 한 번만 만듭니다.담당 범위: 각 테스트가 복사해야 했던 설정을 맡아, 테스트 파일에는 시나리오만 남깁니다
- 규칙을 정한 뒤 위험도가 가장 높은 코드 테스트하기어떤 파일에 테스트가 필요하고 무엇을 검증할지 패턴 문서에 명시합니다.검사 범위: 골격에 없는 판단을 내리는 파일
쓰기 핸들러부터 시작했고, 이 글에서도 계속 예시로 사용합니다. 폼, 콤보박스 등 다른 유형에도 같은 방식을 적용했으며, 글 뒷부분에서 다룹니다.
1단계: 골격을 린트로 검사하기#
첫 단계에서는 테스트를 하나도 작성하지 않고, 에이전트가 아직 작성하지 않은 파일까지 포함해 해당 유형의 모든 파일을 검사합니다. 작은 스크립트가 타입스크립트 컴파일러 API로 내보낸 모든 핸들러를 파싱하고, 패턴 문서에 명시된 불변 조건을 확인합니다.
- 세션부터 확인첫 구문은 await requireSession()입니다. 내보낸 핸들러는 누가 호출하든 공개 엔드포인트입니다.
- 서비스 호출은 try 안에서모든 createServiceClient()는 catch가 있는 try 안에 있어야 백엔드 오류가 catch까지 전달됩니다.
- catch에서 오류 변환모든 catch는 toFailure()의 결과를 반환하거나, 바깥쪽 try로 오류를 다시 던집니다.
- 입력은 헬퍼를 거쳐 반환제출한 입력은 비밀 필드를 제거하는 toSuccess()나 toFailure()를 통해서만 반환합니다.
기발한 규칙은 하나도 없습니다. 패턴 문서의 문장을 하나씩 검사 항목으로 바꿨을 뿐입니다. 에이전트는 이미 파일을 작성할 때 패턴 문서를 따르고, 리뷰 에이전트도 변경 사항을 이 문서와 대조합니다. 린트는 모든 에이전트가 문서를 읽고 모든 리뷰어가 기억하기를 기대하는 대신, 모든 파일이 같은 패턴을 따르도록 강제합니다.
더 읽기 · 관련 글에이전트 기반 코드 리뷰: AI를 위한 패턴 매칭
// Command Line
npm run lint:handlers
projects/archive-project.ts:7
`archiveProject` [session first] does not start with `await requireSession()`
invoices/list-invoices.ts:12
`listInvoices` [call in try] calls `createServiceClient(...)` outside a `try` block에이전트에게 이런 린트는 가장 좋은 피드백입니다. 메시지에 파일, 줄 번호, 규칙이 명시되므로 사람이 짚어 주지 않아도 같은 세션에서 고칩니다. 코드 리뷰 댓글은 하루 뒤에 도착합니다. 린트 오류는 에이전트가 작업을 마쳤다고 말하기 전에 도착합니다.
에이전트가 몇 달 동안 코드를 작성해 온 코드베이스에 이런 린트를 도입하는 데 네 단계가 필요했고, 모든 파일 유형에서 같은 네 단계를 반복했습니다.
- 후보 규칙 조사하기에이전트가 모든 파일에 각 규칙을 적용하고 적발 건수를 보고합니다. 그 결과로 도입할 규칙을 정합니다.유지세션부터 확인, 3건유지서비스 호출은 try 안에서, 1건유지오류와 함께 대체 데이터를 반환하지 않기, 1건제외변환한 오류를 다시 감싸지 않기, 0건, 타입 검사기가 이미 강제하는 규칙
- 위반 사항부터 모두 수정하기린트가 처음부터 통과하도록, 도입 전에 별도 커밋으로 수정합니다.archive-project.tslist-invoices.tsget-owner.ts
- 예외를 거의 두지 않고 린트 도입하기실제 위반 사항은 예외로 처리하지 않고 고칩니다. 단 하나의 예외에는 바로 옆에 이유를 적습니다.예외 1건, 이유 명시
- 린트로 불필요해진 테스트 삭제하기이제 린트가 모든 파일에서 검사하는 검증문을 지우고, 다른 검증 내용이 남지 않은 테스트 파일도 삭제합니다.expect(requireSession).toHaveBeenCalled()expect(result.status).toBe("ERROR")
저라면 조사 단계는 빼놓지 않겠습니다. 린트를 한 줄도 작성하기 전에 에이전트가 모든 파일에 모든 후보 규칙을 적용했고, 그 결과로 도입할 규칙을 정했습니다. 한 규칙은 타입 검사기 덕분에 위반 자체가 불가능해 제외했고, 다른 규칙은 실제 버그를 찾아냈습니다. 예를 들어 한 읽기 핸들러는 오류와 함께 빈 목록을 반환해, UI가 “실패”와 “데이터 없음”을 구분하지 못했습니다. 마지막 단계부터 테스트가 정리되기 시작합니다. 이제 린트가 모든 파일에서 검사하는 검증문은 전부 제거합니다.
2단계: 공통 하네스 하나 만들기#
두 번째 단계는 남은 테스트의 작성 비용을 낮추고 방식을 통일합니다. 핸들러는 백엔드 클라이언트, 세션, 번역, 리다이렉트, 캐시 무효화, 쿠키처럼 자기 코드 바깥의 대상에 끊임없이 접근합니다. 테스트 파일마다 이를 따로 흉내 내면, 모든 테스트 파일이 목 설정 40줄로 시작하고 백엔드를 흉내 내는 방식도 조금씩 달라집니다. 에이전트는 특히 목 40줄을 복사하는 데 능숙해서, 파일을 작성할수록 문제가 심해집니다.
그래서 파일 유형마다 하네스를 하나씩 둡니다. 테스트 러너는 파일명으로 하네스를 선택합니다. 모든 *-handler.test.ts 파일에는 핸들러가 접근하는 대상을 모두 흉내 내는 설정 파일이 적용되고, 테스트 파일에는 시나리오만 남습니다.
흥미로운 부분은 백엔드입니다. 쉽게 흉내 내려면 클라이언트 메서드마다 테스트가 원하는 값을 반환하는 목 함수를 만들면 됩니다. 우리 하네스는 더 엄격합니다. 자동 생성된 실제 클라이언트는 그대로 두고 네트워크만 인메모리 전송 계층(in-memory transport)으로 교체합니다. 모든 요청은 실제 백엔드로 보낼 때와 똑같이 직렬화한 뒤 다시 역직렬화합니다.
가짜 백엔드에는 세 가지 규칙이 있습니다. 더 느슨하게 흉내 냈다면 놓쳤을 버그를 막기 위한 규칙입니다.
- 테스트에서 응답을 설정하지 않은 메서드는 “unimplemented”를 반환합니다. 테스트 대상 핸들러는
undefined가 아니라 실제 백엔드 오류를 받습니다. - 가짜 핸들러가 비정상 종료하면 테스트가 실패합니다. 그렇지 않으면 가짜 구현의 버그를 백엔드 오류로 오인해, 테스트가 엉뚱한 내용을 태연하게 검증합니다.
- 요청은 프로덕션 서버와 같은 제한을 적용해 디코딩합니다. 클라이언트 라이브러리의 기본값을 쓰지 않습니다.
마지막 규칙은 아무도 생각하지 못했습니다. 기존 테스트를 실제 전송 계층으로 옮기자, 프로덕션에서는 매일 받아들이는 깊게 중첩된 요청을 가짜 백엔드가 거부했습니다. 메시지를 얼마나 깊이 중첩할 수 있는지에 관한 제한이 클라이언트 라이브러리와 서버 사이에서 달랐습니다. 기존 목은 직렬화를 전혀 하지 않았기 때문에, 테스트가 존재하는 내내 이 불일치를 가리고 있었습니다.
3단계: 규칙을 정한 뒤 위험도가 가장 높은 코드 테스트하기#
그제야 테스트 자체를 작성했습니다. 테스트를 하나라도 작성하기 전에, 해당 유형에서 어떤 파일에 테스트가 필요하고 무엇을 검증하는지 패턴 문서에 추가했습니다. 이 항목 덕분에 에이전트가 다시 파일마다 테스트를 만드는 방식으로 돌아가지 않습니다. 이 내용 없이 “핸들러에 테스트를 추가해 줘”라고 하면, 골격만 있는 핸들러마다 테스트가 생깁니다. 전부 통과하지만 쓸모는 없습니다.
- 세션을 확인하고 메서드 하나를 호출해 결과 반환
- 한 핸들러에서 생성과 수정 처리
- 성공 후 리다이렉트
- 쓰기를 진행해도 되는지만 확인하는 읽기
- 종류, 범위, 상태에 따른 분기
- 읽기 결과로 쓰기를 구성하며, 읽기 실패 시 쓰기 중단
- 부분 업데이트 시 쓰기에 전달할 필드 결정
- 여러 쓰기의 실행 순서와 부분 실패 처리
- 서버에서 값을 결정하는 등의 보안 판단
- 오류를 다시 변환하거나 무시하는 처리, 페이로드 재구성
- 전송한 요청과 실패 후 요청을 전송하지 않는지 여부
- 반환한 결과
- 부수 효과인 리다이렉트, 무효화한 캐시, 쿠키
- 세션 확인 여부
- 번역 키 자체
종류나 상태에 따른 분기, 읽기 결과로 구성하는 쓰기, 여러 번의 쓰기, 보안 판단, 오류 재변환처럼 골격에 없는 판단을 내리는 핸들러에 테스트를 만듭니다. 그 외에는 모두 골격이며, 린트가 이미 검사합니다.
규칙에는 무엇을 검증할지도 명시합니다. 바로 핸들러 밖으로 나가는 것입니다. 전송한 요청과 실패 후 전송하면 안 되는 요청, 반환 결과, 부수 효과를 검증합니다. 세션 확인 여부는 린트가 검사하므로 테스트에서 검증하지 않습니다. 다음은 프로젝트를 읽고 멤버 목록을 다시 쓰는 핸들러의 테스트입니다.
projects/add-members-handler.test.ts
beforeEach(() => {
fake.serve(Projects, {
getProject: () => ({ id: "p1", members: ["ada"] }),
updateProject: () => ({}),
});
});
it("adds the new members in front of the existing ones", async () => {
const result = await addMembers("p1", ["grace", "linus"]);
expect(fake.calls(Projects, "updateProject")).toMatchObject([
{ project: { id: "p1", members: ["grace", "linus", "ada"] } },
]);
expect(result).toMatchObject({ status: "SUCCESS" });
});
it("writes nothing when the project cannot be read", async () => {
fake.serve(Projects, {
getProject: () => {
throw new ServiceError("unavailable");
},
});
const result = await addMembers("p1", ["grace"]);
expect(result).toMatchObject({ status: "ERROR" });
expect(fake.calls(Projects, "updateProject")).toEqual([]);
expect(effects.invalidated).toEqual([]);
});beforeEach에서는 핸들러가 호출하는 모든 메서드에 정상 경로의 응답을 설정합니다. 각 테스트는 검증 대상인 메서드 하나만 덮어쓰고, 핸들러를 실행한 뒤 밖으로 나간 내용을 확인합니다. 목 설정은 하네스가 담당하므로 테스트 파일에는 전혀 없습니다. 에이전트가 이런 테스트를 잘 작성하는 이유도 여기에 있습니다. 파일에는 시나리오만 있고, 규칙이 어떤 시나리오가 중요한지 알려 줍니다.
이 테스트들은 곧바로 제 몫을 했습니다. 두 테스트가 권한 버그를 찾아냈습니다. 한 핸들러는 역할이 요청한 범위를 허용하지 않을 때 범위가 빈 권한 부여 요청을 보냈습니다. 다른 핸들러는 서버가 직접 결정해야 할 값을 폼에서 받아 사용했습니다. 둘 다 형태가 아니라 판단이 잘못된 문제라서, 린트나 타입 검사기로는 발견할 수 없었습니다.
폼과 콤보박스에도 같은 단계 적용하기#
핸들러는 백엔드와 통신하므로 가장 먼저 떠오르는 적용 대상입니다. 하지만 이 방식은 패턴이 있는 모든 파일 유형에 적용할 수 있고, 프런트엔드 코드베이스에서는 대부분 UI입니다.
폼의 골격도 핸들러만큼 엄격합니다. 공통 폼 컴포넌트로 구성하고, 스키마로 검증하며, 핸들러를 통해 제출하고, 모든 필드에 레이블과 오류 표시 영역을 둡니다. 린트는 정확히 이 사항들을 확인합니다. 하네스는 가짜 핸들러와 실제 스키마로 폼을 렌더링합니다. 다른 필드에 따라 특정 필드가 나타나거나 제출 전에 입력을 재구성하는 것처럼, 폼이 무언가를 판단할 때만 테스트를 만듭니다.
선택지를 불러오는 콤보박스도 마찬가지입니다. 공통 비동기 콤보박스로 구성하고, 직접 데이터를 가져오지 않고 읽기 핸들러에서 선택지를 받습니다. 하네스는 핸들러가 사용하는 것과 같은 가짜 백엔드 위에서 콤보박스를 렌더링합니다. 따라서 콤보박스 테스트도 핸들러 테스트처럼 읽기 핸들러의 백엔드 메서드에 응답을 설정합니다.
projects/team-member-combobox.test.tsx
it("only offers the members of the selected team", async () => {
fake.serve(Members, {
listMembers: ({ teamId }) => ({
members: teamId === "t1" ? [{ id: "ada", name: "Ada" }] : [],
}),
});
const view = renderWithHarness(<TeamMemberCombobox teamId="t1" />);
await view.open();
expect(view.options()).toEqual(["Ada"]);
expect(fake.calls(Members, "listMembers")).toMatchObject([
{ teamId: "t1" },
]);
});읽기 핸들러가 반환한 내용을 나열하기만 하는 콤보박스에는 테스트를 만들지 않습니다. 이 콤보박스는 다른 필드를 기준으로 필터링하므로 테스트가 필요합니다. 테이블 열, 엔드포인트 등 패턴 문서가 있는 다른 모든 유형에도 같은 판단 기준을 적용합니다.
모든 유형에 세 단계가 전부 필요한 것은 아닙니다. 테이블 열에는 하네스가 필요 없습니다. 문제가 생기기 쉬운 한 가지를 린트가 이미 검사하기 때문입니다. 엔드포인트는 몇 가지 공통 구현을 호출하는 한 줄짜리 코드이므로, 공통 구현만 테스트하고 얇은 호출 파일은 테스트하지 않았습니다. 일반 유틸리티 함수에는 골격 자체가 없으므로, 이전처럼 직접 테스트합니다.
모두 테스트하는 대신 체계적으로 정리하기#
유형별로 첫 작업을 마치자, 테스트는 일회성 집중 작업에서 벗어났습니다. 해당 유형의 규칙에 맞는 파일을 수정하는 사람이 테스트를 추가합니다. 규칙이 패턴 문서에 있으므로 에이전트도 골격을 익히듯 테스트 규칙을 익힙니다. 이렇게 세 단계는 에이전트가 스스로 반복하는 과정이 됩니다.
- 패턴 문서지침골격과 그 변형, 테스트가 필요한 파일을 정의합니다.
- 에이전트가 파일 작성 또는 수정골격을 따르고, 파일이 별도의 판단을 내리면 테스트를 추가합니다.
- 린트 실행피드백메시지에 파일, 줄 번호, 규칙이 나오므로 에이전트가 같은 세션에서 고칩니다.
- 공통 하네스에서 테스트 실행피드백잘못된 판단은 누군가 변경 사항을 리뷰하기 전에 행위 테스트에서 실패로 드러납니다.
- 마지막으로 사람이 리뷰올바른 변경인가요? 요청받은 변경인가요? 패턴 대조는 이미 끝났습니다.
패턴 문서는 에이전트의 지침입니다. 린트와 테스트는 에이전트의 피드백입니다. 사람은 마지막에 리뷰하며, 에이전트가 자신 있게 답하지만 제대로 답하지 못하는 질문을 던집니다. 올바른 변경인가요? 요청받은 변경인가요? 패턴 대조는 이미 끝났습니다.
좀 더 넓게 보면, 사람들이 소프트웨어 팩토리(software factory)라고 부르기 시작한 방식입니다. 에이전트는 문서화된 패턴에 따라 코드를 생산하고, 자동화된 검사는 코드 하나하나가 명세를 따르게 하며, 사람은 생산 라인에서 나오는 파일 하나하나가 아니라 생산 라인 자체를 다룹니다. 테스트는 그 라인의 한 공정이며, 가장 적은 비용으로 엄격하게 만들 수 있는 공정입니다.
에이전트는 요청 여부와 상관없이 테스트를 작성합니다. 중요한 것은 테스트가 코드베이스의 구조에 맞느냐는 점입니다. 린트는 한 유형의 모든 파일을 한 번에 검사하고, 공통 하네스는 각 테스트를 몇 줄의 시나리오로 줄이며, 문서에 적힌 규칙은 파일이 패턴을 벗어날 때만 테스트를 추가하게 합니다. 그 결과가 모든 코드를 빠짐없이 테스트하는 코드베이스는 아니며, 그럴 필요도 없습니다. 모든 파일이 패턴을 따르도록 관리되고, 존재하는 모든 테스트에 이유가 있는 코드베이스입니다.
🚀 한국어로 된 프런트엔드 아티클을 빠르게 받아보고 싶다면 Korean FE Article(https://kofearticle.substack.com/)을 구독해주세요!
![[Ykss]](/static/e1b6058af380e8a00f152aefa04db768/cbeb2/profile.jpg)