[행사] Naver Tech Concert Day-2 06

2019. 1. 14. 14:54

Naver Tech Concert Day-2

06. 자동화, 계륵에 살 붙이기 : Evolution of Android Automation Test

발표자 : 송의초경 (N Tech Service/ Contents QA)
동영상 : https://tv.naver.com/v/4635492/list/272653
슬라이드 : https://www.slideshare.net/NaverEngineering/26-evolution-of-android-automation-test
세션설명 : QA 담당자들에겐 계륵과 같았던 자동화 테스트의 라이브러리를 구현하고 실질적인 효과를 볼 수 있도록 문제점들을 보완하기 위해 개발한 EventChecker와 rMon의 개편 히스토리입니다.

1. UI Test Automation

2. Automation Library

3. Android Event Check

4. Resource Monitoring

UI Automation Test
Automation Library
Android Event Checker
Resource Monitoring

UI Automation Test

사용자의 테스트 동작 중 화면상의 마우스 동작, 키보드 입력 등을 자동화 수행이 가능한 script 형태로 변환하여 이후 동일한 형태로 Replay 함으로써 Regression Test 를 지원하는 테스트 자동화 방식

단순하고 반복적인 테스트
유지보수 기간 길어질수록 Test Case도 많아짐
Side-effect 확인을 위한 회귀 테스트 (작은 수정에도 전체 확인이 가능)

N Tech Service에서의 히스토리

Calabash, ADB, Sikuri, Appium, BDD 방식을 활용한 자동화 사례
Uiautomator Stub 활용한 멀티 디바이스 제어 자동화 사례
WebKuli(NTS 자체 제작) 적용사례

자동화 결과는 좋지 않았음.

이슈를 실제 검출하는 경우도 적고 프로젝트 유지가 오래된 케이스도 저었음.

기대에 미치치 못하는 Test Coverage
Tool 이해도 부족
자동화 구현 및 유지보수 공수 상승 (리소스 절감을 위해 도입했다 더 리소스가 투입된 경우도 있음)
정보 공유 부족

Automation Library

표준화 및 규칙화를 위해 라이브러리 제작.

제작 당시 안드로이드 프레임워크 비교 후 Appium을 선택함.

public class TestClass {
    public AppiumDriver<WebElement> driver;
    
    @BeforeClass
    public void setup() throws Exceptiom {
        // 플랫폼, 단말기 정보,테스트 타켓 패키지 정보
        DesiredCapabilities capabilities = new DesiredCapabilities();
        capabilities.setCapability(MobileCapabilityType.PLATFORM_NAME, "Android");
        capabilities.setCapability(MobileCapabilityType.UDID, "UDID");
        capabilities.setCapability(MobileCapabilityType.PLATFORM_VERSION, "platform-version");
        capabilities.setCapability(MobileCapabilityType.AUTOMATION_NAME, "UIAutomator2");
        capabilities.setCapability(AndroidMobileCapabilityType.APP_PACKAGE, "package");
        capabilities.setCapability(AndroidMobileCapabilityType.APP_ACTIVITY, "launchable-activity");
        
        // 안드로이드 드라이버 형성
        driver = new AppiumDriver<WebElement>(new URL("http://127.0.0.1:4723/wd/hub"), capabilities);
        driver.manage().timeouts().implicitlyWait(15, TimeUnit.SECONDS);
    }
    
    @Test
    public void scenario_01() {
        // 동작 제어
        driver.findElement(By.id("tv_home_weekly_schedule_title")).click();
    }
    
    @Test
    public void scenario_02() {
        // 동작 제어
        driver.findElement(By.xpaht("//*[@text='요일별 연재']")).isDisplayed();
    }
    
    @AfterClass
    public void quit() {
        driver.quit();
    }
}

라이브러리 제작 전 고려사항

자동화 테스트 환경 Setting (환경 일원화)
자동화 구현 패턴 표준화 (스크립트 작성에 대한 표준화)
Appium Client API의 사용성 (가독성 높이고 타이밍 이슈에 대한 부분 커스텀마이징 추가)
객관적 지표 산출

구성

Appium Server Builder
Appium Client Utilities
Report

public class TestClass extends Formatter {
    public AndroidUtil android;
    
    @BeforeClass
    public void setup() {
        android = (AndroidUtil) new Automation()
            .android()
            .mobileApp()
            .apkFile("apkPath")
            .packageName("Package_Name")
            .activityName("Activity_Name")
            .logLevel("loglevel")
            .start());            
    }
    
    @Test
    public void scenario_01() {
        android.click(By.id("tv_home_weekly_schedule_title"));
    }
    
    @Test
    public void scenario_02() {
        android.isElelmentPresent(By.xpath("//*[@text='요일별 연재']"));
    }
    
    @AfterClass
    public void quit() {
        android.quit();
    }
}

위처럼 커스텀하여 사용하며 운영도 실제 진행함.

UI 자동화 테스트 자체적으로 발생하는 이슈들 생김

UI Assertion 대한 신뢰성
- 음악 스트리밍 앱에서 재생 중인지?
- Audio Focus는 가져왔는지?
자동화 시나리오 진행 중 안정성 문제
- 자동화 테스트 중 Interrupt (SMS, Call 등)
- 알 수 없는 간헐적 Fail Result

Android Event Checker

Event Checker

Log 출력 방식
Monitoring Start/Stop
Event Log

구조

Service
Command
Broadcast Receiver
Sensor : 기울기 센서를 이용하여 orientation 전환 확인
Audio Focus, Audio Manager : Audio Focus 선점 및 Audio 재생 확인
Notification Listener : Application Notification 정보 수집

약 30개 Event, 80개 Log

위와 같이 UI만 확인하던 UI 테스트에 기능적인 부분도 추가함.

Resource Monitoring

동일 스텝
동일 시간
반복적

rMon Mobile Version

Battery 소모량
CPU 사용률
Memory 사용량
발생 Traffic

rMon을 이용하여 앱을 켜둔 상태에서 테스트하며 성능 리포트를 남기게 함.

(Android 5.1.1 이후 사용 불가. rMon이 CPU나 Memory를 앱의 pid에 접근해야해서 불가됨.)

rMon PC Version

Android 5.1.1 이후 대응을 위해 PC 버전으로 adb 기반으로 제작.

ADB를 활용한 Resource 측정 방식
Android Application의 소모 CPU, Memory, Traffic 측정
Android 단말기 내부에 rMon 명령어 추가
ADB > rMon 명령어 호출하여 리소스 데이터 수집

Android Automation Test

GitLab으로 Automation Test Project 관리
CI 서버를 통해 Daily Build 수행 (서버 이슈, 컨텐츠 이슈, 로그인/댓글 같은 부분 배포로 인한 이슈 확인 용. 출근 후 확인)

Maver Repository -> Coding -> Code Respository -> CI 서버 -> Target Device -> Result Report

nMobile

https://solution.navercorp.com/nmobile/

모바일 기기 원격 제어 솔루션

화면 제어, 디버깅 등
Real Time에 가까운 응답속도
실제 단말과 동일한 사용감 제공

nMobile 자동화 연동시 장점

가상 단말 아닌 리얼 디바이스 대상 수행 가능
다양한 단말 보유 (버전 별, 제조사 별, 국가 별)
ADB 연결 가능 / 다양한 API 지원
물리적인 연결 없이 접근 가능 / 사용 용이성

PC Browser & iOS

nMobile Android 단말과 실제 iOS 단말, PC 크롬에서 채팅 네이버 카페 채팅방 테스트 가능

Step1 nMobile Android 단말기 실행 및 연결
Step2 nMobile Android 단말에서 Cafe 앱 실행
Step3 실제 iOS 단말에서 Cafe 앱 실행
Step4 PC에서 Chrome 실행 및 Cafe 홈페이지 진입
Step5 PC웹 및 Android/iOS 앱에서 테스트 대상 카페 진입
Step6 PC웹 및 Android/iOS 앱에서 테스트 대상 카페 채팅방 진입
Step7 각 플랫폼에서 채팅 입력 후 다른 플랫폼에서 전송된 채팅 확인 및 답장
Step8 연결 종료

Result

Library를 이용한 안정적인 자동화 프로젝트 생성
외부 인터럽트 및 기능 Assertion에 대한 단점 보완
자동화 특성 반영 Resource Monitoring

Q & A

Q : 네이버는 자동화 테스트와 QA 인력들의 수동 테스트 둘다 진행하는지?

A : 둘 다 진행함. 자동화 테스트를 한다고 비용이 절감되지 않고 증대되는 듯. 사람과 자동화와 서로 교차 테스트 됨으로 해결되는 부분들이 잇음.

Q : 라이브러리 제작 시간은?

A : 2016년도 제작하면서 각자 QA 담당하면서 시간 쪼개서 만든 것임. 제작에 전적으로 시간 투자하면 빨리 가능할 듯.

Q : Appium이 iOS도 지원하지만 앱 내부 구조가 다를텐데 따로 스크립트를 작성하는지?

A : 동일한 기능에도 따로 작성함. iOS는 아직은 자동화 테스트 구현에 어려움이 있음.

Q : 자동화된 UI 테스트가 라이브 서비스의 패포 파이프라인에 포함이 되어 테스트 통과가 되어야 배포가 되는것인지?

A : 그렇지 않음. 개발자들이 유닛 테스트들을 별도로 따로 작성 후 확인하고, 자동화 테스트는 QA에서만 사용.

Q : nMobile은 리얼 디바이스처럼 와이파이 환경일때나 모바일 네트워크 환경일 때, 또는 유심이 들어있는 상황에서만 할 수 있는 상황도 연출이 가능한지?

A : 그런 상황들도 테스트 가능함.

Q : CI/CD는 어떻게 하는지?

A : CI 서버는 따로 두고 젠킨스로 있음.

Q : 자동화 테스트 툴을 오픈할 계획이 있는지?

A : 아직 오픈되진 않았음.

Q : 테스트 시나리오 작성시 사용자 행위로 서버에 변경되어 저장될 수 있는 케이스는 어떻게 처리하는지?

A : 서버까지는 확인이 불가하며, 노출되는 텍스트 등으로 확인 정도까지만.

Q : QA에 개발 인력도 소속되어 별도의 자동화를 위한 개발이 이루어지는 것인지?

A : 따로 개발인력이 있지 않음. 몇몇의 QA 인력들이 모여 만듬.

Q : 실제 기능 구현 개발자는 자동화 테스트 코드를 작성하지 않는지?

A : 직접 작성하는 개발자도 있지만 많이는 없는 듯. 시간이 많이 들기 때문에.

Q : 리소스가 부족한 소규모 사업장, 1인 개발자 들이 UI 자동화 테스트에 접근하려 할 때 좋은 방법은?

A : Appium을 직접 커스텀하여 만들었지만 이를 커스텀화한 서비스들이 이미 있음. 그걸 이용하면 좋을 듯.

Q : Jira 같은 서비스를 이용해서 각각의 이슈를 만드는지? 별도의 QA 시트를 만들어서 빨리 전달하는지?

A : 지라를 이용하여 이슈 공유함. 깃헙을 사용하기도 함. 개발자와 협의해서 사용함. 별도의 QA 시트도 작성하고 테스트케이스도 작성하여 진척도를 메일로 공유하는 등 같이 사용함.

Q : 국가 변경 등 보통 개발자 옵션 페이지 등으로 접근하는 경우도 범용적으로 사용 가능한 노하우가 있는지?

A : 개발서버에서 테스트하기 때문에 특정 언어를 바꾸거나, nMobile에서 제공하는 다른나라 단말 등을 사용함.

'IT > 행사' 카테고리의 다른 글

[행사] Naver Tech Concert Day-2 요약 (0)	2019.01.14
[행사] Naver Tech Concert Day-1 요약 (0)	2019.01.14
[행사] Naver Tech Concert Day-2 05 (0)	2019.01.14
[행사] Naver Tech Concert Day-2 04 (0)	2019.01.14
[행사] Naver Tech Concert Day-2 03 (0)	2019.01.14

무근본 개발자