- 구형 폰으로 OTT 앱 테스트, TVING 만 문제
갤럭시 플립 터치 불량으로 iPhone을 고민했지만, 워치 호환성문제로 10년 된 S9+를 꺼냈습니다. 디즈니+, 넷플릭스, 쿠팡 플레이는 잘 되지만, TVING만 안드로이드 9을 지원한다는데, 로그인 조차 안되었습니다. (플립/폴더블은 2~3년 쓰기 힘들다.)
– 다른 OTT들은 다 잘 되는데 TVING 만 안되는 것이 이상해서 Play Store를 다시 들어가 보니, 평점 2.6의 위엄을 가진 앱이었습니다. (저 댓글은 내가 쓴거 아님… vs. disney: 4.4, netflix: 3.7)
2. 정말 내 폰만 안되는 걸까? 테스트 시작
“아무리 평점이 낮아도, 지원한다고 했으면 내 폰에서 로그인은 하고, 사소한 문제가 있어야지. 도대체 왜 동작 안하는거냐.”는 생각이 들었고, AWS Device Farm이 떠올랐습니다. 1000분 무료 사용이기도 해서 한번 테스트 해봤습니다.
– AWS Device Farm은 Amazon 에서 Mobile App 테스팅 서비스. iOS/Android 지원. Facebook이 사용한다고 널리 알려진 서비스.
3. Appium으로 다양한 기기 테스트
지금까지 안드로이드 테스트는 UiAutomator를 이용했는데, AWS는 Appium의 사용이 일반적인 것 같아서, Appium으로 했습니다. 확실히 UiAutomator보다 환경이 좋습니다. Test Code 검증을 위해서 미지원하는 Android 8 과 타 Android 9를 함께 동작 해보았습니다.
테스트 결과는 당연히 Android 8은 Fail (예상된 결과)이었고, Android 9를 포함해 제 기기와 유사한 Galaxy S9은 Pass였습니다. 엇. 이건 왜? 내 것만 안되는데..
4. AWS가 테스트 결과 리뷰
AWS는 꽤 많은 테스트 결과를 제공합니다. 특히 TCP Dump는 환경 구축이나 사용이 번거로운데, 이것도 지원해줍니다. 화면도 우측처럼 동영상 캡쳐를 해주고요. 로그인 테스트만 한건데, 동작을 잘합니다. 여기서 부터 혼란이 시작됐습니다. 왜 내 것만 안되는 거지?
5. 원인 발견: WebView 버전
그렇다면 OS 버젼이 아니라, WebView 버전이 문제인가 하는 생각이 들어 확인해보니, AWS Farm은 높은 버젼의 WebView이고, S9+는 81 버전 이었습니다.
1. 근데 S9+ 에서는 시스템 WebView 업데이트 메뉴를 찾을 수 없었습니다. 한참을 검색해서 아래 링크를 통해서 PC에서 설치를 했습니다.
https://play.google.com/store/apps/details?id=com.google.android.webview
2. 아파트 아이 App을 설치하면 webview 업데이트를 요청 합니다.
webview 를 업데이트 한후에는 tving 이 정상적으로 로그인 및 사용이 가능 합니다.
6. WebView 호환성 문제와 앱 완성도
WebView 버전이 문제라면.. Android 9은 지원했으니 TVING 앱은 Test Pass 일까? Android 9은 최초에 WebView 버전 66에서 시작했습니다. 그러니까 81이면 삼성에서 업데이트해서 출시해 준 것입니다. WebView가 자동 업데이트가 되긴 하지만, 저처럼 자동으로 안 되는 경우도 있습니다. 완성도 있는 앱이라면, Android9과 같이 출시된 WebView에서 동작이 되거나, 최소한 WebView 업데이트하라고 안내해줬으면 좋았을 것입니다. 하이브리드 앱인 쿠팡등이 정상적으로 로그인을 잘한것을 보면..
사용자가 원하는 것은 이런 알림이 아닐까?
이렇게 알려줘야 아. 뭐가 이상이 있구나. 하고 이해하고 넘어가지.
또한 Crash Report 수집 및 안내 기능이 있어야 할 것 같습니다. 만약 이번 문제를 TVING에 문의했으면, 아마 이런 대답: “네 저희는 Android 9 지원합니다. 고객님 환경문제로 보입니다.” 실제로는 Android 9을 지원하니까요. 하지만 실제 원인은 TVING 앱의 WebView 처리 문제였습니다.
좋은 앱이라면 Crash Report를 수집해서 어떤 환경에서 문제가 발생했는지 분석해야 합니다. 오류 메시지라도 표시하거나, 다양한 기기와 OS 버전에서 테스트를 했어야 했습니다. “Android 9 지원”이라는 것은 단순히 OS 버전(API)만 의미하는 것이 아니라, 그 OS 버전의 다양한 환경까지 고려해야 합니다.
7. AWS Device Farm 사용 후기
– AWS Device Farm은 정말 훌륭합니다. 여러 제조사(삼성, LG, 구글 등)의 다양한 기기에서 테스트할 수 있습니다. 특정 제조사의 커스텀 UI 영향도 확인할 수 있습니다.
– 속도도 꽤 빠르고, 이 수준의 인프라를 구축하려면 (핸드폰 관리, 연결 유지, 비디오, TCP dump 등) 꽤 많은 비용이 듭니다. 특히 테스트 결과 UX가 상당히 현대적이어서 좋습니다
– 아쉬운 점이 있다면, Xiaomi, Sony까지는 있지만 OPPO 등 다른 브랜드 제품도 지원했으면 합니다.
– AWS Device Farm에서 로그인 테스트를 하면 아래처럼 메일이 옵니다. 여러 장비를 동시에 돌리니 엄청난 퍼펙트 스톰 메일이 쏟아집니다.
8. AWS Device Farm 설정 방법
아래는 AWS 설정 부분입니다. 간단히 클릭만 하면 됩니다. 테스트 코드와 APK만 업로드하면 바로 테스트가 시작됩니다. 안드로이드는 약 100개 정도의 모델이 지원됩니다.
