Архитекторов там хватает. Там не хватает людей, которые могут отследить все, что делают тысячи программисты в едином порыве break things, move fast. Оно, кстати, наоборот должно звучать, но на практике первая часто мотто случается "faster", чем "move".
Вот не надо! Примитивный QA таки есть. Нормального - нет, да.Vladimir Kr. wrote: 28 May 2021 02:00 причем так fast, что вчера поломали marketplace, и полдня (минимум) с андроида толком не работало.
QA automation / devops / rollback? а? не, не слышали.
То-есть не только секюрити, а примитивного quality control нету.
зато литкод и design есть!
Примитивно автоматизированный, мануал или и то и то?rx300 wrote: 28 May 2021 02:18Вот не надо! Примитивный QA таки есть. Нормального - нет, да.Vladimir Kr. wrote: 28 May 2021 02:00 причем так fast, что вчера поломали marketplace, и полдня (минимум) с андроида толком не работало.
QA automation / devops / rollback? а? не, не слышали.
То-есть не только секюрити, а примитивного quality control нету.
зато литкод и design есть!
Автоматизированный, конечно, есть. Мануальный - это по большей части "dog fooding", когда сами сотрудники тестируют билды. Есть QA, который тестирует у отдельных групп, но их мало и больше исключение, чем правило.
Увы, у интернет компаний маржа просто огромная - по-русски норма прибыли, вроде - то есть минимальными усилиями / затратами печатают бабло, фактически. Я имею в виду G & FB. Причем уверен, что если вы, например, потеряете свой gmail email - с гугла взятки гладки, не предъявишь. А если, скажем, дофига чего в гуглопоиске накроется - то большинство пользователей даже не заметит. Да, сам гугл будет терять - точнее, недополучать - много бабок, если релевантность поиска сильно снизится, но для конечного пользователя это будет малозаметно, даже если у них там 90% машин колом встанут. Поэтому и другие их продукты - вроде Андроида, Хрома и Гуглоклауда такое говно - баги оне фиксить не привыкли. Главное, собрать побольше ваших данных и направить поиск куда нужно - ну а остальная функциональность постольку-поскольку, если время останется.Vladimir Kr. wrote: 28 May 2021 02:00 причем так fast, что вчера поломали marketplace, и полдня (минимум) с андроида толком не работало.
QA automation / devops / rollback? а? не, не слышали.
То-есть не только секюрити, а примитивного quality control нету.
зато литкод и design есть!
Под мануальщиками я как раз таки имел ввиду qa. Давать мануально тестировать продукт разработчику, у которого глаз замылен, это ещё то ни ни вроде бы всегда было, но я все больше этого тренда вижу. У автоматизации вроде бы тоже все ещё есть пределы.rx300 wrote: 28 May 2021 05:03Автоматизированный, конечно, есть. Мануальный - это по большей части "dog fooding", когда сами сотрудники тестируют билды. Есть QA, который тестирует у отдельных групп, но их мало и больше исключение, чем правило.
Заметят все. Как раз такие event'ы отслеживаются лучше и эффективнее других. А вот "баги", которые могут быть annoying, а иногда критичны для пользователей, пролетают мимо автоматизации и dood fooding'а легко.M. Ridcully wrote: 28 May 2021 05:11 Представьте, что весь FB вообще на день отключат. Ну, придется кому-то вместо "ленты друзей" новости на толчке почитать, а так, поди, даже мало, кто и заметит.
Не знаю, что такое "продвинутое". Самое сложное и перспективное - это использование AI для "мануального" тестирования. Который сам находит паттерны проблем и навигацию морды сервиса. Есть подобные и для backend'а. FB, как и многие другие популярные массовые сервисы очень сильно полагаются на метрики. Во всем. Про этом, впрочем, мы уже говорили. И мониторинг багов тоже на эти самые метрики полагается. Если что-то где-то не работает, это можно выяснить по статистике активности пользователей и тригеров на определенные события.nyekimov wrote: 28 May 2021 08:03 Под мануальщиками я как раз таки имел ввиду qa. Давать мануально тестировать продукт разработчику, у которого глаз замылен, это ещё то ни ни вроде бы всегда было, но я все больше этого тренда вижу. У автоматизации вроде бы тоже все ещё есть пределы.
А что есть продвинутое тестирование? Очень интересно послушать приветовское мнение.
Ну пусть и заметят, но для юзверей доскомфорт будет минимальный - найдут какую-нить другую internet-жвачку на время.rx300 wrote: 28 May 2021 18:48Заметят все. Как раз такие event'ы отслеживаются лучше и эффективнее других.M. Ridcully wrote: 28 May 2021 05:11 Представьте, что весь FB вообще на день отключат. Ну, придется кому-то вместо "ленты друзей" новости на толчке почитать, а так, поди, даже мало, кто и заметит.
.Не совсем понял, есть ли фрэймворки AI для тестирования проблем навигации уже на мобильных клиентах? Именно при кодировании до релиза. Киньте пару названий, если они в открытом доступе.rx300 wrote: 28 May 2021 18:52Не знаю, что такое "продвинутое". Самое сложное и перспективное - это использование AI для "мануального" тестирования. Который сам находит паттерны проблем и навигацию морды сервиса. Есть подобные и для backend'а. FB, как и многие другие популярные массовые сервисы очень сильно полагаются на метрики. Во всем. Про этом, впрочем, мы уже говорили. И мониторинг багов тоже на эти самые метрики полагается. Если что-то где-то не работает, это можно выяснить по статистике активности пользователей и тригеров на определенные события.nyekimov wrote: 28 May 2021 08:03 Под мануальщиками я как раз таки имел ввиду qa. Давать мануально тестировать продукт разработчику, у которого глаз замылен, это ещё то ни ни вроде бы всегда было, но я все больше этого тренда вижу. У автоматизации вроде бы тоже все ещё есть пределы.
А что есть продвинутое тестирование? Очень интересно послушать приветовское мнение.
интересная история, поучительнаяvdfs wrote: 29 May 2021 01:28 Мы тут недавно на гугловский pubsub переползли в проде. И потеряли часть сообщений из-за бага на их стороне. Сообщения принимались, но иногда не форвардились куда надо. Бизнес пострадал очень серьезно.
Они даже не смогли нам id потерянных сообщений предоставить! Только дали примерную дату фикса.
Шухер был полный. Мы по крупицам из разных систем восстанавливали потерянное в правильной последовательности 3 дня. А вы говорите, QA. Они и не знали, что сообщения потерялись, пока от нас не услышали. То есть, алертов отлавливать такое тоже нет, хотя это ключевая функциональность продукта.
это не история, а конкретный косяк. Вот бы интересно, послушать ответственного за переезд на гугль, а заодно и архитектора этого безобразия, решившего использовать pubsub без пре-дампа. А похожих историй про спаннер нету?valchkou wrote: 29 May 2021 02:08интересная история, поучительнаяvdfs wrote: 29 May 2021 01:28 Мы тут недавно на гугловский pubsub переползли в проде. И потеряли часть сообщений из-за бага на их стороне. Сообщения принимались, но иногда не форвардились куда надо. Бизнес пострадал очень серьезно.
Они даже не смогли нам id потерянных сообщений предоставить! Только дали примерную дату фикса.
Шухер был полный. Мы по крупицам из разных систем восстанавливали потерянное в правильной последовательности 3 дня. А вы говорите, QA. Они и не знали, что сообщения потерялись, пока от нас не услышали. То есть, алертов отлавливать такое тоже нет, хотя это ключевая функциональность продукта.