Блог испытателя программного обеспечения

В Воронеже будет сертификация ISTQB - приглашаются желающие сдать экзамен.

2012-01-10T22:45:00.001+04:00

Подробности в контактиковской группе "QA в Воронеже".
Краткости:Примерно во второй половине февраля в столицу черноземья - Воронеж, планируется приезд специально обученного человека, который будет принимать экзамен на сертификат ISTQB Foundation (1 уровень мастерства).Желающих поучаствовать в сим деле, прошу отписаться в группе указанной в подробностях.

Сонный оператор?

2011-11-27T23:16:00.000+04:00

Нашел много книг по тестированию на английском языке

2011-08-09T15:39:00.001+04:00

http://bookfi.org/g/Software%20Testing

How-to: Настройка руской локали в TestLink 1.9.3 Prague

2011-07-17T23:32:00.000+04:00

1. В My Settings => locale выбрать Russian => Save
2. В apache/conf/httpd.conf параметру AddDefaultCharset выставить utf-8

После этого все ранее созданные записи на русском языке будут некорректно отображаться. Все созданные в будущем записи на русском будут отображаться корректно во всем ТестЛинке, включая дерево тестов.

Поучаствую в опен-сорц проекте в роли тестировщика

2011-07-12T12:51:00.000+04:00

С целью расширения кругозора хочу принять участие в тестировании\разработке опен-сорц проекте, либо просто фри проекте. Готов уделять >2 часа в день. Денег не надо.

У меня есть:
Ноутбук, i5, 15.6'', 4 gb ram, 1 gb graphics, xUbuntu, win7 pro
Коммуникатор, Highscreen Cosmo, android 2.2.

Я могу:
Руками тестировать функциональности сайтов, флеш контента (embedded, standalone), windows\unix приложений с графическим интерфейсом состоящим из стандартных элементов, windows online\offline игр (mmorpg, mmotbs, rpg, rts).
Скриптами autoit тестировать функциональности windows приложений с графическим интерфейсом состоящим из стандартных элементов, windows online\offline игр*.

Какие существуют сканеры упрощающие тестирование сайта?

2011-07-11T11:19:00.000+04:00

Я нашел Xenu's Link Sleuth - бесплатный сканер битых ссылок и xspider - дорогой сканер безопасности.

Fixber.com - первое впечатление.

2011-07-04T21:29:00.000+04:00

Сегодня попробовал поработать на fixber.com. Кто не знает, это биржа тестировщиков, где платят рубли за найденные баги.

Негатив:

1. Проектов мало, биржа не раскручена. В выдаче гугла Фиксбер по запросу "биржа тестировщиков" не увидел, в яндексе на 2 месте. С учетом того что конкурентов в СНГ нет, а в мире только utest. Баннер на спец. ресурсах я тоже не видел. Только пара статей на хабре.

2. Невнятные ТЗ - большинство заказчиков плохо описывают ТЗ. ТЗ могут выглядеть - найдите мне баги, или взломайте сайт. Других требований или нет, или несколько строчек. Мне приходилось додумывать за заказчика и изучать механику функционала самостоятельно, что увеличивает риск того что будут пропущены критичные баги, либо заказчик откажется от бага (не заплатит) по причине "уже знаем","не то ищите".

3. Нет "крупных" заказчиков. На первый взгляд, заказчики представляют собой маленькие стартапы и команды друзей. Это видно по подходу к делу. Плохое ТЗ, отсутствие требований и технической документации к проекту для тестировщиков, невзрачный дизайн сайтов, грубые ошибки при разработке приводящие к возможности реализовать xss и инъекции.
Я ожидал, что большинство, если не все проекты, будут уже неплохо отлажены до выхода в паблик, но, как оказалось, я ошибся.

4. Нет входного порога для тестировщиков, низкая квалификация большей части тестировщиков. Могу ошибаться, но на основной работе частью моей компетенции является координация и техническое сопровождение этапов закрытого бета-тестирования, участниками которого являются обычные смертные, так вот, я не увидел большой разницы между баг-репортом 16 летнего игрока, любителя мморпг, который имеет ничего не говорящий тайтл - типа "xss alert в странице" или "error", и описание ошибки которое можно давать в качестве загадки в "что, где, когда" и баг-репортом больше чем половины тестировщиков. Соответственно на фиксбере приятно работать только в новых проектах, где нету свалки однотипных непонятных багов.
Если бы я был заказчиком, я бы не стал создавать открытый проект в фиксбере (под проектом я имею ввиду техническое задание, под открытым - то, что любой участник системы может безвозмездно насрать в подобие баг-трекера, и заставить программиста заказчика проклинать бойца невидимого фронта). Я бы создал закрытый проект, и долго-долго отбирал бы себе адекватных, честных тестировщиков - см. следующий пункт.

5. Нет проверки указанных тестировщиком данных - я могу поставить многа-многа галочек и стану мега-тестером и если мою никчемность заметят на каком либо проекте, то об этом кроме одного заказчика никто не узнает. Т.е. отзыв от заказчика, что я обезьянка нигде не будет отображаться.

6. Я не нашел никаких соглашений о конфиденциальности. Вкупе с отсутствием проверки данных пользователей, доверить что-то серьезное из проектов или документов наврядли кто-нибудь сможет.

7. При текущем состоянии биржа не сможет заменить основную работу.

Из плюсов:

1. Адекватные для рынка цены за баги. 30 за trivial, 70 - minor, 120 - major, 250 - crit, 480 - blocker. Также можно выставлять свою цену.

2. Низкая конкуренция тестировщиков. Для заработка это плюс, для биржи - минус.

3. Приятный интуитивный дизайн биржи. Было легко разобраться как работать не читая документацию.

4. Т.к. внутри биржи не существует никаких обязательств, и с заказчиком нет личной связи, биржу можно использовать как:

а. освоение новых методов тестирования. Если что-то не получиться, никто не узнает :)

б. дополнительный заработок. 5-10тр. можно заработать за месяц, если работать.

в. а+б.

Я закончил.

Как официально называется должность тестировщика в РФ?

2011-03-02T22:50:00.000+03:00

Нашел новость о перечне должностей ИТ-специалистов в штатных расписаниях ИТ-предприятий в Беларуси, из текста которой сделал вывод что:
1. В странах существуют официальные документы содержащие в себе списки возможных для оформления должностей
2. В Беларуси тестировщики оформляются как специалисты по тестированию программного обеспечения

Возникли вопросы:
1. Есть ли такой перечень в РФ? Яндекс ничего не дал.
2. Можно ли устроится на работу в должности "специалист по сидению на стуле"? т.е. на любую формально не существующую должность.
3. В какой должности оформляются тестировщики в РФ на практике? Есть ведь много вариантов, судя по вакансиям на hh.ru: инженер по тестированию, инженер по тестированию по, специалист по тестированию по, тестер, тестировщик, тестировщик по, QA специалист, Инженер по качеству ПО, Software Tester, Инженер-тестировщик, tester, Инженер по качеству и т.п.

Сломал ногу. Где можно поработать удаленно 1 месяц?

2010-12-05T13:32:00.000+03:00

Поработать тестировщиком. Желательно не сайтов, а desktop приложений. Как я думаю, на сайтах типа "фрилансер.ру" за месяц только заработаешь репутацию. Рассматриваю utest, но мой английский далеко не разговорный.
Что скажете?

Help! Организация тестирования

2010-09-22T15:40:00.000+04:00

Тестирование игрового продукта началось за 3 месяца до збт.
В проекте 100к+ строк кода.
Я принял решение не тратить время на тест дизайн. Таким образом в течении 3ех месяцев проводилось интуитивное тестирование наиболее проблемных областей игры и позитивное тестирование часто используемых диалогов и функциональностей.

С начала ЗБТ рабочее время проходило так:

while 1
прием, воспроизведение баг-репортов бетатестеров, передача программистам, проверка качества ремонта, апдейт.
end

В итого через полгода имею:
1. 2 студента-тестировщика с опытом работы ~1 месяц
2. Полное отсутствие тестового дизайна.
3. Из п.2 следует отсутсвие тестового покрытия, а значит и невозможность сказать что функциональность #1 работает на 100%
4. Отсутствие полного регрессионного тестирования. Частичное обеспечивается смок и тест листом которые прогоняются перед каждым апдейтом клиента

Теперь вопрос:
Куда двигаться дальше?
Вижу варианты:
1. Начать заниматься дизайном. Плюсы: появятся: системность в работе, возможность составлять отчеты, тестовое покрытие. Минусы: время,время, время. Его нет.
2. Продолжать надеятся пользователей, что они найдут почти все критические ошибки и все будет хорошо. Плюсы: группа тестирования не будет оттягивать сроки релиза. Минусы: ни в чем нельзя быть уверенным. Нельзя заставить пользователя что-то сделать. Отсутствие у людей профессионализма.

В Воронеж требуется тестировщик

2010-08-25T17:13:00.000+04:00

Требования:
• игровой опыт
• общая техническая грамотность
• ответственность, внимательность
• положительный опыт участия в закрытых бета и альфа тестированиях
• грамотный письменный русский язык
• умение находить компромисс
• стрессоусточивость

Обязанности:
• ручное функциональное тестирование онлайн игры "Millidor"
• ручное регрессионное тестирование онлайн игры "Millidor"
• ручное UI тестирование онлайн игры "Millidor"
• прием, обработка, регистрация в СБТ баг-репортов пользователей
• составление и регистрация баг-репортов
• работа в системе баг-треккинга

Желательно:
• Знание методологии тестирования клиент-серверных приложений
• Опыт работы на должности тестировщика игр
• Умение составлять test-cases

Условия:
• Зарплата от 8000 рублей
• Полный рабочий день
• Офис в 5 мин. ходьбы от ост. "Кинотеатр Луч"

Контакты:
Резюме присылать на job [dog] millidor.ru
В теме указать вакансию
Тел. +7 (4732)770937

Подкасты о тестировании ч.1

2010-08-23T12:36:00.000+04:00

1. Общетестировочный подкаст. Тема: девушки в ИТ.
http://halftonine.rpod.ru/134338.html

2. Русский пересказ книжки A Practitioner's Guide to Software Test Design
http://personal-study-group.rpod.ru/126971.html
http://personal-study-group.rpod.ru/127224.html
http://personal-study-group.rpod.ru/130672.html
http://personal-study-group.rpod.ru/130673.html

3.Тестирование в Agile
http://agile.rpod.ru/120931.html

Интуитивное тестирование. Как найти хитрый баг?

2010-08-20T12:22:00.000+04:00

«Ad hoc testing is a commonly used term for software testing performed without planning and documentation»

Плюсы интуитивного тестирования:

1. «Псевдохаотичность» тестирования

Я часто слышу от людей близких к разработке ПО, но далеких от тестирования фразы типа: «все тестеры - задроты». Вероятно, такое мнение образовалось из-за того, что нам, тестировщикам, приходится большую часть времени заниматься рутинной работой, например, составление и анализ сотен однотипных тест-кейсов и последующее прохождение их, в лучшем случае, перед каждым релизом, или проведение теста приемки каждый раз когда выходит новый билд. Для такой работы характерна четкая определенность процесса тестирования, т.е. взял кейс №1, воспроизвел процедуру, поставил отметку о прохождении, взял кейс №2, и т.д. Никакого творчества и само собой шаг влево-право = расстрел.
Таким образом эта рутина не может не угнетать здоровый и молодой мозг тестировщика, который, устраиваясь на работу, прочитал в интернетах что «тестеры – люди творческие», и тут на помощь приходит эксплоринг, а именно эд хок тестирование, хаотичность которого объясняется свободным поиском багов, хочу туда кликаю, хочу сюда, а хочу и с БД балуюсь, и на первый взгляд, вот оно творчество, но не все так просто. Думаю, что любой более-менее опытный тестировщик перед началом тестирования какой-нибудь функциональности в голове составляет план тестирования и все те же тест-кейсы №1-100500, которые в другом случае были бы написаны, и только после этого приступает к работе. Этим я объясняю приставку «псевдо». Таким образом, чередование интуитивного тестирования с прохождением тест-кейсов позволяет снимать напряжение с мозга.

2. Форсированное обучение новых сотрудников

Каждый тестировщик как минимум должен знать свой проект. С приходом нового тестировщика встает вопрос: «А как его научить знать проект?». В одних компаниях тестера сразу бросают в бой – дают пару сотен кейсов на выполнение. Действительно, зачем учить, если в процедурах все и так написано. Таким образом, компания приобретает «мартышку» на 3-5 месяцев, до тех пор, пока он не пройдет большую часть тестовых комплектов. После этого тестировщик достаточно хорошо знает проект, чтобы выполнять другие функции помимо воспроизведения шагов. Давайте представим, что этот же тестировщик вместо прохождение кейсов, неделю(40-50 часов) должен будет бессистемно искать баги, там где он захочет, параллельно читая спеки и диздоки об интересующих его объектах. Уже через неделю наш тестировщик будет знать 70% от того что узнал бы проходя кейсы 3-5 месяцев.

3. Собственно основной плюс метода - возможность поиска «хитрых, коварных» багов, которые не только трудновоспроизводимы, но и неизвестно как их воспроизводить

Например, игрок пишет что у него клиент упал после изучения заклинания «Хабрахабр». Простейшая процедура воспроизведения будет выглядеть так:
1. зайти в башню магии
2. выучить заклинание «Хабрахабр»
Ожидаемый результат: клиент с грохотом упал.
Фактический результат: заклинание выучилось.

Что делать если баг не воспроизвелся, но игроку мы доверяем? Можно попросить вспомнить все, что он делал последние 15 минут до падения. 80% что он не вспомнит. Тогда остается только эд хок. Под девизом: «воспроизвести любой ценой» мы открываем клиент и штурмуем мозг всевозможными алгоритмами поведения пользователя. Итого: через 2-100 часов баг воспроизведен, а у игрока горят уши пропорционально количеству потраченных часов. А баг оказался простым, стабильное падение клиента у пользователей на компах которых установлен скайп.

Рабочий день тестировщика

2010-07-13T02:23:00.000+04:00

Идею спер на http://skitev.ru, но надо же сюда что-то писать.
Итак, почти все мои дни на работе проходят однообразно.

10:00 надо на работу, можно опоздать.
12:00 добрался до работы, коллеги не удивляются. Все давно привыкли.
12:30 закончил прием утреннего чая и завтрака. Во время приема провожу стресс тестирование мозгов команде программистов, они это не любят, но это наша работа.
14:00 закончил стресс тест. Пора обедать.
14:20 конец обеда. Надо идти работать.
14:21 с ужасом смотрю на кучу текстовых файлов на рабочем столе. Файлов 20+, все имеют название "Текстовый документ1" и так for i=+1. Смотреть на них надо для того что-бы вспомнить что вчера записал в todo на сегодня.
14:22 открываю redmine и радуюсь что тасков на мне <60, иначе расстраиваюсь и пытаюсь сплавить их на дизайнеров, аля "надо уточнить спек".
15:00 на голову надеваются наушники и решаются всякие мелочи с командой тестеровщиков-лентяев. Кстати вы заметили что через полгода пинков, тестер приобретает иммунитет, и приходится применять более болезненные методы. Например разговор о вреде курения.
17:00 закрытие отработанных тасков и просмотр новых тасков в СТБ, надо быть в курсе что вокруг делается.
18:00 время для творчества. Снимаю наушники, открываю студию и пишу всякую полезную хрень типа пакетной авторегистрации аккаунтов, иначе открываю снифер и пытаюсь запросами уронить сервер.
19:00-23:00 work end

Послушал доклад Юли Нечаевой: Тестирование игр: фан или тяжелый труд

2010-06-16T19:50:00.000+04:00

Со многим не согласен, но послушать было интересно. Правда ответить на основную тему доклада можно было проще. Как я понял, девушка выступала не перед бальзаковскими дамами, торгующими колготками и духами, а значит так сильно упрощать изложение сути не было смысла.

Если вкратце, то тестинг игрулек, на примере той же ммогрп(для инновы это la2 и айон) мало чем отличается от тестинга того же банкоПО, ERP, да и любого другого типа ПО. Есть общая методология и нехрен придумывать велосипед. Есть группа тестировщиков-задротов которые методично уничтожают план тестирования и хавают тест-кейсы. А самый опытный, так сказать груп лидер, занимается работой девушки-машинистки, т.е. пишет, пишет, пишет. Он пишет тест кейсы, пишет тест планы, пишет баг-репорты, пишет отчеты, пишет фичереквесты и по ночам ностальгирует о молодости, когда сам проходил сценарии.
Игротестер не должен быть геймером, как сказала Юлия, игротестер должен любить свою работу, этого достаточно для качественного выполнения обязанностей. А вот геймерами, как раз, должны быть геймдизайнеры, ибо они ответственны за геймплей и баланс.

Подведя итоги получается что игра это обычное приложение со специфичной логикой и красивым GUI.

В чем разница между TS и QA?

2010-06-16T17:07:00.000+04:00

Собственно хочу узнать ваше мнение. Бродя по просторам рунета понял что большинство тестировщиков нызываются себя QA специалистами, хотя test engineer и qa engineer, на мой взгляд, две разные профессии.
В моем понимании сфера QA представляется седым аналитиком с многолетний опытом тестирования, прожект менеджмента, программирования, который устанавливает правила и стандарты разработки и контроля качества ПО,составляет всякие графики развития ПО, режет в процессе одобрения неадекватные спеки и т.д.
А как вы считаете? Что делает QA специалист, а что тестировщик? Почему Обеспеченцами качества себя называют 50% рядовых тестировщиков? Почему отдел\департамент тестирования называется QA отдел, хотя в его обязанности входит только частичный контроль качества?