Содержание

• Подготовка вашего набора данных
• Получите бесплатную пробную версию Google Cloud Platform
• Создать новый проект GCP
• Включить облачный AutoML и API-интерфейсы хранилища
• Создать хранилище Cloud Storage
• Время тренироваться: Создание набора данных
• Обучение вашей модели машинного обучения
• Насколько точна ваша модель?
• Проверь свою модель!
• Завершение

Машинное обучение (ML) - это научная концепция компьютерного обучения. В ML вы предоставляете некоторые данные, представляющие тип контента, который вы хотите, чтобы модель машинного обучения обрабатывала автоматически, а затем модель обучает себя на основе этих данных.

Машинное обучение может быть передовым, но оно также имеет огромный барьер для входа. Если вы хотите использовать любой вид ML, то вам, как правило, нужно будет нанять специалиста по машинному обучению или специалиста по данным, и обе эти профессии в настоящее время очень востребованы!

Облачное AutoML Vision от Google - это новая услуга машинного обучения, цель которой - донести ML до широких масс, позволяя создать модель машинного обучения, даже если у вас нулевой опыт ML. Используя Cloud AutoML Vision, вы можете создать модель распознавания изображений, способную идентифицировать контент и шаблоны на фотографиях, а затем использовать эту модель для автоматической обработки последующих изображений.

Этот вид визуального ML можно использовать по-разному. Хотите создать приложение, которое предоставляет информацию об ориентире, продукте или штрих-коде, на который пользователь указывает свой смартфон? Или вы хотите создать мощную поисковую систему, которая позволит пользователям фильтровать тысячи продуктов на основе таких факторов, как материал, цвет или стиль? Машинное обучение все чаще становится одним из наиболее эффективных способов предоставления такого рода функциональных возможностей.

Хотя он все еще находится в бета-версии, вы уже можете использовать Cloud AutoML Vision для создания пользовательских моделей машинного обучения, которые идентифицируют шаблоны и контент на фотографиях. Если вы хотите узнать, о чем идет речь в машинном обучении, то в этой статье я покажу вам, как создать собственную модель распознавания изображений, а затем использовать ее для автоматической обработки новых фотографий.

Подготовка вашего набора данных

При работе с Cloud AutoML вы будете использовать помеченные фотографии в качестве наборов данных. Вы можете использовать любые фотографии или ярлыки, которые вам нравятся, но для упрощения этого урока я создам простую модель, которая может различать фотографии собак и фотографии кошек.

Независимо от специфики вашей модели, первым шагом будет поиск подходящих фотографий!

Для Cloud AutoML Vision требуется не менее 10 изображений на этикетку или 50 для продвинутых моделей, например моделей, в которых они будут иметь несколько этикеток на изображение. Однако чем больше данных вы предоставляете, тем выше шансы модели правильно идентифицировать последующее содержимое, поэтому в документах AutoML Vision рекомендуется использовать как минимум 100 примеров на модель. Вы также должны предоставить примерно такое же количество примеров для каждого ярлыка, так как несправедливое распространение будет побуждать модель демонстрировать уклон в сторону наиболее «популярной» категории.

Для получения наилучших результатов ваши тренировочные изображения должны представлять собой множество изображений, с которыми столкнется эта модель, например, вам может потребоваться включить изображения, сделанные под разными углами, с более высоким и низким разрешением и с разным фоном. AutoML Vision принимает изображения в следующих форматах: JPEG, PNG, WEBP, GIF, BMP, TIFF и ICO с максимальным размером файла 30 МБ.

Поскольку мы просто экспериментируем со службой Cloud AutoML Vision, скорее всего, вы захотите создать набор данных как можно быстрее и проще. Чтобы упростить задачу, я буду загружать кучу бесплатных стоковых фотографий собак и кошек от Pexels, а затем хранить фотографии кошек и собак в отдельных папках, поскольку это облегчит их загрузку в дальнейшем.

Обратите внимание, что при создании наборов данных для использования в производстве вы должны принимать во внимание ответственную практику AI, чтобы помочь предотвратить нанесение ущерба. Для получения дополнительной информации по этой теме ознакомьтесь с документами Google Inclusive ML Guide и Responsible AI Practices.

Существует три способа загрузки ваших данных в AutoMl Vision:

• Загрузите изображения, уже отсортированные в папки, которые соответствуют вашим ярлыкам.
• Импортируйте файл CSV, содержащий изображения, а также соответствующие ярлыки категорий. Вы можете загрузить эти фотографии с локального компьютера или из облачного хранилища Google.
• Загрузите изображения с помощью пользовательского интерфейса Google Cloud AutoML Vision, а затем примените ярлыки к каждому изображению. Это метод, который я буду использовать в этом уроке.

Получите бесплатную пробную версию Google Cloud Platform

Чтобы использовать Cloud AutoML Vision, вам потребуется учетная запись Google Cloud Platform (GCP). Если у вас нет учетной записи, вы можете подписаться на 12-месячную бесплатную пробную версию, перейдя на бесплатную страницу Try Cloud Platform и следуя инструкциям. Вы воля Вам необходимо ввести данные своей дебетовой или кредитной карты, но в соответствии с часто задаваемыми вопросами о бесплатном уровне они просто используются для подтверждения вашей личности, и вы не будете платить, если не перейдете на платный аккаунт.

Другое требование заключается в том, что вы должны включить выставление счетов для вашего проекта AutoML. Если вы только что подписались на бесплатную пробную версию или у вас нет платежной информации, связанной с вашей учетной записью GPC, то:

• Пройдите к консоли GCP.
• Откройте меню навигации (значок с подкладкой в ​​левом верхнем углу экрана).
• Выберите «Биллинг».
• Откройте раскрывающееся меню «Мои платежи», а затем «Управление учетными записями».
• Выберите «Создать учетную запись» и следуйте инструкциям на экране, чтобы создать профиль оплаты.

Создать новый проект GCP

Теперь вы готовы создать свой первый проект Cloud AutoML Vision:

• Перейдите на страницу управления ресурсами.
• Нажмите «Создать проект».
• Дайте вашему проекту имя, а затем нажмите «Создать».

Если у вас есть несколько учетных записей, GCP должна спросить, какую учетную запись вы хотите связать с этим проектом. Если у вас есть один платежный аккаунт а также вы являетесь администратором биллинга, и эта учетная запись будет автоматически связана с вашим проектом.

Кроме того, вы можете выбрать платежный аккаунт вручную:

• Откройте навигационное меню консоли GCP и выберите «Оплата».
• Выберите «Связать платежный аккаунт».
• Выберите «Установить учетную запись», а затем выберите платежную учетную запись, которую вы хотите связать с этим проектом.

Включить облачный AutoML и API-интерфейсы хранилища

При создании модели вы будете хранить все свои тренировочные образы в облачном хранилище, поэтому нам нужно включить AutoML а также API Google Cloud Storage:

• Откройте навигационное меню GCP и выберите «API & Services> Dashboard».
• Нажмите «Включить API и сервисы».
• Начните вводить «Cloud AutoML API», а затем выберите его, когда он появится.
• Выберите «Включить».
• Вернитесь к экрану «APIs и службы> Панель инструментов> Включить API и службы».
• Начните вводить «Облачное хранилище Google» и выберите его, когда оно появится.
• Выберите «Включить».

Создать хранилище Cloud Storage

Мы создадим нашу корзину Cloud Storage, используя Cloud Shell, которая представляет собой виртуальную виртуальную машину на базе Linux:

• Выберите значок «Активировать Google Cloud Shell» в строке заголовка (где курсор расположен на следующем снимке экрана).

• Сеанс Cloud Shell теперь откроется в нижней части консоли. Подождите, пока Google Cloud Shell подключится к вашему проекту.
• Скопируйте / вставьте следующую команду в Google Cloud Shell:

PROJECT = $ (проект получения значения gcloud config) && BUCKET = "$ {PROJECT} -vcm"

• Нажмите клавишу «Ввод» на клавиатуре.
• Скопируйте / вставьте следующую команду в Google Cloud Shell:

gsutil mb -p $ {PROJECT} -c региональный -l us-central1 gs: // $ {ВЕДРО}

• Нажмите клавишу «Ввод».
• Предоставьте сервису AutoML разрешение на доступ к ресурсам Google Cloud, скопировав / вставив следующую команду, а затем нажав клавишу «Ввод»:

PROJECT = $ (проект получения значения gcloud) gcloud проектирует привязку add-iam-policy $ PROJECT --member = "serviceAccount: [email protected]" --role = "role / ml. admin "привязка add-iam-политик для проектов gcloud $ PROJECT --member =" serviceAccount: [email protected] " --role =" role / storage.admin "

Время тренироваться: Создание набора данных

Благодаря этой настройке мы готовы загрузить наш набор данных! Это включает в себя:

1. Создание пустого набора данных.
2. Импорт фотографий в набор данных.
3. Назначение хотя бы одного ярлыка для каждой фотографии. AutoML Vision будет полностью игнорировать любые фотографии, на которых нет ярлыка.

Чтобы облегчить процесс маркировки, я собираюсь загрузить и пометить все фотографии моих собак, прежде чем приступить к работе с фотографиями кошек:

• Перейдите к интерфейсу AutoML Vision (все еще находился в стадии бета-версии на момент написания статьи).
• Выберите «Новый набор данных».
• Дайте вашему набору данных описательное имя.
• Нажмите «Выбрать файлы».
• В следующем окне выберите все фотографии вашей собаки и нажмите «Открыть».
• Поскольку на наших изображениях не более одной метки, мы можем оставить флажок «Включить классификацию по нескольким меткам». Нажмите «Создать набор данных».

После завершения загрузки пользовательский интерфейс Cloud AutoML Vision выведет вас на экран со всеми вашими изображениями, а также с разбивкой всех меток, которые вы применили к этому набору данных.

Поскольку наш набор данных в настоящее время содержит только изображения собак, мы можем пометить их в массовом порядке:

• В левом меню выберите «Добавить ярлык».
• Введите «собака», а затем нажмите клавишу «Ввод» на клавиатуре.
• Нажмите «Выбрать все изображения».
• Откройте раскрывающийся список «Метка» и выберите «собака».

Теперь мы пометили все наши фотографии собак, пора перейти к фотографиям кошек:

• Выберите «Добавить изображения» в строке заголовка.
• Выберите «Загрузить с вашего компьютера».
• Выберите все фотографии вашей кошки и нажмите «Открыть».
• В левом меню выберите «Добавить ярлык».
• Введите «кошка», а затем нажмите клавишу «Enter» на клавиатуре.
• Пройдите и выберите каждую фотографию кошки, наведя курсор на изображение и затем щелкнув маленькую галочку, когда она появится.
• Откройте раскрывающийся список «Метка» и выберите «Cat».

Обучение вашей модели машинного обучения

Теперь у нас есть набор данных, пора тренировать нашу модель! Вы получаете один вычисление час бесплатного обучения для каждой модели максимум для 10 моделей в месяц, что представляет собой внутреннее использование вычислений и, следовательно, может не соответствовать фактическому часу на часах.

Чтобы обучить вашу модель, просто:

• Выберите вкладку «Поезд» пользовательского интерфейса AutoML Vision.
• Нажмите «Начать обучение».

Время, необходимое Cloud AutoML Vision для обучения вашей модели, будет зависеть от объема предоставленных вами данных, хотя, согласно официальным документам, это займет около 10 минут. Как только ваша модель будет обучена, Cloud AutoML Vision автоматически развернет ее и отправит электронное письмо с уведомлением о том, что ваша модель готова к использованию.

Насколько точна ваша модель?

Прежде чем тестировать свою модель, вы можете внести некоторые изменения, чтобы ее прогнозы были максимально точными.

Выберите вкладку «Оценка», а затем выберите один из ваших фильтров в левом меню.

На этом этапе пользовательский интерфейс AutoML Vision будет отображать следующую информацию для этой метки:

• Порог оценки. Это уровень доверия, которым должна обладать модель, чтобы назначить ярлык новой фотографии. Вы можете использовать этот ползунок, чтобы проверить влияние различных пороговых значений на ваш набор данных, отслеживая результаты на прилагаемом графике точного отзыва. Более низкие пороговые значения означают, что ваша модель будет классифицировать больше изображений, но существует повышенный риск неверного определения фотографий. Если порог высокий, то ваша модель будет классифицировать меньше изображений, но при этом она должна также неправильно идентифицировать меньшее количество изображений.
• Средняя точность Это то, насколько хорошо ваша модель справляется со всеми пороговыми значениями, при этом максимальная оценка составляет 1,0.
• Точность. Чем выше точность, тем меньше ложных срабатываний вы должны встретить, и именно здесь модель применяет неправильную метку к изображению. Высокоточная модель будет маркировать только самые актуальные примеры.
• Отзыв. Вспомним, что из всех примеров, которым нужно было присвоить метку, мы знаем, сколько из них фактически было присвоено метке. Чем выше процент отзыва, тем меньше ложных негативов вы должны встретить, и именно в этом случае модель не может маркировать изображение.

Проверь свою модель!

Теперь самое интересное: проверить, может ли ваша модель определить, содержит ли фотография собаку или кошку, с помощью прогноза, основанного на данных, которых она раньше не видела.

• Возьмите фото, которое не было включены в ваш исходный набор данных.
• В консоли AutoML Vision выберите вкладку «Прогноз».
• Выберите «Загрузить изображения».
• Выберите изображение для анализа AutoML Vision.
• Через несколько секунд ваша модель сделает свой прогноз - надеюсь, это правильно!

Обратите внимание, что пока Cloud AutoML Vision находится в стадии бета-тестирования, может быть задержка прогрева вашей модели. Если ваш запрос возвращает ошибку, подождите несколько секунд, прежде чем повторить попытку.

Завершение

В этой статье мы рассмотрели, как вы можете использовать Cloud AutoML Vision для обучения и развертывания пользовательской модели обучения. Считаете ли вы, что такие инструменты, как AutoML, могут привлечь больше людей, использующих машинное обучение? Дайте нам знать в комментариях ниже!