Добавьте новогоднюю шапку на аватар с помощью Python

задняя часть Python модульный тест OpenCV

введение

С приходом Рождества все пользователи @official WeChat добавили к своему аватару рождественскую шапку. Конечно, такого рода вещи можно сделать с большим количеством программного обеспечения P-map. Но как технический специалист, изучающий обработку изображений, я все же считаю, что для этого нужно написать программу. А это можно использовать как небольшой проект для тренировки рук, нагрузка не большая, а очень интересно.

используемые инструменты

  • OpenCV (в конце концов, наш основной контент — OpenCV...)

  • dlib (в предыдущей статье только что говорилось, что распознавание лиц в dlib лучше, чем в OpenCV, а в dlib есть обнаружение ключевых точек, которых нет в OpenCV.)

Используемый язык — Python. Но его можно полностью поменять на C++ версию, а время ограничено, поэтому писать не буду. Заинтересованные друзья могут использовать его для тренировки рук.

Процесс

1. Подготовка материала

В первую очередь нам нужно подготовить материал для новогодней шапки.Формат желательно PNG, потому что мы можем напрямую использовать альфа-канал как маску для PNG. Рождественские шапки, которые мы использовали, следующие:

Мы можем получить альфа-канал изображения шляпы Санты путем разделения каналов. код показывает, как показано ниже:

    

  1. r,g,b,a = cv2.split(hat_img) 
    2. 

  2. rgb_hat = cv2.merge((r,g,b))
    3. 

    4. 

  4. cv2.imwrite("hat_alpha.jpg",a)
    5. 

скопировать код

Чтобы иметь возможность работать с изображением аватара канала rgb, мы объединяем три канала rgb в изображение шляпы цвета rgb. Изображение с альфа-каналом показано на изображении ниже.

2. Обнаружение лиц и обнаружение ключевых точек лица

Мы используем изображение ниже в качестве нашего тестового изображения.

Затем мы используем фронтальный детектор лица dlib для обнаружения лиц и используем модель, предоставленную dlib, для выделения пяти ключевых точек лица. код показывает, как показано ниже:

    

  1.     # dlib人脸关键点检测器
    2. 

  2.     predictor_path = "shape_predictor_5_face_landmarks.dat"
    3. 

  3.     predictor = dlib.shape_predictor(predictor_path)  
    4. 

    5. 

  5.     # dlib正脸检测器
    6. 

  6.     detector = dlib.get_frontal_face_detector()
    7. 

    8. 

  8.     # 正脸检测
    9. 

  9.     dets = detector(img, 1)
    10. 

    11. 

  11.     # 如果检测到人脸
    12. 

  12.     if len(dets)>0:  
    13. 

  13.         for d in dets:
    14. 

  14.             x,y,w,h = d.left(),d.top(), d.right()-d.left(), d.bottom()-d.top()
    15. 

  15.             # x,y,w,h = faceRect  
    16. 

  16.             cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2,8,0)
    17. 

    18. 

  18.             # 关键点检测，5个关键点
    19. 

  19.             shape = predictor(img, d)
    20. 

  20.             for point in shape.parts():
    21. 

  21.                 cv2.circle(img,(point.x,point.y),3,color=(0,255,0))
    22. 

    23. 

  23.             cv2.imshow("image",img)
    24. 

  24.             cv2.waitKey()  
    25. 

скопировать код

Эффект от этой части следующий:

3. Отрегулируйте размер шапки

Мы выбираем точки двух уголков глаз и находим центр в качестве опорной координаты в направлении x, где находится шляпа, а координата направления y представлена ​​​​координатой y на линии лица. Рамка. Затем мы настраиваем размер шляпы в соответствии с размером лица, обнаруженным при обнаружении лица, чтобы размер шляпы был подходящим.

    

  1.             # 选取左右眼眼角的点
    2. 

  2.             point1 = shape.part(0)
    3. 

  3.             point2 = shape.part(2)
    4. 

    5. 

  5.             # 求两点中心
    6. 

  6.             eyes_center = ((point1.x+point2.x)//2,(point1.y+point2.y)//2)
    7. 

    8. 

  8.             # cv2.circle(img,eyes_center,3,color=(0,255,0))  
    9. 

  9.             # cv2.imshow("image",img)
    10. 

  10.             # cv2.waitKey()
    11. 

    12. 

  12.             #  根据人脸大小调整帽子大小
    13. 

  13.             factor = 1.5
    14. 

  14.             resized_hat_h = int(round(rgb_hat.shape[0]*w/rgb_hat.shape[1]*factor))
    15. 

  15.             resized_hat_w = int(round(rgb_hat.shape[1]*w/rgb_hat.shape[1]*factor))
    16. 

    17. 

  17.             if resized_hat_h > y:
    18. 

  18.                 resized_hat_h = y-1
    19. 

    20. 

  20.             # 根据人脸大小调整帽子大小
    21. 

  21.             resized_hat = cv2.resize(rgb_hat,(resized_hat_w,resized_hat_h))
    22. 

скопировать код

В-четвертых, извлеките шляпу и область, где ее нужно добавить.

Как и прежде, переходим к альфа-каналу в качестве маски. и просить об обратном. Одна из этих двух масок используется для удаления области шляпы на изображении шляпы, а другая используется для очистки области, где шляпа должна быть заполнена на изображении персонажа. Вы увидите позже.

    

  1.             # 用alpha通道作为mask
    2. 

  2.             mask = cv2.resize(a,(resized_hat_w,resized_hat_h))
    3. 

  3.             mask_inv =  cv2.bitwise_not(mask)
    4. 

скопировать код

Удалите область, где нужно добавить шляпу, из исходного изображения, здесь мы используем битовую операцию.

    

  1.             # 帽子相对与人脸框上线的偏移量
    2. 

  2.             dh = 0
    3. 

  3.             dw = 0
    4. 

  4.             # 原图ROI
    5. 

  5.             # bg_roi = img[y+dh-resized_hat_h:y+dh, x+dw:x+dw+resized_hat_w]
    6. 

  6.             bg_roi = img[y+dh-resized_hat_h:y+dh,(eyes_center[0]-resized_hat_w//3):(eyes_center[0]+resized_hat_w//3*2)]
    7. 

    8. 

  8.             # 原图ROI中提取放帽子的区域
    9. 

  9.             bg_roi = bg_roi.astype(float)
    10. 

  10.             mask_inv = cv2.merge((mask_inv,mask_inv,mask_inv))
    11. 

  11.             alpha = mask_inv.astype(float)/255
    12. 

    13. 

  13.             # 相乘之前保证两者大小一致（可能会由于四舍五入原因不一致）
    14. 

  14.             alpha = cv2.resize(alpha,(bg_roi.shape[1],bg_roi.shape[0]))
    15. 

  15.             # print("alpha size: ",alpha.shape)
    16. 

  16.             # print("bg_roi size: ",bg_roi.shape)
    17. 

  17.             bg = cv2.multiply(alpha, bg_roi)
    18. 

  18.             bg = bg.astype('uint8')
    19. 

скопировать код

Это фоновая область (bg), как показано ниже. Видно, что область, которую нужно заполнить шляпой, отсутствует.

Затем мы извлекаем область шляпы.

    

  1.             # 提取帽子区域
    2. 

  2.             hat = cv2.bitwise_and(resized_hat,resized_hat,mask = mask)
    3. 

скопировать код

Извлеченная область шляпы показана на рисунке ниже.Область шляпы просто дополняет предыдущую фоновую область.

5. Добавьте новогоднюю шапку

Наконец, мы добавляем две области. Верните его к исходному изображению, и вы сможете получить изображение новогодней шапки, которое нам нужно. Здесь следует отметить, что измените размер перед добавлением, чтобы убедиться, что они имеют одинаковый размер, потому что это может быть несовместимым из-за округления.

    

  1.             # 相加之前保证两者大小一致（可能会由于四舍五入原因不一致）
    2. 

  2.             hat = cv2.resize(hat,(bg_roi.shape[1],bg_roi.shape[0]))
    3. 

  3.             # 两个ROI区域相加
    4. 

  4.             add_hat = cv2.add(bg,hat)
    5. 

  5.             # cv2.imshow("add_hat",add_hat) 
    6. 

    7. 

  7.             # 把添加好帽子的区域放回原图
    8. 

  8.             img[y+dh-resized_hat_h:y+dh,(eyes_center[0]-resized_hat_w//3):(eyes_center[0]+resized_hat_w//3*2)] = add_hat
    9. 

скопировать код

Окончательный результат, который мы получаем, показан ниже.

Ответьте «Рождество» или «Рождественская шляпа» или присоединитесь к планете знаний ниже, чтобы получить адрес Github с полным кодом.

Добро пожаловать на публичный аккаунт и планету знаний

Планета Знаний присылает ответы на небольшие проблемы, с которыми я обычно сталкиваюсь, которых недостаточно, чтобы их записать, и хорошие материалы, с которыми я обычно сталкиваюсь во время учебы.

Категории