数学建模社区-数学中国

标题: python将红底证件照转成蓝底 [打印本页]

作者: 杨利霞 时间: 2022-9-7 11:41
标题: python将红底证件照转成蓝底
python将红底证件照转成蓝底
前言
emmm…快开学了，手头只有红底证件照，但是学院要求要蓝底，这可咋办呢。懒得下ps了。自己撸起来吧。

方法一: lableme
lableme标注完后。得到一个json文件，然后将这种json文件转成掩码图.

# 代码来自 https://blog.csdn.net/hello_dear_you/article/details/120130155
import json
import numpy as np
import cv2
# read json file
with open("origin_json/mypic.json", "r") as f:
data = f.read()

# convert str to json objs
data = json.loads(data)

# get the points
points = data["shapes"][0]["points"]
points = np.array(points, dtype=np.int32) # tips: points location must be int32

# read image to get shape
image = cv2.imread("origin_png/person.jpg")

# create a blank image
mask = np.zeros_like(image, dtype=np.uint8)

# fill the contour with 255
cv2.fillPoly(mask, [points], (255, 255, 255))

# save the mask
cv2.imwrite("mask/person_mask.png", mask)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
大概是这样:

然后利用这个mask生成图片

# 参考自: https://www.jianshu.com/p/1961aa0c02ee
import cv2
import numpy as np

origin_png = 'origin_png/person.jpg'
# maskPath = 'mask/person_mask.png'
maskPath = 'mask/bmv2.png'
result_png = 'result_png/result_png.png'

maskImg = cv2.imread(maskPath)
img = cv2.imread(origin_png)
assert maskImg.shape == img.shape, 'maskImg.shape != origin_png.shape'

h, w = img.shape[0], img.shape[1]
print('图片宽度: {}, 高度: {}'.format(h, w))

rgb = (19,122,171)
bgr = (rgb[2], rgb[1], rgb[0])
# (B, G, R)
for i in range(h):
for j in range(w):
      if (maskImg[i, j] == 0).all():
         img[i, j] = bgr
cv2.imwrite(result_png, img)
print('图片写入 {} 成功'.format(result_png))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
由于人长得一般，就不放图了…

缺点:
lableme标注时挺费力，并且难以避免人与背景边缘会有残留红色像素的情况。

方法二: 阈值
该方法通过比较像素的RGB与背景的RGB来区分是否为图像背景。

Opencv
import cv2
import numpy as np

def mean_square_loss(a_np, b_np):
sl = np.square(a_np - b_np)
return np.mean(sl)

def change_red2blue(origin_png, result_png):
img = cv2.imread(origin_png)

h, w = img.shape[0], img.shape[1]
print('图片宽度: {}, 高度: {}'.format(h, w))

origin_rgb = (168,36,32)  # 可以用浏览器啥的控制台工具提取出背景的rgb值
origin_bgr = (origin_rgb[2], origin_rgb[1], origin_rgb[0])
target_rgb = (19,122,171) # 蓝底RBG
target_bgr = (target_rgb[2], target_rgb[1], target_rgb[0])

for i in range(h):
      for j in range(w):
         # (B, G, R)
         if mean_square_loss(img[i, j], origin_bgr) < 50:
            img[i, j] = target_bgr

cv2.imwrite(result_png, img)
print('图片写入 {} 成功'.format(result_png))

if __name__ == '__main__':
# origin_png = 'result_png/result_png.png'
origin_png = 'origin_png/person.jpg'
result_png = 'result_png/result_refine.png'
change_red2blue(origin_png, result_png)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
结果人与背景边缘仍会存在红色像素残留

PIL
from torchvision.transforms.functional import to_tensor, to_pil_image
from PIL import Image
import torch
import time

def mean_square_loss(a_ts, b_ts):
# print(a_ts.shape)
# print(b_ts)
sl = (a_ts - b_ts) ** 2
return sl.sum()

def change_red2blue(origin_png, result_png):
src = Image.open(origin_png)
src = to_tensor(src)
# print(src.shape)  # torch.Size([3, 800, 600])
# channel: (R, G, B) / 255
h, w = src.shape[1], src.shape[2]

pha = torch.ones(h, w, 3)

bg = torch.tensor([168,36,32]) / 255
target_bg = torch.tensor([19,122,171]) / 255

# C, H, W -> H, W, C
src = src.permute(1, 2, 0)
for i in range(h):
      for j in range(w):
         if mean_square_loss(src[j], bg) < 0.025: # 0.025是阈值，超参数
$ k. i( |0 e. ]- {) C             pha[j] = torch.tensor([0.0, 0.0, 0.0])
' M9 o% \" N7 u8 f$ f+ C' ?, Y* W. O5 K
# H, W, C -> C, H, W: w, J) f  M5 p9 Z& O
src = src.permute(2, 0, 1)
! l- D, N8 M% E1 b. P. h pha = pha.permute(2, 0, 1)  I' S$ a& s9 Q
com = pha * src + (1 - pha) * target_bg.view(3, 1, 1)  Z1 a! U2 S; a$ m# P# y1 x
to_pil_image(com).save(result_png)7 `2 {* y9 x9 n% j" B2 g  X
$ }, s* F/ C4 t% s+ W4 Y, Q

1 [1 j* ~$ D) W8 e5 r! N4 |if __name__ == '__main__':
1 }+ m/ a+ J' H origin_png = 'origin_png/person.jpg'0 ?% t! I( k, _. ~/ `
result_png = 'result_png/com.png': W7 j: O$ z& L9 t0 [  b
start_time = time.time()
% a; `6 N( C/ {/ B  ]' Q3 w change_red2blue(origin_png, result_png)
8 \# p. d! b/ b; s& }4 s spend_time = round(time.time() - start_time, 2)$ s! f% a. l7 a8 f; [
print('生成成功，共花了 {} 秒'.format(spend_time))
! j" y# u' k) A5 k9 n1$ h5 f$ o. q" l7 b
2
: ~1 g: X% c# w& H* ~) v' K% f+ P3
; ?/ \- t; l* @! O9 s, C41 S) L9 R% Y3 e; a% t
5! B- q1 m) q+ U( x4 o2 C
6
% G- h$ t' ]. i* w5 n% P7
$ E" c1 D2 s7 ^. h3 b! w8
2 h# A1 G( p/ z4 _* y, _97 N2 i! G4 k; A
10
/ v. {( h1 g% ]- m/ B" q11
5 g% V' u- {9 A7 r7 g0 X- u12. M, \5 m2 |1 H, O
13$ d# q( b7 A& d8 y$ b
14* n5 \) @) G$ d2 ^5 V
15
- A- W3 y' P6 T; o' E( ~16/ y/ w& l  c7 Q8 X
17' @3 p4 r/ i1 V* o( K% s
18
( [( S6 O5 |$ V7 [195 l/ |  ~2 N. v. u
205 m) t  J3 S+ Q
21. w# y7 E# ]* \, w- h
22
+ N; T8 ?1 S& H239 F% N- r, x4 e$ M
24
  |9 I9 A/ L  T0 _* }/ S25
5 }5 m) A* m' m* ~26
" |* Q& _" m) A! u4 a. f) ~27# E9 I/ C& U0 \. ^1 O  m: [2 b' _
282 E9 l8 M4 N% ^$ |2 x3 a8 W, W& M
29, W* ?. Z8 C) S
30
* J3 [, ?8 R* d' ^0 K; H% v1 ^31! |. a* G1 [) L' ~8 B
32
) X5 ^! j4 v3 L. }33
! p0 ?* v: @1 v6 u0 G9 d342 n6 Q8 c1 B' G' \% o2 ^9 L& q9 a$ Q
351 l! |$ u" z. y+ K! o  i+ c: M
36
0 A' ~# T# q7 D. w6 F1 M6 R0 M; E37
$ {2 {& W5 V+ ~38, V4 s/ |( Z: m* `; C
39
. g4 R3 H9 f2 v: Q0 v/ |40
3 g3 U/ _2 Z' B41
* \, {' V/ a3 q3 y42) G. V6 }- `0 P/ \
431 g3 n' t: ^3 y
44
  u0 u" @( b) Q1 F0 I( h45' D$ @: I4 ^/ A: i& n2 w4 r
46) a& A4 z# S1 i* J$ l; C0 n* D0 Y
该方法质量较好，但一张图片大概需要12秒。7 ?" j$ `& D- |. b+ |" _; K. G

5 H0 r& f$ k! O, y& c0 S, j' ~  O* ?) `( {* {! y

; B& _) Q( h" O% X$ o方法四： Background MattingV2
& j- U0 V5 Z( wReal-Time High-Resolution Background Matting
$ i# v! t# J* n% ^! N% u; A% [: H$ QCVPR 2021 oral
5 V8 `' V8 e7 h- |" t- y7 C9 ]5 H$ c0 ~- U5 W& ]. H3 I
论文：https://arxiv.org/abs/2012.078105 X% j+ ^" m* B
代码：https://github.com/PeterL1n/BackgroundMattingV2# v: X+ i& r+ N3 d( e& b; k& c
2 ?0 B1 d* @* D
github的readme.md有inference的colab链接，可以用那个跑
. c' j- Z, ]4 X/ C- a, R$ f$ @' i- a  |7 ?/ L  h$ {1 z
由于这篇论文是需要输入一张图片(例如有人存在的草地上)和背景图片的(如果草地啥的)，然后模型会把人抠出来。
  E. K4 [; v  O* L% `2 c
2 v; u3 o& A0 t! f) E8 x于是这里我需要生成一个背景图片。
+ n- ]5 w# {' @, p9 G; O1 b8 g9 N首先我先借助firefox的颜色拾取器（或者微信截图，或者一些在线工具，例如菜鸟工具），得到十六进制，再用在线转换工具转成rgb。
8 P+ b# [" u9 U
5 c: J+ w( N6 u5 S- V8 [+ j然后生成一个背景图片。7 D: ?5 V9 d; v5 R; L. R$ h

9 f- w- }" ~: himport cv2
7 a. p) b+ r+ A( P& L* o% Limport numpy as np
9 ~; R- k% M+ ~8 T" F
) o2 \0 [: U1 b' }: ?: o* @
/ V  i- @5 p5 s6 zimage = cv2.imread("origin_png/person.jpg")9 O  f2 ?5 m% l* B- K: Y
origin_rgb = (168,36,32)  # 可以用浏览器啥的控制台工具提取出背景的rgb值1 X' s& d! i$ T, ~
origin_bgr = (origin_rgb[2], origin_rgb[1], origin_rgb[0])' ^0 \9 C( |3 s0 q& T, U6 r1 f/ x
image[:, :] = origin_bgr
$ e0 u, J; L! j6 G- \) \1 C- Q
# s9 c9 ?, i9 `$ [2 K; [3 p* ^cv2.imwrite("mask/bg.png", image)
" I/ s" ^) |5 A8 R0 k1
, u" x- x  D- Y* k+ S! h/ V* a2( I1 ~# e; j; h& r* W& F" x: |
3
0 ?9 V! y- @5 X7 j4
6 v' w; i3 X) L; Q: g) h" s/ J. _$ Y5' y5 U" Z' N8 i3 Y3 ?& z3 ?0 K
6
6 \; S5 Z; J. u' p/ v7
4 r2 R9 w& e+ D! A! A8% S) V+ Z0 U4 X& T: c7 q
91 v' l7 _8 A) |0 x. v2 Q
10
; N; {: A% S# z$ W
7 E- g" e: k" {3 w6 q6 m0 {2 f需要上传人的照片和背景照片, 如果名字和路径不一样则需要修改一下代码
' G4 q, i) n2 T" U; N4 H# Q* J: N; T( J0 j8 Q% }& H
src = Image.open('src.png'), c# H6 u" L# O7 O( h
bgr = Image.open('bgr.png')
/ b" x) \1 w+ M* p- X1
9 i' u1 Y( _, q$ N4 m23 p! l# f  r& k2 y( {  H
另外原论文是边绿底，要变蓝底，白底，红底则可以修改RGB值，举个例子，原来是这样的(绿底, RGB120, 255, 155)
6 w  N/ t7 S& e2 F7 j8 A; }
/ P) s5 s! B0 k. f* O6 hcom = pha * fgr + (1 - pha) * torch.tensor([120/255, 255/255, 155/255], device='cuda').view(1, 3, 1, 1)
+ U$ v. M  J8 l! b1
3 K0 M2 f1 q: i: Z" U
: L  }( j( ]- w% q9 ^5 \( a, k那么加入我要换白底(255, 255, 255)，就是' x) d& M+ K  [0 _# Q

4 O+ L; p1 h4 J! ?1 Pcom = pha * fgr + (1 - pha) * torch.tensor([255/255, 255/255, 255/255], device='cuda').view(1, 3, 1, 1)+ I( _4 z% ^" {  [7 W3 q: U. a& w
1( R1 Q( U5 d0 _9 W5 _& s

( w4 c# ~2 G% D- `, x假如像我换蓝底(19,122,171)具体深浅可以调节一下RGB，就是3 R( T. ]$ `- D4 p6 Z" e

8 J# g' j: C7 m8 Wcom = pha * fgr + (1 - pha) * torch.tensor([19/255, 122/255, 171/255], device='cuda').view(1, 3, 1, 1)- H3 B/ _, m6 j# }
1- E( K& Q) z; I: [& [( X% g- ]
总结: 其实这种方法从任何颜色的照片都可以换成任何颜色的底。只要换下RGB.7 n- W! E' r' U/ |8 n
0 n( ~7 K- u0 h$ K8 B* A0 e
然后就输出图片了。可以看到效果相当好。不愧是oral。
8 f- n8 |1 E- s* j4 I: x9 W
$ L; w! `$ F3 X
& p# Q! H1 n% i4 Z' v3 \原论文可以实现发丝级效果
- z/ Q' Z6 v% l
8 ~& c( {. E$ }; c7 u! D- m- c7 Q# I9 l% S( p

, ~9 i& E! J+ n7 A8 \: B5 ?' n# ~3 g
# T4 I: ?; k8 m% E' ]8 c6 o/ R/ g" H# M5 o1 n1 o5 ~
报错解决方案( s, `! g: C1 P9 y0 `$ }0 Y6 o
can’t divided by 4 / can’t divided by 16/ _* I3 y2 A' Y% ~+ @# e3 Z, E3 R
由于该骨干模型可能进行4倍或16倍下采样，因此如果您的证件照不是该倍数的话，有两种选择方案。一种是padding, 填充后再送入模型，然后出结果后再用clip函数裁剪。另一种方式是resize, 给resize到规定倍数的宽和高。$ b) {$ c( S' I8 O5 I
这两种方案需要的代码都可以从这篇博文找到: python图像填充与裁剪/resize
( N+ C5 @) f# d1 r& J————————————————
; ]+ o& a: M! B$ W版权声明：本文为CSDN博主「Andy Dennis」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。4 ^( e' h5 Q& {5 a5 l
原文链接：https://blog.csdn.net/weixin_43850253/article/details/126376767
2 x$ y" C$ r  }6 c( O8 J( p( z" K. b2 Q$ x: Y; o8 d1 |# k, U8 L6 f
' |1 I) X0 @9 D' \

欢迎光临数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5