数学建模社区-数学中国

标题: python将红底证件照转成蓝底 [打印本页]

作者: 杨利霞 时间: 2022-9-7 11:41
标题: python将红底证件照转成蓝底
python将红底证件照转成蓝底
前言
emmm…快开学了，手头只有红底证件照，但是学院要求要蓝底，这可咋办呢。懒得下ps了。自己撸起来吧。

方法一: lableme
lableme标注完后。得到一个json文件，然后将这种json文件转成掩码图.

# 代码来自 https://blog.csdn.net/hello_dear_you/article/details/120130155
import json
import numpy as np
import cv2
# read json file
with open("origin_json/mypic.json", "r") as f:
data = f.read()

# convert str to json objs
data = json.loads(data)

# get the points
points = data["shapes"][0]["points"]
points = np.array(points, dtype=np.int32) # tips: points location must be int32

# read image to get shape
image = cv2.imread("origin_png/person.jpg")

# create a blank image
mask = np.zeros_like(image, dtype=np.uint8)

# fill the contour with 255
cv2.fillPoly(mask, [points], (255, 255, 255))

# save the mask
cv2.imwrite("mask/person_mask.png", mask)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
大概是这样:

然后利用这个mask生成图片

# 参考自: https://www.jianshu.com/p/1961aa0c02ee
import cv2
import numpy as np

origin_png = 'origin_png/person.jpg'
# maskPath = 'mask/person_mask.png'
maskPath = 'mask/bmv2.png'
result_png = 'result_png/result_png.png'

maskImg = cv2.imread(maskPath)
img = cv2.imread(origin_png)
assert maskImg.shape == img.shape, 'maskImg.shape != origin_png.shape'

h, w = img.shape[0], img.shape[1]
print('图片宽度: {}, 高度: {}'.format(h, w))

rgb = (19,122,171)
bgr = (rgb[2], rgb[1], rgb[0])
# (B, G, R)
for i in range(h):
for j in range(w):
      if (maskImg[i, j] == 0).all():
         img[i, j] = bgr
cv2.imwrite(result_png, img)
print('图片写入 {} 成功'.format(result_png))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
由于人长得一般，就不放图了…

缺点:
lableme标注时挺费力，并且难以避免人与背景边缘会有残留红色像素的情况。

方法二: 阈值
该方法通过比较像素的RGB与背景的RGB来区分是否为图像背景。

Opencv
import cv2
import numpy as np

def mean_square_loss(a_np, b_np):
sl = np.square(a_np - b_np)
return np.mean(sl)

def change_red2blue(origin_png, result_png):
img = cv2.imread(origin_png)

h, w = img.shape[0], img.shape[1]
print('图片宽度: {}, 高度: {}'.format(h, w))

origin_rgb = (168,36,32)  # 可以用浏览器啥的控制台工具提取出背景的rgb值
origin_bgr = (origin_rgb[2], origin_rgb[1], origin_rgb[0])
target_rgb = (19,122,171) # 蓝底RBG
target_bgr = (target_rgb[2], target_rgb[1], target_rgb[0])

for i in range(h):
      for j in range(w):
         # (B, G, R)
         if mean_square_loss(img[i, j], origin_bgr) < 50:
            img[i, j] = target_bgr

cv2.imwrite(result_png, img)
print('图片写入 {} 成功'.format(result_png))

if __name__ == '__main__':
# origin_png = 'result_png/result_png.png'
origin_png = 'origin_png/person.jpg'
result_png = 'result_png/result_refine.png'
change_red2blue(origin_png, result_png)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
结果人与背景边缘仍会存在红色像素残留

PIL
from torchvision.transforms.functional import to_tensor, to_pil_image
from PIL import Image
import torch
import time

def mean_square_loss(a_ts, b_ts):
# print(a_ts.shape)
# print(b_ts)
sl = (a_ts - b_ts) ** 2
return sl.sum()

def change_red2blue(origin_png, result_png):
src = Image.open(origin_png)
src = to_tensor(src)
# print(src.shape)  # torch.Size([3, 800, 600])
# channel: (R, G, B) / 255
h, w = src.shape[1], src.shape[2]

pha = torch.ones(h, w, 3)

bg = torch.tensor([168,36,32]) / 255
target_bg = torch.tensor([19,122,171]) / 255

# C, H, W -> H, W, C
src = src.permute(1, 2, 0)
for i in range(h):
      for j in range(w):
         if mean_square_loss(src[j], bg) < 0.025: # 0.025是阈值，超参数, C9 Z* t0 s9 K" d* q/ \, W
            pha[j] = torch.tensor([0.0, 0.0, 0.0])1 w: p" g: b' O2 p* U

: L6 m% P- K( d; [+ `* H # H, W, C -> C, H, W
$ _* z, ~" Z& T! P src = src.permute(2, 0, 1)
' B$ g7 C" h9 T: E1 s pha = pha.permute(2, 0, 1)
6 }$ ?. y2 b% I7 [$ D com = pha * src + (1 - pha) * target_bg.view(3, 1, 1)
) C9 q8 G, i" Z! T: P. y* W( x to_pil_image(com).save(result_png)
. _2 d% @% e# \+ `( p  \  |* c1 U
3 O9 m/ s! `% u* m0 Q/ _' v' ^: @/ K( j2 R5 q
if __name__ == '__main__':
" o: ^) {+ B% p! O% I: ~, a( O origin_png = 'origin_png/person.jpg'
+ f- ^5 b& W. i+ m, _/ c result_png = 'result_png/com.png'  l. j" ?0 }8 q/ M
start_time = time.time()+ D+ ?  ?! o7 `# T. o+ [3 S
change_red2blue(origin_png, result_png)6 p0 q% R% F# _% j. x6 ?
spend_time = round(time.time() - start_time, 2)0 U$ t  g  ^, N# q: }3 j
print('生成成功，共花了 {} 秒'.format(spend_time))  Y( H" X  o# D4 u8 e
1
0 {9 E% o& b1 h, }& e# y2
3 P& D) M, f  |6 y+ }8 R3% J2 J$ m2 y* u( W/ A' M2 Y# \
4' a8 E2 U" G0 F9 V7 I
5
3 s/ w/ \3 [& h' V6
5 \4 ^0 ~4 {* J7
8 u6 ^2 V4 l6 A# ^& r8
! x2 B( u2 \: g/ }7 m# b! U& P- v# `9
8 R2 V6 \$ j% z5 e5 q102 z/ Y% H# ]7 p% L8 B
11
' G, x2 |& c+ C, ]& d12
1 ~* A3 [1 ^7 u9 g13! y# b  z4 z# |6 A$ |
14/ T$ ^" A3 V) @. p& X
15" }0 R- o8 `) c
16( G5 }; A. E" ^' z' F
17
4 ^8 X/ K8 o+ ?) z& [7 Q18
* w7 U, i4 A( M: I5 U7 T19
& k, B. s2 D6 `6 Z* E20
* Y! h6 a# H" o$ y" a* U. b; m21
( {! u0 z' ~0 H4 O4 u7 M! O220 B6 k/ ?9 F7 v2 S
23
9 w+ z0 |$ d, R: s/ N24. U6 _9 H  b' x4 f) V2 ?
25
# F( r: z9 q* d26
7 ~* a+ t9 L$ b2 m) p/ |27% v2 W/ D% a0 d9 Q
28
6 ~4 X5 U) a$ P2 h8 ~! p% b$ D29
/ h+ X, Y, k. I0 x30  }' _- k7 K' g' Q$ ?& f+ O% E
31' S: j' C8 Z8 g- X9 E) G6 [4 l. D9 A" _
32
) l: g+ c6 u1 u4 u: [+ O+ A0 e33# _# E5 t. J* z8 D9 n5 x2 k& W
34  q# }+ y& P* y' ?1 X5 D0 P1 v
35
4 k1 V0 v1 z# q  l36
8 {& {+ h: t+ r2 a6 c37
& `& [. E% v+ u4 w6 D38
+ ~' ]; i( R6 U$ b39
' r& M2 T5 e2 M- ^- \" g% N40
& C4 i4 j" @2 A) k/ c8 @# f$ O418 p* C$ D4 K3 F3 l
42
- i4 }4 F3 Q2 {- n43/ V9 G: X% k2 q" |, ]6 Q5 J. B
44
: W- k" S6 x8 U" V; t) [7 H6 O45
( ]0 q/ u( P: N+ j) B- q! q464 ?/ a# f4 b% A' k, u) F
该方法质量较好，但一张图片大概需要12秒。* N5 n( I$ u, n3 J+ P: x8 p  @+ C
  h/ N) M: C6 D9 E7 E9 A2 J0 S
* |6 F' w# }1 T% N

3 ?9 t' B+ @* d1 ]- O- c方法四： Background MattingV2
3 u- }' s$ P7 |" G$ lReal-Time High-Resolution Background Matting
" b+ S* A, U1 q* h0 a) N4 ^CVPR 2021 oral
- @# ^, ]7 R4 }, d
+ }! z( _- V& P8 N论文：https://arxiv.org/abs/2012.07810
$ H) M/ x0 t2 x+ f+ r" ^2 N代码：https://github.com/PeterL1n/BackgroundMattingV2
/ x! p6 }+ D5 O3 V3 m8 h% Z, {; V7 ^0 o
github的readme.md有inference的colab链接，可以用那个跑
$ ^' ]' k5 ?+ _, B* }
$ r$ q5 u- j6 I/ f7 ~2 L2 J% `由于这篇论文是需要输入一张图片(例如有人存在的草地上)和背景图片的(如果草地啥的)，然后模型会把人抠出来。
* z3 s; _# k2 U. R7 R4 R) X' V# r6 g& {' `3 ~5 h# M- L
于是这里我需要生成一个背景图片。
; R! z7 g; E& ~. l5 x; F首先我先借助firefox的颜色拾取器（或者微信截图，或者一些在线工具，例如菜鸟工具），得到十六进制，再用在线转换工具转成rgb。
! H! ~+ I. x: m8 z; f# C; b' u, M4 ~5 w7 u
然后生成一个背景图片。4 W4 v) y2 [  _! ?( d- r& c# Z: J
( S$ d: w: n8 ~% g" I3 R$ n
import cv2
: s6 Z0 G4 C; @9 \( Rimport numpy as np
- K* X( s# ]: g, r5 A* X- H7 h0 I; b  b) `4 c. t
1 n" q) q; j' h5 f% a+ v
image = cv2.imread("origin_png/person.jpg")
( D7 q- D5 A- s$ P& D! A0 l2 uorigin_rgb = (168,36,32)  # 可以用浏览器啥的控制台工具提取出背景的rgb值
  e  y" {2 T- P! W1 A: U7 Morigin_bgr = (origin_rgb[2], origin_rgb[1], origin_rgb[0])6 `" {  F% e5 ?
image[:, :] = origin_bgr
+ }5 v. t* J9 s: P+ Y  v) z, x' _% u) i( \
cv2.imwrite("mask/bg.png", image)
; E$ n9 ^6 i. i4 g( D9 Y10 p5 b4 X' l; ~0 j; b
2% ~+ q! K1 M9 m3 g1 X1 Q
3
. H2 V2 v9 a3 |5 H% D4 C4
% L+ G7 d( T. {! T5
. Q# c6 E" U; I6
" p6 W, r* _: ]" x/ F& X% a7
, Y8 o1 D9 S! s+ q: |5 |! s8 ]82 N( k: ~& P+ P
9* }; W+ W: K  ~0 `* g
10
5 A2 T+ D6 J3 b
5 v0 ~9 x! h7 u需要上传人的照片和背景照片, 如果名字和路径不一样则需要修改一下代码
) S( E7 d5 K* U# e% e- p* ?. a5 t- l
src = Image.open('src.png')9 U1 Y6 U* V9 `6 L+ S
bgr = Image.open('bgr.png')1 X- g. }- S; j* R% A& V9 v9 ^7 n# t: ~8 }
1
% n9 g8 y1 o' d, v  Y2 U20 T% ]7 F$ N2 B" g7 d
另外原论文是边绿底，要变蓝底，白底，红底则可以修改RGB值，举个例子，原来是这样的(绿底, RGB120, 255, 155)* b/ n) U- w9 i+ i3 ]
% V3 j- s6 M5 [/ J$ W( M
com = pha * fgr + (1 - pha) * torch.tensor([120/255, 255/255, 155/255], device='cuda').view(1, 3, 1, 1)  T4 ~7 s- E7 b7 O
1
/ U, m3 a! ^* {( u/ R! z. x
0 P- @7 R7 G9 w* N/ ~; x/ v3 R那么加入我要换白底(255, 255, 255)，就是
& ^- t3 e: ~  f& x( z# L- [# i
* W0 m: P% J2 N2 X, Z+ g. d# _com = pha * fgr + (1 - pha) * torch.tensor([255/255, 255/255, 255/255], device='cuda').view(1, 3, 1, 1)8 Q9 s4 Q5 H8 y. m% x
1
8 V. k1 L6 ]; y* M/ Q
# Z- d2 c" u" b; T3 J/ A- k假如像我换蓝底(19,122,171)具体深浅可以调节一下RGB，就是& d! ?! x' H7 d; a. H0 s% D
5 B8 F- i1 N7 K
com = pha * fgr + (1 - pha) * torch.tensor([19/255, 122/255, 171/255], device='cuda').view(1, 3, 1, 1)' K# j7 F9 C5 c* P+ N
1& I! m; k' Y4 s8 m
总结: 其实这种方法从任何颜色的照片都可以换成任何颜色的底。只要换下RGB./ s+ d7 N' m- B- A8 [1 R

( }2 q7 M6 P, Y* W然后就输出图片了。可以看到效果相当好。不愧是oral。- \4 y3 ~* g! A9 i/ K# P
& ]  @+ ^3 N6 {5 ]- z

* ^! w& [. ^3 K" s8 ~. U4 A+ z原论文可以实现发丝级效果$ [2 H( H7 r# I4 R' e, {0 T$ |
- r1 }; d" r( O, t1 ^% W

4 N7 J. [- n$ p6 B* w3 d) v- R" k( I4 a2 }1 N8 g( [

6 O0 X! x# t8 d5 C1 u$ d
5 s! r/ }8 R$ a: ?9 H$ Q报错解决方案
5 f8 t6 M; z5 e4 ~0 [# r5 \can’t divided by 4 / can’t divided by 16! Q( b! b4 F: T# g8 L
由于该骨干模型可能进行4倍或16倍下采样，因此如果您的证件照不是该倍数的话，有两种选择方案。一种是padding, 填充后再送入模型，然后出结果后再用clip函数裁剪。另一种方式是resize, 给resize到规定倍数的宽和高。5 d* b7 _; |' J- L  f5 W' r
这两种方案需要的代码都可以从这篇博文找到: python图像填充与裁剪/resize
) l/ ^8 [) l; b. B* F————————————————- r. N7 }# W. D2 c3 o
版权声明：本文为CSDN博主「Andy Dennis」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
; u' I* ?2 s4 e1 H+ p) Q原文链接：https://blog.csdn.net/weixin_43850253/article/details/126376767
# o0 m! g; A9 v2 O9 S& B% T! N2 ]1 C% o: V8 F
+ s( H7 b' _" E9 f# A, u0 N( R

欢迎光临数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5