python将红底证件照转成蓝底

杨利霞

python将红底证件照转成蓝底
! J' D. f7 T8 {8 `- F. @, Q# v: u前言
emmm…快开学了，手头只有红底证件照，但是学院要求要蓝底，这可咋办呢。懒得下ps了。自己撸起来吧。

, o! d2 r. p) D, q) ~9 u/ c, s

' z6 Y( [+ \" I/ B" M9 Q# u
方法一: lableme
4 h, W: j5 {& @7 U3 U7 ^6 hlableme标注完后。得到一个json文件，然后将这种json文件转成掩码图.
8 ~  u# W7 t* `
; _+ k+ X3 R. d+ A# 代码来自 https://blog.csdn.net/hello_dear_you/article/details/120130155
4 r% \1 S5 j- {* E; A# }! P, yimport json
& n7 d( V0 U* n/ a0 q6 G  H) b+ Himport numpy as np
* L# Q$ M" j( c( j' `( |import cv2
7 b( n& Y+ W+ U  o2 h7 ~: g" a+ b# read json file
* D1 {: R4 F# p# G/ t2 {/ Y; |: C" Ywith open("origin_json/mypic.json", "r") as f:
    data = f.read()

# convert str to json objs
data = json.loads(data)

$ n( |0 {" R" V# w3 G# get the points
points = data["shapes"][0]["points"]
* `, m6 \' J( j5 F! E$ O  wpoints = np.array(points, dtype=np.int32)   # tips: points location must be int32

# read image to get shape
5 z# O* \$ f. w# c6 Z' X) H9 zimage = cv2.imread("origin_png/person.jpg")

# create a blank image
mask = np.zeros_like(image, dtype=np.uint8)
, {$ u4 V% v$ E" Y7 Z
# fill the contour with 255
( g* _1 q$ e* g" b# G/ f' Y5 W( Tcv2.fillPoly(mask, [points], (255, 255, 255))
+ _, b1 s0 ?# t. U! H7 R- I
' z3 q1 L% ?: g/ L0 G# save the mask
) p5 s; \! C* L- Z( Fcv2.imwrite("mask/person_mask.png", mask)
1
0 P) N* |8 f9 w' b0 z2
4 T, k/ W* ^! i- Y/ L$ I3
- H" f' I& J/ ^4
; G9 d" q: f1 t, g, }; I  \1 G: h5
6
) z  l5 [* X" O4 q7
+ ]: b" {/ E% B. I; _8 A" K2 R8
+ ^) _$ y/ s" L3 ^: _9
& |+ n$ G/ ^4 P- D& H10
# d( D; R$ X. X1 S11
12
" ~% ]/ E- F7 O* e13
5 L) z7 Z8 \' O- ~+ K8 u. i% a) n14
15
3 G$ \1 O$ v( Z- n16
6 U% o4 n" u3 |# \7 S17
18
; ~0 \9 ~$ f" U/ Q) X9 \  ^19
20
+ e/ P  y9 Q) y21
) O& Q8 s  [" {22
23
24
+ C/ r$ U& J. I9 Q25
+ n( E+ \; A/ s+ V6 Q26
大概是这样:


然后利用这个mask生成图片

# 参考自: https://www.jianshu.com/p/1961aa0c02ee
import cv2
import numpy as np


( U& L; C6 A- a  b( w6 `2 |( x! [origin_png = 'origin_png/person.jpg'
4 x4 T- {* K; n& ]  ?3 A# maskPath = 'mask/person_mask.png'
maskPath = 'mask/bmv2.png'
5 f' T* E% \0 p+ i9 hresult_png = 'result_png/result_png.png'
8 X' G- z! U8 N" U% }) w! x

maskImg = cv2.imread(maskPath)
img = cv2.imread(origin_png)
% a: u& I6 S1 d4 Nassert maskImg.shape == img.shape, 'maskImg.shape != origin_png.shape'
$ P3 S6 n9 j3 p- ?# ^
h, w = img.shape[0], img.shape[1]
$ X7 ?( v0 x5 U1 }print('图片宽度: {}, 高度: {}'.format(h, w))

rgb = (19,122,171)
bgr = (rgb[2], rgb[1], rgb[0])
# (B, G, R)
for i in range(h):
, q, N  l4 p' ?1 ?8 T    for j in range(w):
        if (maskImg[i, j] == 0).all():
            img[i, j] = bgr
  B6 P. p' y, x2 K# E! Q6 h- T" wcv2.imwrite(result_png, img)
* D& d8 {) g; Sprint('图片写入 {} 成功'.format(result_png))
% K8 S. H# l2 c9 @1
2
, w+ E/ h3 E/ p  J6 {. F3
! r: }/ n. m9 y2 k' J" j1 A4
' Q3 w/ F$ s: C9 L! R5
; n2 [9 q$ i. Y; v6
- m, K% N5 I0 V- x% F! c- h7
8
9
7 s2 I' P1 H* ?3 b1 R10
11
12
# y' j4 o* w! [* H1 q7 e; d13
14
# O/ j* D0 I) }) t# Q1 b15
16
17
% V& ^4 s9 q* e( J& `$ Q18
19
7 r% G7 F7 b) T* N) ^3 ^5 V20
! j2 z8 t8 X- S3 ]: ~( ^21
22
23
24
25
5 K( V" o* R' a/ F4 `9 I2 Y26
7 S! k! \  s- E/ m27
6 J# Z$ O, G2 ^2 F' {由于人长得一般，就不放图了…

缺点:
lableme标注时挺费力，并且难以避免人与背景边缘会有残留红色像素的情况。
( a9 U. v: m/ O7 d: C8 ]! {


& q9 a$ A" _0 D4 K3 N  E8 E1 W; c
# k+ e* Q) h, {0 z
方法二: 阈值
- `4 H- Z7 x( O& x! B) V该方法通过比较像素的RGB与背景的RGB来区分是否为图像背景。

% h) K7 I) J% m  I2 lOpencv
' N3 x. ]+ O3 f; aimport cv2
: b7 v4 q0 f4 k2 Q3 gimport numpy as np

/ b+ E/ R$ X. R4 Q' g- ~9 H" r$ |
' e. J9 Q; f7 G  q7 |* L% H7 G& udef mean_square_loss(a_np, b_np):
    sl = np.square(a_np - b_np)
    return np.mean(sl)
- a7 {8 o, B( o& ^! v. R; C4 p# @' R
. X2 u, b, I$ a4 d
+ W6 R8 R* p' W& \def change_red2blue(origin_png, result_png):
    img = cv2.imread(origin_png)

( Q/ o" n" s  ~  T' r# f    h, w = img.shape[0], img.shape[1]
    print('图片宽度: {}, 高度: {}'.format(h, w))
5 V- D% o. f# `) W1 ?2 A) W
    origin_rgb = (168,36,32)  # 可以用浏览器啥的控制台工具提取出背景的rgb值
    origin_bgr = (origin_rgb[2], origin_rgb[1], origin_rgb[0])
    target_rgb = (19,122,171) # 蓝底RBG
& e" T9 r% p- S. f0 R    target_bgr = (target_rgb[2], target_rgb[1], target_rgb[0])

  Y. |* V* `( }* U- u    for i in range(h):
        for j in range(w):
            # (B, G, R)
            if mean_square_loss(img[i, j], origin_bgr) < 50:
                img[i, j] = target_bgr
7 Y) A3 @: Y0 W- u* N6 q# \
$ f8 s& F5 H& z* x: X! \    cv2.imwrite(result_png, img)
1 w; @; f" S8 }8 T4 w    print('图片写入 {} 成功'.format(result_png))
& P+ l* r" d2 ]: `8 D; H

2 j, }' v5 ?6 \  C' oif __name__ == '__main__':
" O+ m8 K$ k; B: i$ x    # origin_png = 'result_png/result_png.png'
" T( e" K* f* e- A    origin_png = 'origin_png/person.jpg'
! {) A* G* X2 t    result_png = 'result_png/result_refine.png'
; M: S( @3 e' V2 F    change_red2blue(origin_png, result_png)
9 B( H9 B9 J3 g* S2 k1
2
0 G' _9 ^! s- a; z; Y% d' B3
# g2 l' ^1 m; i9 T4
8 z! `1 H. N9 s* ?) h. L5
" }/ K7 j" L* \' I1 e$ G6
) i; h, h5 V% C+ V& ]( H+ T7
8
9
10
& I$ c1 v4 X0 L! k  ]' v6 C' Y; p$ J11
12
* [1 m% R. p" y- I/ ]3 C13
14
15
16
17
9 [; G. r) V% d/ e' h* e18
19
; Y/ R0 p8 v; E20
5 B7 ~- v) i4 W21
/ X8 n  R9 P  j" K9 W! |22
23
! `  D3 C% r- z$ Y* g24
* N7 ]3 v4 w  a* B( T25
26
4 w8 G! {' \4 j5 Y* m27
$ {4 x# ^7 w& v: T7 }, @28
29
& ]- N1 h4 O' m5 F  @7 p6 m30
31
32
33
% a/ K, A2 i5 J! U( x34
' N% z& u4 h" u8 x$ L# N35
结果人与背景边缘仍会存在红色像素残留
, T5 ^# T5 ^6 h. H1 c: S

4 A# {% X; j' m' d4 u. X( e2 V
, ]% ?$ _1 i& z7 B: ?' X

2 {$ n5 q1 V" R8 ]! O: aPIL
from torchvision.transforms.functional import to_tensor, to_pil_image
from PIL import Image
import torch
import time
" i" C% ?. S% G: S+ u
+ q) f. y6 I/ v
def mean_square_loss(a_ts, b_ts):
    # print(a_ts.shape)
3 W- t; a- I" u* N+ C9 ~( `& G    # print(b_ts)
- w: ?2 g- G- p* f% C+ G    sl = (a_ts - b_ts) ** 2
0 _  X: ~) Q- ]6 Z4 X, v: d    return sl.sum()


def change_red2blue(origin_png, result_png):
    src = Image.open(origin_png)
    src = to_tensor(src)
    # print(src.shape)  # torch.Size([3, 800, 600])
) T; T7 ^( U" j8 S# }    # channel: (R, G, B) / 255
. S/ g8 T3 C1 k: m. z; q# E    h, w = src.shape[1], src.shape[2]

    pha = torch.ones(h, w, 3)

$ ^1 A; z( ~$ y$ I  \    bg = torch.tensor([168,36,32]) / 255
2 r6 m6 g' y7 ~5 r, B* p    target_bg = torch.tensor([19,122,171]) / 255

& I7 o8 l+ u( R; H6 D    # C, H, W -> H, W, C
) {2 `, E) `; J- F    src = src.permute(1, 2, 0)
    for i in range(h):
        for j in range(w):
( E! A, [; N/ r5 c            if mean_square_loss(src[j], bg) < 0.025: # 0.025是阈值，超参数
- [$ D# D- A9 u. j; H9 K                pha[j] = torch.tensor([0.0, 0.0, 0.0])

$ R: D/ T* f" A    # H, W, C -> C, H, W
    src = src.permute(2, 0, 1)
    pha = pha.permute(2, 0, 1)
    com = pha * src + (1 - pha) * target_bg.view(3, 1, 1)
5 L! c# E3 A6 ~- ]* p( ^0 `    to_pil_image(com).save(result_png)
( b+ `6 n6 o/ d. B5 R  Y; P

: y0 _- F* u7 \0 l" Eif __name__ == '__main__':
& q1 U! X) Q2 j. |5 ]1 _* M    origin_png = 'origin_png/person.jpg'
    result_png = 'result_png/com.png'
    start_time = time.time()
- C$ n' l7 q2 f! a$ ]: B) R" _; h% [9 H    change_red2blue(origin_png, result_png)
7 `2 b. ^; q/ p    spend_time = round(time.time() - start_time, 2)
; f8 ]3 S& o# s  s( L2 S- s    print('生成成功，共花了 {} 秒'.format(spend_time))
. _7 F2 N, L6 g  d! Q1
: E0 d/ V: c0 @# ~2
3
4
5
& u$ ?6 x2 [7 }" X6
7
8
9
9 d6 I& ~4 W1 ?) t% Q, h10
' D; p2 ]2 y+ G: X$ s0 T6 `11
12
% Y# W8 y4 G6 `) D13
14
2 ]$ t7 m0 B0 }3 k& ^15
16
17
$ y, c' x4 ?, O. N5 r18
19
( L$ m9 X5 q1 c8 l, I4 p7 B! m20
21
  D* U5 n0 x. h/ g. n1 L22
23
5 ^& X* s* W, I4 u* L/ j  Z  E. y24
25
26
27
28
29
2 h, |& p  V! R. K6 `7 e) X) c30
31
& {6 D4 p# S: ]; k32
33
, r' M* q* y2 v* y8 O. ~+ @, w4 ]34
" b5 n0 `2 B8 D8 V+ ?; \35
; V+ q  d' u# T2 z  Y2 _36
37
, X' W& K4 D  g: i38
39
40
41
  X9 }8 b. e# M4 p9 Z42
) S2 `( W' m6 K0 Z) p43
1 j3 G# E# f. E6 `0 u44
45
* S5 ~. C3 Y; `% S+ \% P46
5 t5 `# n  i6 m# y& h# j! P( N该方法质量较好，但一张图片大概需要12秒。

6 j0 r/ B& G- B
8 C' ?' f) K# |# E6 P* `  n# K
% f; }; u% X# Y; c; Y5 }4 F方法四： Background MattingV2
4 ]6 i) c1 w* y) u( K% Q2 p  [Real-Time High-Resolution Background Matting
' r  a$ u$ A3 {$ E% @0 XCVPR 2021 oral
* Y5 F3 K- o9 v
论文：https://arxiv.org/abs/2012.07810
5 ~; |0 R: V1 p' d4 [代码：https://github.com/PeterL1n/BackgroundMattingV2
' s) M( O* K0 y7 U4 T% l* @: P/ D
3 V( p8 M3 h8 s) dgithub的readme.md有inference的colab链接，可以用那个跑
( R9 v3 o9 y  U+ r. `6 K3 l
' h$ w7 z. |# E/ ~由于这篇论文是需要输入一张图片(例如有人存在的草地上)和背景图片的(如果草地啥的)， 然后模型会把人抠出来。

5 Z' q& d; F9 \& ^% T于是这里我需要生成一个背景图片。
$ Q* b" a1 P7 a首先我先借助firefox的颜色拾取器（或者微信截图，或者一些在线工具，例如菜鸟工具），得到十六进制，再用在线转换工具转成rgb。

然后生成一个背景图片。

import cv2
import numpy as np


image = cv2.imread("origin_png/person.jpg")
origin_rgb = (168,36,32)  # 可以用浏览器啥的控制台工具提取出背景的rgb值
0 Q9 a, R* i/ e, V1 T$ S+ uorigin_bgr = (origin_rgb[2], origin_rgb[1], origin_rgb[0])
2 r4 r4 Z* r# k9 }; gimage[:, :] = origin_bgr
% ^; J% z9 f) M8 l: Z- Z
cv2.imwrite("mask/bg.png", image)
1
2
7 a: Z0 c9 O  X9 z' F* D% V3
4
' L0 o% d# C: Z' Z5
# f2 T$ h9 S/ E6 M" d  }6
7
/ o) f9 ?+ {6 _0 ~6 [0 J8
9
10
8 d6 k* Y3 Q0 J' x9 f
需要上传人的照片和背景照片, 如果名字和路径不一样则需要修改一下代码

src = Image.open('src.png')
bgr = Image.open('bgr.png')
- @. T/ P% J1 {: S1
2
另外原论文是边绿底，要变蓝底，白底，红底则可以修改RGB值，举个例子，原来是这样的(绿底, RGB120, 255, 155)
: C" l, h& V1 d) _( u- g2 i
com = pha * fgr + (1 - pha) * torch.tensor([120/255, 255/255, 155/255], device='cuda').view(1, 3, 1, 1)
3 G9 z/ N! B* A  Q8 Q9 B9 U1

1 z: G, n; e6 h& \$ k5 ~- P那么加入我要换白底(255, 255, 255)，就是
3 R: U/ f9 k& {/ [. N- f
com = pha * fgr + (1 - pha) * torch.tensor([255/255, 255/255, 255/255], device='cuda').view(1, 3, 1, 1)
: j- a5 w% j. V1 i! R. U9 t1
3 j( m# |" |" n" X* X/ B
假如像我换蓝底(19,122,171)具体深浅可以调节一下RGB，就是

* Z4 s( E! }& T: ^com = pha * fgr + (1 - pha) * torch.tensor([19/255, 122/255, 171/255], device='cuda').view(1, 3, 1, 1)
# p( \* d6 A$ v$ _: e1
3 j) J8 g8 J# P总结: 其实这种方法从 任何颜色的照片 都可以 换成任何颜色的底。只要换下RGB.
5 Z& R* E$ D1 c$ l
然后就输出图片了。可以看到效果相当好。不愧是oral。


原论文可以实现发丝级效果


: P& i# Y* Y$ \- H3 ?+ Q

6 I$ J6 M: Q( g0 x8 R' N, \
3 `7 l$ s) \: g报错解决方案
% X5 s3 x* b- @( x4 c9 vcan’t divided by 4 / can’t divided by 16
由于该骨干模型可能进行4倍或16倍下采样，因此如果您的证件照不是该倍数的话，有两种选择方案。一种是padding, 填充后再送入模型，然后出结果后再用clip函数裁剪。另一种方式是resize, 给resize到规定倍数的宽和高。
# G  a, Y! r% ^9 _这两种方案需要的代码都可以从这篇博文找到: python图像填充与裁剪/resize
————————————————
版权声明：本文为CSDN博主「Andy Dennis」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
$ J. Y. P! g% U8 S原文链接：https://blog.csdn.net/weixin_43850253/article/details/126376767
/ G6 F# q4 d! L* ^
0 B! K) c# Q# P. ?
1 H/ S0 D- x% _, _3 L