千万级图片资源存储、裁剪方案

我会带着你远行 2022-03-09 19:12 257阅读 0赞

**目标**

搭建千万级图片资源存储服务，方便快捷切割所需高宽以及精度图片。

**方案**

利用fastdfs做文件分布式存储；

lighttpd结合imagemagic扩展开发，支持通过HTTP请求传入高宽以及精度截取需要的图片；

外加varnish文件缓存。

即，

如原图为：http://xxx/group1/M00/00/00/1.jpg

通过链接 http://xxx/group1/M00/00/00/1\_500\_400\_30.jpg

即可获取高为400，宽为400，精度为30%的图片；

用户请求时，临时生成，且立即存入缓存和物理存储，以后直接从缓存中获取。

**1、两台服务器做存储分发(tracker 192.168.20.28,192.168.20.27)**

**2、两台服务器做物理存储(storage 192.168.20.24,192.168.20.25)**

**3、存储测试**

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 </td> 
 <td> <code>//</code><code>上传</code> <code>/opt/server/fastdfs/bin/fdfs_test</code> <code>/opt/server/fastdfs/etc/client</code><code>.conf upload 3.jpg</code> &nbsp; <code>//</code><code>获取</code> <code>wget http:</code><code>//192</code><code>.168.20.28:8080</code><code>/group1/M00/00/00/wKgUGE_yR6bou3MSAACABLw5CM4429_big</code><code>.jpg</code> </td> 
 </tr> 
 </tbody> 
</table>

**4、PHP扩展 （需先安装fastdfs服务）(安装在web服务器192.168.20.231,192.168.20.232)**

编译源码 /php\_client 下

安装

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>/opt/server/php/bin/phpize</code> <code>.</code><code>/configure</code> <code>--with-php-config=</code><code>/opt/server/php/bin/php-config</code> <code>make</code> <code>make</code> <code>install</code> </td> 
 </tr> 
 </tbody> 
</table>

配置

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 </td> 
 <td> <code>[fastdfs]</code> &nbsp; <code>extension = fastdfs_client.so</code> &nbsp; <code>; the base path</code> <code>fastdfs_client.base_path =&nbsp;</code><code>/tmp</code> &nbsp; <code>; connect timeout&nbsp;</code><code>in</code> <code>seconds</code> <code>; default value is 30s</code> <code>fastdfs_client.connect_timeout = 30</code> &nbsp; <code>; network timeout&nbsp;</code><code>in</code> <code>seconds</code> <code>; default value is 30s</code> <code>fastdfs_client.network_timeout = 60</code> &nbsp; <code>; standard log level as syslog,&nbsp;</code><code>case</code> <code>insensitive, value list:</code> <code>;;; emerg&nbsp;</code><code>for</code> <code>emergency</code> <code>;;; alert</code> <code>;;; crit&nbsp;</code><code>for</code> <code>critical</code> <code>;;; error</code> <code>;;; warn&nbsp;</code><code>for</code> <code>warning</code> <code>;;; notice</code> <code>;;; info</code> <code>;;; debug</code> <code>fastdfs_client.log_level = info</code> &nbsp; <code>;&nbsp;</code><code>set</code> <code>the log filename, such as&nbsp;</code><code>/usr/local/fastdfs/logs/fastdfs_client</code><code>.log</code> <code>; empty&nbsp;</code><code>for</code> <code>output to stderr</code> <code>fastdfs_client.log_filename =&nbsp;</code><code>/opt/server/fastdfs/logs/fastdfs_client</code><code>.log</code> &nbsp; <code>; secret key to generate anti-steal token</code> <code>; this parameter must be&nbsp;</code><code>set</code> <code>when http.anti_steal.check_token&nbsp;</code><code>set</code> <code>to&nbsp;</code><code>true</code> <code>; the length of the secret key should not exceed 128 bytes</code> <code>fastdfs_client.http.anti_steal_secret_key =</code> &nbsp; <code>; FastDFS cluster count, default value is 1</code> <code>fastdfs_client.tracker_group_count = 1</code> &nbsp; <code>; config&nbsp;</code><code>file</code> <code>of FastDFS cluster ;, based 0</code> <code>; must include absolute path, such as fastdfs_client.tracker_group0</code> <code>; the config&nbsp;</code><code>file</code> <code>is same as conf</code><code>/client</code><code>.conf</code> <code>fastdfs_client.tracker_group0 =&nbsp;</code><code>/opt/server/fastdfs/etc/client</code><code>.conf</code> </td> 
 </tr> 
 </tbody> 
</table>

其中/opt/server/fastdfs/etc/client.conf配置

上传&获取测试

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 </td> 
 <td> <code>&lt;html&gt;</code> <code>&lt;body&gt;</code> &nbsp; <code>&lt;form action=</code><code>"upload.php?action=upload"</code> <code>method=</code><code>"post"</code> <code>enctype=</code><code>"multipart/form-data"</code><code>&gt;</code> <code>&lt;label&nbsp;</code><code>for</code><code>=</code><code>"file"</code><code>&gt;Filename:&lt;</code><code>/label</code><code>&gt;</code> <code>&lt;input&nbsp;</code><code>type</code><code>=</code><code>"file"</code> <code>name=</code><code>"file"</code> <code>id</code><code>=</code><code>"file"</code> <code>/&gt;&lt;input&nbsp;</code><code>type</code><code>=</code><code>"submit"</code> <code>name=</code><code>"submit"</code> <code>value=</code><code>"Submit"</code> <code>/&gt;</code> <code>&lt;</code><code>/form</code><code>&gt;</code> &nbsp; <code>&lt;</code><code>/body</code><code>&gt;</code> <code>&lt;</code><code>/html</code><code>&gt;</code> &nbsp; <code>&lt;?php</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code><code>(</code><code>'upload'</code> <code>== $_GET[</code><code>'action'</code><code>])</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>//</code><code>调用上传</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>move_uploaded_file($_FILES[</code><code>"file"</code><code>][</code><code>"tmp_name"</code><code>], $_FILES[</code><code>"file"</code><code>][</code><code>"name"</code><code>]);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>$re = upload($_FILES[</code><code>"file"</code><code>][</code><code>"name"</code><code>]);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>var_dump($re);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>//</code><code>文件上传</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>function</code> <code>upload($fileName, $fileExtName = null, $metaList = array(), $groupName = null)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>$tracker = fastdfs_tracker_get_connection();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>$storage = fastdfs_tracker_query_storage_store();</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp; <code>fastdfs_storage_upload_by_filename($fileName, $fileExtName, $metaList, $groupName, $tracker, $storage);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> &nbsp; <code>?&gt;</code> </td> 
 </tr> 
 </tbody> 
</table>

**5、图片处理imagemagic(192.168.20.28,192.168.20.27)**

安装

**6、图片处理调度WEB服务(192.168.20.28,192.168.20.27)**

定制化开发的lighttpd，调用特定URL，控制图片处理生成需求图片。 [下载地址][Link 1]

安装

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code>.</code><code>/configure</code> <code>--prefix=</code><code>/opt/server/lighttpd</code> <code>make</code> <code>make</code> <code>install</code> </td> 
 </tr> 
 </tbody> 
</table>

配置

vi /opt/server/lighttpd/conf/lighttpd.conf

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 </td> 
 <td> <code># FastDFS Configuration</code> &nbsp; <code>fastdfs.conf =&nbsp;</code><code>"/opt/server/fastdfs/etc/client.conf"</code> <code>fastdfs.convert-</code><code>enable</code> <code>=&nbsp;</code><code>"enable"</code> <code>fastdfs.convert-filesize = (&nbsp;</code><code>"*"</code><code>,&nbsp;</code><code>"_100_100"</code> <code>)</code> <code>fastdfs.convert-filetypes = (&nbsp;</code><code>".gif"</code><code>,&nbsp;</code><code>".jpg"</code><code>,&nbsp;</code><code>".jpeg"</code><code>,&nbsp;</code><code>".png"</code> <code>)</code> <code>server.port = 81</code> </td> 
 </tr> 
 </tbody> 
</table>

启动

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>/opt/server/lighttpd/sbin/lighttpd</code> <code>-f&nbsp;</code><code>/opt/server/lighttpd/conf/lighttpd</code><code>.conf</code> </td> 
 </tr> 
 </tbody> 
</table>

裁剪图片测试

浏览器访问：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>http:</code><code>//192</code><code>.168.20.28</code><code>/group1/M00/00/00/wKgUGE_yrsPEiKq-AARlTan74rg752_500_500_30</code><code>.jpg</code> </td> 
 </tr> 
 </tbody> 
</table>

其中500\_500 长宽，30为精度

**7、图片获取varnish缓存 (192.168.20.28,192.168.20.27)**

安装

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 </td> 
 <td> <code>//pcre-8</code><code>.30</code> &nbsp; <code>.</code><code>/configure</code> <code>--prefix=</code><code>/usr</code> <code>make</code> <code>make</code> <code>install</code> &nbsp; <code>ldconfig</code> &nbsp; <code>//varnish-3</code><code>.0.2</code> &nbsp; <code>export</code> <code>PKG_CONFIG_PATH=</code><code>/usr/lib/pkgconfig</code> <code>.</code><code>/configure</code> <code>--prefix=</code><code>/opt/server/varnish</code> <code>make</code> <code>make</code> <code>install</code> </td> 
 </tr> 
 </tbody> 
</table>

配置

指向后端图片处理lighttpd.

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 </td> 
 <td> <code>backend rs</code> <code>{ </code> <code>.host =&nbsp;</code><code>"192.168.20.28"</code><code>;</code> <code>.port =&nbsp;</code><code>"81"</code><code>;</code> <code>}</code> &nbsp; <code>acl purge</code> <code>{ </code> <code>"localhost"</code><code>;</code> <code>"127.0.0.1"</code><code>;</code> <code>"192.168.20.0"</code><code>/24</code><code>;</code> <code>}</code> &nbsp; <code>sub vcl_recv</code> <code>{ </code> &nbsp; <code>if</code> <code>(req.http.host ~</code><code>"^rs.mo.dev$"</code><code>)</code> <code>{ </code> <code>set</code> <code>req.backend = rs;</code> <code>}</code> &nbsp; <code>if</code> <code>(req.request ==&nbsp;</code><code>"PURGE"</code><code>)</code> <code>{ </code> <code>if</code> <code>(!client.ip~purge)</code> <code>{ </code> <code>error 405&nbsp;</code><code>"Not allowed."</code><code>;</code> <code>return</code> <code>(lookup);</code> <code>}</code> <code>}</code> &nbsp; <code>}</code> &nbsp; <code>sub vcl_hit</code> <code>{ </code> <code>if</code> <code>(req.request ==&nbsp;</code><code>"PURGE"</code><code>)</code> <code>{ </code> <code>set</code> <code>obj.ttl = 0s;</code> <code>error 200&nbsp;</code><code>"Purged."</code><code>;</code> <code>}</code> <code>}</code> &nbsp; <code>sub vcl_miss</code> <code>{ </code> <code>if</code> <code>(req.request ==&nbsp;</code><code>"PURGE"</code><code>)</code> <code>{ </code> <code>error 404&nbsp;</code><code>"Not in cache."</code><code>;</code> <code>}</code> &nbsp; <code>}</code> &nbsp; <code>sub vcl_fetch</code> <code>{ </code> <code>set</code> <code>req.grace = 30s;</code> <code>if</code> <code>(req.request ==&nbsp;</code><code>"GET"</code> <code>&amp;&amp; req.url ~&nbsp;</code><code>"\.(css|js)$"</code><code>)</code> <code>{ </code> <code>set</code> <code>beresp.ttl = 3600s;</code> <code>}</code> <code>else</code> <code>{ </code> <code>set</code> <code>beresp.ttl = 30d;</code> <code>}</code> <code>return</code> <code>(deliver);</code> <code>}</code> <code>sub vcl_deliver</code> <code>{ </code> <code>return</code> <code>(deliver);</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

启动

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>/opt/server/varnish/sbin/varnishd</code> <code>-f&nbsp;</code><code>/opt/server/varnish/etc/varnish/my</code><code>.vcl -n&nbsp;</code><code>/opt/server/varnish/var/cache</code> <code>-a 0.0.0.0:80 -T 0.0.0.0:3500 -u www -s malloc,10G -w 2,500,300</code> </td> 
 </tr> 
 </tbody> 
</table>

**8、最前端配置资源获取服务器nginx (安装在web服务器192.168.20.231,192.168.20.232)**

通过浏览器访问

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>http:</code><code>//rs</code><code>.mo.dev</code><code>/group1/M00/00/00/wKgUGE_yrsPEiKq-AARlTan74rg752_500_500_30</code><code>.jpg</code> </td> 
 </tr> 
 </tbody> 
</table>

**9、总结**

通过6台服务器，配置的图片服务，具有以下特点：

1、具备基本的图片以及其他资源文件上传下载

2、避免单点故障，不会因为某台tracker或者storage挂掉，而服务终止

3、根据传入参数，实时切割所需图片，参数支持长、宽、以及精度

4、切割好的图片立即被缓存，提高图片访问速度

[Link 1]: http://www.wubiao.info/download/lighttpd-1.4.28-fastdfs_2012_6_28.tar.gz