The Latest

安装 memcache需要libevent支持,装较新的稳定版会出错。因此选旧的版本安装。

/configure –prefix=/usr/local/memcached –with-libevent=/usr/local/libevent –no-create –no-recursion

 

《互联网运营智慧》之自序(新)

On 2010年08月18日, in 未分类, by admin
25

自序

写作背景

第一次看见自己的作品发表在《网管员世界》,当时我激动了很久。这对我来说,无疑是个巨大的鼓舞。尽管当时写的那篇短文很简单,但它却为我开启了一扇向前迈进的门,激励着我不断地把自己的工作经验和心得体会,陆续写成文字,然后发表,几年来累计,在杂志、网站正式发表的技术文章尽然有上百篇了。于是有打算把这些文字整理成册出版的愿望,就在我有这个想法的时候,大成通过我的blog注意上我了,于是就有了更进一步的打算。

最初,我们讨论是写一本linux系统方面的内容,以自己的实际经验来讲解怎样更快速有效的学习、使用linux;即以目标为驱动,减少学习过程中的障碍。例如:为了完成安装服务器操作系统这个任务,我们可以放弃安装桌面环境(图形界面)来避免xwindow崩溃这样的障碍;使用主流的网卡,避免操作系统不能识别和驱动网卡等等这样的技巧。由于这样那样的原因,构思了很久,却迟迟没有下手。

因为自己决心写一本原创的、对别人有帮助的书,我经常跑书店去看最近发行的新书,发现linux这一类的书出得是相当的快,几乎是1-2月出一本。于是我开始怀疑自己的动机,在如此多的管理linux系统管理的书籍中,我来写一本比已有的,会有多少优势?实话说,我没有太大的信心。曾经有段时间,我一看见大成msn上线,就很紧张,害怕他问我进度。另外一方面,我自己已把话放出去,告诉朋友们我要写书了,隔三岔五也有朋友打听进展情况,因此对于我还是比较有压力的。2009年春节一过,大概就2个星期的样子,我把现在公司的网络架构基本改造完成,于是工作方面的压力就小了很多,也更有时间来考虑写书这个问题了。

有一天,我在回顾近期所做的工作时,突然发现自己有了很好的写作素材—把自己这段时间改造运营环境的想法和实际操作写出来,不是很好的事情么!何况市面上还没有这种类型的图书。于是我便放弃先前的想法,把目标转移到用开源软件/工具部署和运营千万量级的互联网环境这样一个场景上。

那么这段时间我又做了什么样的事情呢?下面简单总结一下:在刚接手这个运营环境的时候,它是一个存在单点故障、不具备扩张性的架构,虽然也用到了nginx这样比较新的web环境,但离理想状态还差得远。于是我就准备对其进行改造,构建一个高可用、可扩展的运营环境。幸运的是,这个事情得到大力支持和鼓励;通过几个月的规划和实践,基本上作成功了。改造后的环境,使用了当前比较流行的技术,这些技术和方案包括但不限于:lvs+keepalived+failover、dns视图实现简单的cdn功能、nagios服务监控、mysql数据库主从复制、moosefs分布式文件系统实现高性能高可用文件共享、postfix邮件系统等等。

尽管上面提到的每项技术/方案都足以单独写成一本书,但在这里,我只想把这些开源工具做一些组合和取舍,一方面满足实际需求,另一方面也算是对开源的推广做些小小的贡献。

 

本书的组织形式

本书的一共包括十三章,从简要说明选择开源技术作为运营环境开篇,到选定平台及工具的部署实施,以实例展示如何使用开源工具,来实现用户访问量在1000万这样的一个级别的站点功能。

在本书中,也穿插了一些非技术方面的描述,如在系统运营中,有哪些日常事务、服务扩展该怎么着手、以及在运营中有哪些策略及技巧等等。我自己的本意是希望读者能够从书中获得各自想要的某些部分,或多或少的理解我的想法和思路。如果原本照搬,并不能保证你的成功率,因为各自的需求是不同的;个人认为,最重要的是方法和策略,因此书中贯穿了本人的诸多个人看法和主张,大家可做参考。

本书的特点

1、  原创性。本书内容完全来自实际工作经验的积累和思考。与市面大部分书籍不同的是,书中很多地方阐述了个人的观点和主张。尽管这些想法不一定准确,甚至可能存在错误,但我认为,这肯定比没有思想的书有价值。

2、  真实场景再现。除IP地址为规避风险做了处理而外,其余的内容全部来源于真实的生产运行环境。当前,一些不负责人的攒书人,仅仅在虚拟机上部署一个环境,简单测试一下,截几个图,就能拼一本书;这些人哪里知道,在大负荷、高并发情况下,情况会是什么样子?我常称这种环境为“一个用户访问”的应用。

3、  使用较新的稳定版本。除了第五章“postfix邮件系统外”,所有的章节都以当前最主流的版本做例。

4、  当今最主流的互联网架构技术:云计算、负载均衡、分布式文件系统、cdn等。在行文上,对这些技术的说明是很详尽的,远非那些蜻蜓点水式的拼凑文章可比。

5、  本书紧扣高可用、可扩展这个主题,以局部高可用、可扩展为基础,从而实现整体运行环境的高可用、可扩展性。

6、  尊重他人的知识知识产权。书中凡是引用或使用他人的程序/脚本等,一些是征得原作者的同意;不管何种情况,有引用或使用的地方,都在书中注明了原始出处。

7、  开源的解决方案。如果您是商业软件的拥护者,可能本书不是你所期望的。

 

由于本人的学识、经验所限,即便本人竭尽所能力图完美,但不足或错误仍然可能存在。对于这些不足和错误,望行家批评指正,不甚感激。

致谢

全书的撰写,花了我大概3年的时间。尽管所有的内容都是我一个人完成的,对于我这样对键盘不是很熟练的人,确实是个挑战。但是,如果没有其他人的帮助和鼓舞,完成这个工作将难以想象。

本书能以完成,离不开各方人士的大力支持,特在此列表:

感谢我的妻子,是她在哪些纷繁复杂的柴米油盐中为我提供合适的营养。

感谢我的儿子羽玄,你的到来为我们增添了无比的乐趣,要知道,本书的部分文字,就是在产房等待小家伙的诞生过程抽空敲出来的。

感谢恩师全真龙门派26代传人王崇静先生,您传授的内功心法将使我受益终身。

感谢挚友王宝辉先生,你的无私帮助让我终身难忘。

感谢引路人杨文飞,是他为我打开了这扇可以展现自己能力的大门。

感谢小废物,你的鼓动和提供展现自我的机会对我的进步有莫大的帮助。

感谢大成的耐性,你一直的期待让我无法放弃。

感谢尚观科技的郄晓烨先生,我对我们一起在闷热的屋子录制视频记忆深刻。

感谢盛大游戏技术保障中心资深研究员、总监陈桂新先生;sohu运维经理窦喆先生;梁昌泰先生;第一视频集团首席技术官王宇飞;去哪儿网副总裁谌振宇;Cdnetworks China 技术总监王晓东;太平洋网络运维总监龙浩;58同城技术总监章杰等人的大力支持。

感谢蒋宇捷为本书提供perl脚本。

感谢周浩为本书提供hadoop相关程序代码。

最后感谢那些对开源事业做出贡献的人们,如章文嵩、Pawel Kalinowski。

 

《互联网运营智慧》之杨文飞序

On 2010年08月18日, in 未分类, by admin
1

和田逸的结识,纯粹是以文会友;但相互之间的信任和近十年合作,却更多的是因为田逸的为人与处事。

初识田逸是因为他的投稿。2002年我开始负责《网管员世界》的编辑工作,组建高水平的作者队伍当然是我的重要工作之一。当时《网管员世界》投稿者已经不少,但由于实际体验经历不够或者写作能力欠缺等种种原因,很多人的稿件流于就技术谈技术,从刊物的角度看知识性过强实用性不够;但田逸的稿子,从字里行间中能透出一种经验,那绝对是自己实践的结果,而且文笔自信,虽说不上太多文采但可读性相当强——这正是当时刊物所需要的!这样的人才当然不能放过。于是,没用多长时间,田逸就成了我们的核心作者之一。

为了保证刊物质量,当时《网管员世界》邀请了在京的一批作者作为我们的评刊员,定期来就刊物的内容进行批评。令我印象非常深刻的,就是田逸每次都能提出很多意见,有些意见很直接,甚至有些不留情面;但尴尬之余,我更多的是庆幸,庆幸自己能拥有这样认真和诚恳的朋友。

就是这样,我和田逸相互批评相互交流,从邮件往来到见面讨论,从工作伙伴慢慢变成了朋友,即使我后来到了51CTO.com,他也几次变动工作,这种关系都没有发生任何改变。

相识之后我渐渐了解到,田逸其实也是半路出家,刚工作的时候与IT八杆子打不着;但通过一种近乎于痴迷的执着,他迅速成为网络管理技术高手。他从Windows的系统管理,更通过自学成为公认的Linux/Unix高手;他在进行技术管理维护的同时,更勤于笔耕,同时还热心帮助为数众多的IT技术人查疑解难,倾囊相授……

更重要的是,田逸与其他技术人员不同的,是他在“管理”这个方向的思考——他不仅仅总在想如何解决一个个技术问题,更多的是在思考如何将网络设备甚至IT资源更有效地管理起来、更高效地运营起来。我屡屡汗颜,自己的思路渐渐已经跟不上他的思维;但我能感受到,他是对的。

田逸在想,更在做。七八年来,我见证着田逸在这条道路上的摸爬滚打。他独立承担过一个规模不小的事业单位的IT管理外包,也负责过大型网站的服务器管理工作;他的思路,已经逐渐超越了普通的技术维护,更多的是一种管理和运营的思维。

一晃到了2007年,51CTO.com想出一些系统维护的书,我找到田逸。田逸很认真地听了,却告诉我,他有另外一些想法。于是我们开始讨论,如何将这些想法付诸实践。此后辗转半年有余,我们交互过N多版本的思路和结构——直到《51CTO名博讲堂之案例精解企业级网络构建》 已经出版了,田逸依然没有下定决心如何来撰稿;哪怕是在出版社等方面已经基本确定了,他依然总在想,我的书特点在哪里?能给读者带来怎么样的帮助和思考?

这就是田逸的风格:不虚伪,不马虎,不应付了事,不想好绝对不做!能遇到田逸这样的作者,是我的幸运,也是各位读者的幸运!

                                                    杨文飞 51cto前总编 现任某互联网公司总经理

 

《互联网运营智慧》之陈桂新序

On 2010年08月18日, in 未分类, by admin
2

为田逸新书<<互联网运营智慧>>作序
运维有什么用?有位同事曾笑称,你们无非都是靠产品说明书混日子。咋一想还蛮有道理,但如果系统不稳定,三天两头宕机,可用性极低 ,或者半天打不开一个页面,试问,就算有再好的产品,用户会买单么?且不谈面对各式各样的troubleshooting,运维除了要具备精湛的技艺,稳定的心理素质,敏锐的洞察力和前瞻的意识。更重要的是,运维还要面对架构优化,容量规划,性能分析等说不完的话题。
所以说,运维是一门及其系统化的学问,也是一门新兴学科,我国高等教育里未划分专门的学科,书店里也很难找到一本能全面介绍运维体系的书籍,或坐而论道,闭门造车,或东拼西凑,拾人牙慧。
在本书里,田逸深入浅出的介绍了运维架构中的各个节点。从网络规划到服务器安装这些基础应用,到负载均衡,分布式文件系统等架构规划,无一不囊括。更难能可贵的,本书结合了作者自身在中科院,空中网等在运维一线奋战的经验,详细阐述了常见运维问题的解决之道, 所以说,本书无论是对刚入门的系统管理员,还是资深的运维工程师,相信在你研读之后,会有不少的收获。
特别要提的是hadoop章节,目前,盛大游戏也有专门的团队在研究hadoop, 其中有同事还为Apache开源项目Hadoop/Pig/Hive,贡献多个patch。我们很高兴看到,在开源精神的影响下,会有更多具有创新意识的公司和人员加入。开源让我们乐于奉献,取之于开源,奉献之开源,期待更多好书,更多开源产品出现,为他们的无私奉献鼓掌。
盛大游戏 技术保障中心资深研究员 总监 陈桂新
2010-7-16

 

<互联网运营智慧>之王宝辉序

On 2010年08月18日, in 未分类, by admin
2

2005年我与田逸相识,是源于我在赛迪网邀请其做嘉宾聊天,其知识渊博,技术见解精湛,为人善良、真诚、踏实、勤奋、富有热情,都给我留下了深刻的印象。当时田逸供职于空中网,已经做到所有的linux服务器7*24小时移动化管理,这在当时也实属不易。以后我在负责各类国家级基础平台建设的时候,每遇到棘手的网络问题,都会和他进行电话或者面对面的探讨,可以这么说,田逸是我在网络方面的真诚朋友和指导老师,对我现在技术体系的完善提供了极大的帮助。

“以不变应万变”,这是很多吃技术这碗饭的朋友的最大愿望。目前,“三网融合”的不断加速,《国家“十二五”发展规划纲要》的即将出台,使互联网产业得到了爆炸式的发挥,成为了国民经济的新的增长点。三网融合的根在互联网。用户体验是目前大多数的网络公司的最明显的需求。很多公司包括那些大牌的互联网公司都把运营放在举足轻重的位置,市场主导产品,下大力气抓市场,抓内容,抓应用等等,但很少有把技术优化和技术持续创新作为公司发展的原动力,请问一个公司的发力点在哪里(这个发力点相当于人身上的腰,人的力量均由此螺旋加速)?就这个问题和很多业界的知名人物探讨,有人说是产品经理,有说是COO,也有人说是靠资源整合,众说纷纭。我和田逸多次探讨这个问题,在2005年的时候,田逸就提出了网络运维的体系建设问题,当时国内除了那几家门户网站,其余公司只是在技术团队中配备网络管理员或者系统管理员角色,并没有把运维看的很重。也许那时候很多人行家里手还没有意识到用户体验会会决定产品的市场占有率,到了2009年,各个公司才高薪聘请产品经理和运维总监的职位,田逸的预见等到了验证。后来田逸又提出了“网络管理要讲运营”的创新思维,这种想法也被很多人否定,可能现在很多的首席运营官都不是技术出身,业务也做得很好。所以大家认为市场和内容讲运营就可以了,其他的都是做支撑和服务的角色。

我这几年一直在工信部和发改委的系统内负责超大型国家级平台的建设和运营工作。这里很多平台的运营很侧重研发和网络运维的管理,往往都须要制定多套符合国家甚至国际标准的规范制度体系与之配套,例如机房和网络的管理制度必须符合ISO9001和ISO27001(信息安全体系)、Itil V3.0等国际标准及工信部和公安部相关的规范。我和田逸也进行了很多次的网络运维还是网络运营更符合时代要求的探讨,反思我的工作经历和分享业界的成功经验,特别是年初,百度域名被劫持的事件,使我们终于意识到到网络技术才是最需要“运营”的,因为它不仅是包括完整的技术体系,也包括符合国内外相关技术规范的管制体系进行支撑,才能做到真正的“以不变应万变”。在2009年,田逸和我提及已经在写一本原创书的时候,提出了“网络需要的是严谨运营,而不是简单运维”的想法。这是一种前瞻性的、革命性的创新思维。百度事件以后,我全力支持和赞同,回顾中国互联网发展二十年,只有那些一直打造技术型、学习型团队的企业才真正的做出了好产品,用户体验做到了极致,更赢得多方面的收益。像Google、百度、阿里巴巴、盛大、腾讯等公司的都有完备的网络支撑技术体系,运营效果的也非常好。无论市场运营、内容运营还是应用运营,最根本的还是技术运营在支撑,网络技术运营更是需要善始善终的。试想alexa排名前100位的互联网公司,谁都不想自己的主营网站罢工,哪怕仅仅是一分钟,都是很注重网络技术运营的,同时这方面的投入也在不断在增加。

      《互联网运营智慧》这本书是田逸历时2年完成的原创书,字都是一个个敲进去的,是个人10多年工作经验的总结和升华,覆盖了网络运营管理的各个关键环节,文字精炼而不冗余,通俗易懂,可以说是任何一位网络操作者的全程指导书,可以作为一个公司网络管理团队的培训考核教材。因为里面采用的软件均为开源软件,应用熟练可以节约大量的资金成本和可定制化网络功能。同时该书也配备了大量的媒体资源,均是各章重点难点的解答和知识梳理,田逸这种“授之以鱼不如授之以渔”的写作精神,是很值得欣赏和大力提倡的。特别是在一个月可以攒成几百页书的时代,田逸的这本《互联网运营智慧》更将是一颗璀璨的明珠。

曾经有业界的朋友评价田逸更像一位大师级的网络高手,高深的技术理论已经掩盖了他熟练的一线作战能力。任何前瞻性的思想均来源于点点滴滴的积累和感悟。我想田逸的这本书的作用更像是“用一根手指着月亮”,阅读者不要专注于那根手指,否则你根本看不到远方皎洁的月亮。也就是说不应过份的关注书中描述的技巧和经验,更应该从中提炼出属于自己的一整套网络运营管理思想,这样将会距离您心中的目标更近一些,这将终生受益,我想这也是田逸写此书的初衷!

                          曾任工业和信息化部软件与集成电路促进中心 网站总监     

                      曾任国信招标集团网络公司                 副总裁

                                                                  王宝辉      2010年7月