aiape的博客
aiape · 共 72 篇文章
centos 部署环境搭建
把一些安装步骤记录下来,以后查看 1.因为是新机器所有先来查看一下硬盘的情况 Disk /dev/xvda: 21.5 GB, 21474836480 bytes 255 heads, 63 sectors/track, 2610 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x0…
2015-03-09T22:02:27Z · 操作系统 · 评论(0)
jvm 调优
这里和大家分享一下 JVM 参数调优的八条经验,JVM参数调优,这是很头痛的问题,设置的不好,JVM不断执行FullGC,导致整个系统变得很慢,网站停滞时间能达10秒以上,相信通过本文的学习你对JVM参数调优有新的认识。 实例讲解JVM参数调优的八条经验 本文将介绍JVM参数调优,这是很头痛的问题,设置的不好,JVM不断执行FullGC,导致整个系统变得很慢,网站停滞时间能达10秒以上,这种情况如果没隔几分钟就来一次,自己都受不了。这种停滞在测试的时候看不出来,只有网站pv达到数十万/天的时候问题就暴露出来了。 要想配置好JVM参数,需要对年轻代、年老代、救助空间和永久代有一定了解,还要了解…
2014-07-21T14:40:16Z · 编程语言 · 评论(0)
jvm 参数查看
jmap (linux下特有,也是很常用的一个命令) 观察运行中的jvm物理内存的占用情况。 参数如下: -heap :打印jvm heap的情况 -histo : 打印jvm heap的直方图。其输出信息包括类名,对象数量,对象占用大小。 -histo:live : 同上,但是只答应存活对象的情况 -permstat : 打印permanent generation heap情况 命令使用: jmap -heap 3409 可以观察到New Generation(Eden Space,From Space,To Space),tenured generation,Perm Generati…
2014-07-20T11:39:03Z · 操作系统 · 评论(0)
linux ftp
今天同事问我一个问题,在Linux 下访问FTP,并将文件上传上去。 我之前一直是用WinSCP工具的。 先将文件从linux copy到windows下,然后在传到ftp上。google 一下。 方法也比较简单。 这里只讨论通过终端来连接,因为也可以通过IE 或者其他工具。 1. Linux 终端连接FTP [oracle@Dave ~]$ ftp 10.85.7.97 Connected to 10.85.7.97. 220 Serv-U FTP Server v6.4 for WinSock ready... 500 'AUTH': command not understood. 50…
2014-07-04T00:46:01Z · 操作系统 · 评论(0)
社会化海量数据采集爬虫框架搭建
社会化海量数据采集爬虫框架搭建 随着BIG DATA大数据概念逐渐升温,如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。 我们来看一下作为人是怎么获取网页数据的呢? 打开浏览器,输入网址url访问页面内容。 复制页面内容的标题、作者、内容。 存储到文本文件或者excel。 从技术角度来说整个过程主要为 网络访问、扣取结构化数据、存储。我们看一下用java程序如何来实现这一过程。 import java.io.IOException; …
2014-06-01T16:40:48Z · 互联网 · 评论(0)
海量数据相似度计算之simhash和海明距离
海量数据相似度计算之simhash和海明距离 2013-08-28 13:44 严澜(@观澜而索源) jobbole.com 我要评论(0) 字号: T | T 通过 采集系统 我们采 集了大量文本数据,但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复,如何选择和设计文本的去重算法?常见的有余弦夹 角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用,如果我们的爬虫每天采集的数据以千万计算,我们如何对于这些海量千万级的数据进行高效的合并去重。最简单的做法是拿着待比较的文本和数据库中所有的文本比较一遍如果…
2014-06-01T16:39:10Z · 互联网 · 评论(0)
hp ilo
HP iLO使用指南 /by pupil 2010.06.19 iLO(Integrated Lights-Out)、iLO2、iLO3卡是HP系列设备上的的服务处理 器(Sun公司称服务处理器为系统服务处理器SSP),一般集成在主板上,可以 通过它管理和控制HP设备. 什么是服务处理器? 服务处理器是一种独立、专用的内部处理器,安装在服务器主板、PCI 卡、 通信平台上,或刀片服务器机箱中。它独立运行于服务器 CPU 和操作系统, 即使 CPU 或操作系统被锁定或出现其他不能访问的情况,它也可照常工作。 服务处理器用于监控服务器板载检测设备(温度传感器、CPU 状态、风扇 速度和电压),实…
2014-03-16T03:37:40Z · 研发管理 · 评论(0)
mysql.
mysql安装过程中出现错误ERROR 1820 (HY000): You must SET PASSWORD before executing this statement解决 最近新装好的mysql在进入mysql工具时,总是有错误提示: # mysql -u root -p Enter password: ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO) 或者 # mysql -u root -p password 'newpassword' Enter password…
2014-03-08T16:53:27Z · 数据库 · 评论(0)
centos ffmpeg 加水印
建立yum源文件(在字符界面输入以下) cat << EOF > /etc/yum.repos.d/ffmpeg.repo [dag] name=Dag RPM Repository for Red Hat Enterprise Linux baseurl=http://apt.sw.be/redhat/el\$releasever/en/\$basearch/dag gpgcheck=0 enabled=1 EOF 安装ffmpeg及开发包: yum -y install ffmpeg ffmpeg-devel 验证安装: 输入命令:ffmpeg (出现以下提示则安装正常) FFmpeg …
2014-03-01T19:47:10Z · 互联网 · 评论(0)
hadoop + ffmpeg 分布式转码系统实践
hadoop + ffmpeg 分布式转码系统实践 hadoop 安装 ffmpeg 安装 mkvtoolnix 安装 一、分割视频: mkvmerge --split size:32m ./heihu01.mp4 -o ./heihu01.%05d.mp4 二、hdfs中创建存放分割后视频的目录 hadoop fs -mkdir movies 三、上传分割后的视频 for i in `ls heihu01.*.mp4`; do hadoop fs -put $i movies/; done 四、创建mapper输入数据文件路径 hadoop fs -mkdir movies_input 五…
2014-02-18T10:08:12Z · 互联网 · 评论(0)
ubuntu 13.10
//修改计算机名 sudo vim /etc/hostname sudo vim /etc/hosts ubuntu 查看计算机基本信息 一、查看CPU相关信息: /proc/cpuinfo文件保存了cpu相关的信息。查看此文件: cat /proc/cpuinfo 二、查看内存相关信息 /proc/meminfo文件保存了内存相关的信息 cat /proc/meminfo 三、查看USB大小 lsusb 四、查看硬盘信息 sudo fdisk -l 五、查看内核版本 uname 六、查看ubuntu版本 cat /etc/issue 七、查看所加载的驱动 lsmod 八、显卡 lspci …
2013-12-26T13:50:03Z · 操作系统 · 评论(0)
ubuntu 彻底删除 mysql 然后重装 mysql
删除 mysql sudo apt-get autoremove --purge mysql-server-5.0 sudo apt-get remove mysql-server sudo apt-get autoremove mysql-server sudo apt-get remove mysql-common //这个很重要 上面的其实有一些是多余的。 清理残留数据 dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P 安装 mysql sudo apt-get install mysql-server sudo apt-ge…
2013-12-22T15:26:39Z · 操作系统 · 评论(0)
ubuntu 13.04 xrdp 远程桌面连接问题[转载]
ubuntu 13.04 xrdp 远程桌面连接问题[转载] 本人ubuntu12.04,遇到了同样的问题,用一下方法解决了,mark一下。 ubuntu 13.04 xrdp 远程桌面连接问题. win 7 远程桌面连接 ubuntu desktop 有几种办法: 1. vnc 远程连接.在 windows 7 上面安装 vnc client 客户端, 然后启用 ubuntu 桌面共享(远程桌面), 在 win 7 上面通过 vnc 连接 ubuntu. 2. xrdp 远程连接. 不需要在 windows 上安装任何客户端, 直接采用 windows 自带的远程桌面连接程序就可以. 在 …
2013-12-08T13:15:09Z · 操作系统 · 评论(0)
ubuntu svn server
一、SVN安装 1.安装包 $ sudo apt-get install subversion 2.添加svn管理用户及subversion组 $ sudo adduser svnuser $ sudo addgroup subversion $ sudo addgroup svnuser subversion 3.创建项目目录 $ sudo mkdir /home/svn $ cd /home/svn $ sudo mkdir fitness $ sudo chown -R root:subversion fitness $ sudo chmod -R g+rws fitness 4.创建…
2013-12-02T18:31:56Z · 移动开发 · 评论(0)