ITeye博客

稻草人博客_性格决定命运 思维决定发展 机遇决定一切。

nethub2 · 共 345 篇文章

@RequestBody使用

@RequestBody使用 @RequestBody: 作用: 主要用来接收 前端传递给后端 的 json字符串中的数据的 (请求体中的数据的); 要求: GET方式无请求体,所以使用@RequestBody接收数据时,前端不能使用GET方式提交数据,而是用POST方式进行提交。 在后端的同一个接收方法里,@RequestBody与@RequestParam()可以同时使用,@RequestBody最多只能有一个,而@RequestParam()可以有多个。 简言之: 一个请求——》只有一个@RequestBody; 一个请求——》可以有多个@RequestParam。 ******①同时…

2020-02-18 11:29 · 评论(0)

Spark 以及 spark streaming 核心原理及实践 - (2)

Spark Streaming运行原理 spark程序是使用一个spark应用实例一次性对一批历史数据进行处理,spark streaming是将持续不断输入的数据流转换成多个batch分片,使用一批spark应用实例进行处理。 从原理上看,把传统的spark批处理程序变成streaming程序,spark需要构建什么? 需要构建4个东西: 一个静态的 RDD DAG 的模板,来表示处理逻辑; 一个动态的工作控制器,将连续的 streaming data 切分数据片段,并按照模板复制出新的 RDD ; DAG 的实例,对数据片段进行处理; Receiver进行原始数据的产生和导入;Recei…

2018-08-19 15:45 · 大数据 · 评论(0)

Spark 以及 spark streaming 核心原理及实践 - (1)

导语 spark 已经成 为广告、报表以及推荐系统等大数据计算场景中首选系统 ,因效率高,易用以及通用性越来越得到大家的青睐,我自己最近半年在接触 spark以及spark streaming 之后,对spark技术的使用有一些自己的经验积累以及心得体会,在此分享给大家。 本文依次从: spark生态,原理,基本概念, spark streaming原理及实践, 还有spark调优 以及环境搭建 等方面进行介绍,希望对大家有所帮助。 Spark 生态及运行原理 Spark 特点 运行速度快 => Spark拥有DAG执行引擎,支持在内存中对数据进行迭代计算。官方提供的数据表明,如果数据由磁盘…

2018-08-19 15:44 · 大数据 · 评论(0)

推荐系统架构详解

背景介绍: 对于推荐系统,大家应该不陌生。可以说现在已经随处可以看到它的身影。比如你浏览网页时,如在京东上购物,对应页面会根据你的浏览内容给你推荐诸多类似功能的商品。页面上的看了又看以及猜你喜欢,这2个功能背后都是大数据的推荐系统做支持。以及你看今日头条时,你会发现,系统不断动态展现你喜欢的内容,这也是根据大数据而做的推荐内容。尤其现在倡导千人千面的app应用中,每个人浏览的内容都是根据个人的兴趣爱好系统自动推荐,其背后都是整个推荐系统的作用。当然,在推荐系统里面会涉及到算法等等内容,这里不对算法进行介绍,只对推荐系统中涉及到的方方面面内容的架构进行说明。 如下介绍会涉及到诸多知识点,这里不…

2018-05-10 14:33 · 大数据 · 评论(0)

Hadoop分布式集群的搭建

https://bigdata.163yun.com/product/article/35 本篇将向大家介绍下Hadoop分布式集群的搭建。内容浅显,但能够为新手们提供一个参考,让像我一样的小白们对Hadoop的环境能够有一定的了解。 环境: 系统环境:CentOS7.3.1611 64位 Java版本:OpenJDK 1.8.0 使用两个节点作为集群环境:一个作为Master节点,另一个作为Slave节点 集群搭建流程: Hadoop集群的安装配置主要流程如下: (1)选定一台机器作为Master; (2)在Master节点上配置hadoop用户、Java环境及安装SSH server; …

2018-05-09 17:22 · 大数据 · 评论(0)

管理项目干系人时,巧用工具可以事半功倍

管理项目干系人时,巧用工具可以事半功倍(1/3) [导入案例1] 市民抗议钼铜项目污染环境 2012年6月29日,什邡市西去16公里的灵杰镇上,一块巨大的空地上,一场盛大的奠基典礼在这里举行。四川什邡宏达集团正式宣布将在这里投资104亿元建设钼铜项目生产基地,而作为“5·12”特大地震重灾区的什邡市,亦将通过该项目而获得超40亿元的年利税收入。 等这个项目开工的消息在当地电视播出后,一直蒙在鼓里的什邡老百姓才知道了这个项目。因担心项目污染,当地居民随即发起的一场集体反对行动,官民冲突的激烈以及政府布置警力驱赶人群导致有群众受伤的消息和图片一时间引发网络舆论热潮。7月3日什邡市宣传部召开新闻发…

2018-05-02 00:09 · 评论(0)

/etc/profile和/root/.bash_profile有什么区别

/etc/profile ,优先级最高,是全局的,是私有的,用于整个系统所有用户, ~/.bashrc 和 ~/.bash_profile, ~/.profile 用于各个用户,这里的"~"符号就是各当前用户的$HOME ~/.bash_profile 和 ~/.profile 只在登陆时读取一次。 ~/.bashrc 每次都读取 ~/.bash_profile 和 ~/.profile 的区别在于 bash 只读取~/.bash_profile;而对于 ~/.profile 来说,不光bash, 其他shell 也读 ~/.profile

2017-11-19 21:37 · 大数据 · linux · 评论(0)

python 结巴分词(jieba)学习

目录 (?) [-] jieba 特点 在线演示 安装说明 算法 主要功能 1 分词 2 添加自定义词典 载入词典 调整词典 3 关键词提取 基于 TF-IDF 算法的关键词抽取 基于 TextRank 算法的关键词抽取 基本思想 使用示例 4 词性标注 5 并行分词 6 Tokenize返回词语在原文的起止位置 7 ChineseAnalyzer for Whoosh 搜索引擎 8 命令行分词 延迟加载机制 源码下载的地址:https://github.com/fxsjy/

2017-11-11 18:08 · 大数据 · 评论(0)

大数据高并发系统架构实战方案

大数据高并发系统架构实战方案 http://bbs.chinaunix.net/thread-4077840-1-1.html 课程简介: 随着互联网的发展,高并发、大数据量的网站要求越来越高。而这些高要求都是基础的技术和细节组合而成的。本课程就从实际案例出发给大家原景重现高并发架构常用技术点及详细演练。 通过该课程的学习,普通的技术人员就可以快速搭建起千万级的高并发大数据网站平台。 第一章 概述(1课时)简要介绍该系列课程的内容, 本章内容如下: 主流高并发大数据应对技术介绍 CDN镜像技术介绍 静态化技术介绍 库表水平及垂直拆分技术介绍 虚拟化云计算体系介绍 高并发系统架构规划 高并发大…

2017-11-02 21:46 · 互联网技术 · 评论(0)

关于异步化带来的高并发和高吞吐量的分享

对于系统的并发量的提高的优化,除了对模块内部性能以及切分,分流等的考虑外, 我把以前做过的开放平台的并发和吞吐量的优化的经验分享一下 A、B、C、D之间是分布式调用,统一由http接入A系统 传统方式:各个系统之间是同步的阻塞调用,包括Http接入也是阻塞式的。 当用户并发比较大的时,常见的现象时各个系统线程处于阻塞状态,线程相关的资源耗尽,系统的并发量上不去,相关的CPU等其实也不高。 因A系统要等待所有的后台调用都完成后,才释放接收的线程,返回结果,所以这个特别在A系统比较明显;间接导致无法提供足够的并发量给后面的D系统。· 异步化方式(SEDA):针对高并发的分布式系统,NIO方式很早…

2017-11-02 21:46 · 互联网技术 · 评论(0)

Java高并发解决方案

一:高并发高负载类网站关注点之数据库 没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用,数据库的响应是首先要解决的。 一 般来说MySQL是最常用的,可能最初是一个mysql主机,当数据增加到100万以上,那么,MySQL的效能急剧下降。常用的优化措施是M-S(主- 从)方式进行同步复制,将查询和操作和分别在不同的服务器上进行操作。我推荐的是M-M-Slaves方式,2个主Mysql,多个Slaves,需要注 意的是,虽然有2个Master,但是同时只有1个是Active,我们可以在一定时候切换。之所以用2个M,是保证M不会又成为系统的SPOF。 Slaves…

2017-11-02 21:32 · 互联网技术 · 评论(0)

Hadoop的dfs -ls 报错:ipc.Client: Retrying connect to server

参考网站:http://blog.csdn.net/zhangheng1225/article/details/8246785 有项目需要用到HBase,配置Hadoop集群的情况如下: OS : Ubuntu 11.04 Hadoop 2.02 三台虚拟机IP分配如下: 192.168.128.131 master 兼slave 192.168.128.132 slave 192.168.128.133 slave 配置好后: master结点上操作 1. bin/hadoop namenode -format 2. bin/hadoop start-all.sh 3. 用jps 命令发现…

2017-11-02 21:31 · 大数据 · 评论(0)

下载网页视频的方法:网站视频下载方法技术分享 或者用遨游5浏览器(下载视频)

http://www.pc6.com/infoview/Article_68373.html 这是我多年做开发的经验,你不需下载专业软件,几步就可以拿到视频资源。在度娘搜索的时候,大多数方法都是去缓存里面找,这并不是很好的,首先你要清理缓存,一清理,各种登录都没了,也不一定能找到。 首先说明,各大专业视频网站(如:优酷,土豆,酷6等)未必好使,他们的视频开发模式特殊,捕获不到。优酷下载你可以下个 i酷 ,他是支持下载的。微博的要看视频外挂地址,视频专业站用服务端视频流,截取不到的。 那么什么类的视频可以下载呢?理论上来讲非这些专业视频站都可以,如:小视频网站,还有各种论坛上的视频等等。 切入…

2017-10-10 22:19 · 评论(0)

修改android studio的Gradle本地仓库的位置

由于Android studio默认使用自带的Gradle 将Gradle的默认目录复制到你期望仓库的盘符 例:我复制到F盘 新建环境变量: GRADLE_USER_HOME 修改之后要重启下系统!! 重启之后打开AS查看Gradle发现他的仓库地址改了 http://blog.csdn.net/u011781521/article/details/53198422

2017-09-11 00:06 · 评论(0)

Gradle 修改本地仓库的位置

老话,适合的才是最好的。 此处不做gradle和maven的比较。只说下我,一个偏执的maven用户如何尝试使用gradle的经验。 我用maven好些年了,自己机器上还搭了个nexus。 最近看到有个demo需要gradle才能跑起来,于是打算尝试下。 首先gradle的下载、配置,对一个程序猿来说,这都不是事,如果这都搞不定,可能你有点点不太适合做这一行。 Win7下,直接用setx设置环境变量。 先设置gradle的安装目录或者说是解压缩出来的目录,这个目录下至少应该保留有bin、lib,其他文件或者目录偏执狂可以尽情删掉。 [html] view plain copy setx GR…

2017-09-10 23:57 · gradle · 评论(0)